Big Data

Es gibt Zeiten, in denen das Datenvolumen oder die Datengeschwindigkeit so groß ist, dass herkömmliche Technologien nicht ausreichen, um sie zu erfassen, zu transformieren und zu speichern. Dann nutzen wir Big Data Technologien. Derzeit generieren alle Unternehmen große Datenmengen, bei digitalen Unternehmen kann diese Menge unvorstellbar sein. In diesem Chaos relevante Geschäftsdaten zu identifizieren, kann einen riesigen Wettbewerbsvorteil bedeuten.

Big Data ist die Menge von Technologien und Prozessen, die es uns ermöglichen, mit enormen Datenmengen zu arbeiten. Diese Datenmengen sind so groß, dass bestimmte Technologien notwendig sind um sie verarbeiten zu können. Abgesehen vom reinen Volumen der Daten kann auch die Geschwindigkeit (Velocity) mit der die Daten generiert werden, sowie die Vielfältigkeit der angefertigten Daten den Einsatz von Big Data Technologien notwendig machen. Sie sind die bekannten 3 Vs von Big Data:

• Volumen: Wenn die Datenmenge so groß ist, dass Erfassungs- und Speichersysteme jenseits herkömmlicher Datenbanken und DWHs benötigt werden.
• Velocity (Geschwindigkeit): Wenn die Daten mit hoher Geschwindigkeit generiert werden (z. B. IoT- oder Web-Anfragen) oder unser System in Echtzeit reagieren muss.
• Vielfalt: Wenn neben strukturierten Daten aus ERP-, CRM- oder Excel-Dateien auch andere Datenquellen analysiert werden müssen deren Struktur nicht definiert ist (Video, Audio, Nachrichten in RRSS ...).

In all diesen Fällen benötigen wir Big-Data-Technologien, um mit den Daten, sowohl im Batch als auch im Streaming, arbeiten zu können und sie den Algorithmen zur Verfügung zu stellen, die diese Daten analysieren und daraus Wissen extrahieren müssen, dass wir unserem Kunden zur Verfügung stellen können.

Bei Mistral sind wir in der Lage, Big-Data-Projekte erfolgreich anzugehen, wenn deren Einsatz erforderlich ist. Dies geschieht, wenn in Business Intelligence- und Data Science-Projekten herkömmliche Technologien aufgrund eines der drei zuvor besprochenen V nicht in der Lage sind, die Informationen zu verarbeiten.

Big Data ist der Muskel und Data Science oder Business Intelligence ist das Gehirn. Datenanalyseprojekte, einschließlich Machine Learning, können oft ohne den Einsatz von Big-Data-Technologien angegangen werden.

Wenn Big-Data-Systeme in einem Projekt eingesetzt werden müssen, besteht ihre Aufgabe darin, die Daten den Algorithmen und Dashboards zur Verfügung zu stellen, die dafür verantwortlich sind, Wissen aus ihnen zu extrahieren.

Einer unserer Kunden aus der Autovermietung benutzt eine Applikation die täglich Millionen von Anfragen von anderen Unternehmen wie Fluggesellschaften und Endkunden erhält.

Wir haben eine Big-Data-Lösung in der Cloud implementiert, die diese Daten in Echtzeit aufnehmen und anschließend transformieren kann. Nachdem wir mit diesen Daten arbeiten konnten, entwickelten wir ein Dashboard mit diesen Informationen. Auf diese Weise konnte unser Kunde sehen, wie die Anzahl der Anfragen täglich variierte und so die Preise der Nachfrage anpassen.