Wie Controller mit hohem Bedarf an Rechenpower große Datenmengen extrem schnell analysieren können, zeigen wir in unserem Screencast „Big Data für Controller“. Die Kombination von Hadoop mit der BI-Suite von Jedox lässt eine um hundertmal schnellere Cube-Befüllung und Auswertungen zu.
Unser Cube-on-Demand-Ansatz erlaubt es Anwendern, in Jedox-Berichten durch simples “Zusammenklicken” der gewünschten Abfrageelemente einen neuen Analyse-Cube aufzubauen und darauf extrem schnell Auswertungen auszuführen. Dabei kommt eine GPU-Karte vom Typ NVIDIA Tesla K40m (2880 Cores) zum Einsatz, die die Berechnung von komplexen Cubes bis zu 100-mal schneller durchführt. Das Video finden Sie hier.
Datenintegration (Jedox Hadoop Package)
Ermöglicht wird das Zusammenspiel von Jedox und Hadoop durch das Jedox Hadoop Package. Dadurch steht die Datenextraktion aus Hive oder HDFS zur Verfügung. Um Hive on Spark anstelle von MapReduce zu nutzen, kann eine GenericDB-Verbindung verwendet werden. Der Einsatz von Spark empfiehlt sich, da die Datenverarbeitung in Spark dank der In-Memory Technologie deutlich schneller als bei MapReduce ist. Die untenstehende Abbildung zeigt die Architektur der Anwendung.
Cube-on-Demand-Ansatz zur einfachen Erstellung von Datenwürfeln
Der Cube-on-Demand-Ansatz von it-novum erlaubt es Anwendern, aus einem Bericht heraus ETL-Jobs zu starten. Dabei kann der Anwender seine gewünschten Dimensionselemente über Auswahlboxen markieren. Die Auswahl wird dann über ein Makro automatisch in eine Hive-Query umgewandelt und an den Jedox Integration Manager übergeben. Der Nutzer benötigt also keinerlei IT-Knowhow oder tieferes Verständnis von ETL-Prozessen.
Beschleunigung von Analysen durch Jedox OLAP Accelerator
Bei der Auswertung großer Datenmengen werden leistungsfähige Ressourcen benötigt, um Berechnungen schnell durchführen zu können. Mit dem Jedox OLAP Accelerator lassen sich Analysen um ein Vielfaches beschleunigen: Teilausschnitte eines Würfels werden in eine GPU geladen, die rechenintensive Operationen – wie z.B. Aggregationen, Business Rules, Datenfilter oder Cube-Writebacks – parallel verarbeitet.
Die Vorteile für den Anwender sind:
- Speicherung und Verwaltung von großen Datenbeständen in Hadoop
- Einfacher Zugriff auf Daten mit SQL-ähnlicher Syntax (Hive)
- Erstellung von Datenwürfeln aus Berichten heraus (Cube on Demand)
- Kein IT-Knowhow notwendig
- Schnellere Analyse von großen Datenbeständen dank GPU-Beschleunigung
Diese Artikel könnten Sie auch interessieren: