EN | DE

Apache Hop 1.0 – neuer Player im Bereich Datenintegration

Inhalt

Was ist Apache Hop?

Apache Hop, kurz für Hop Orchestration Platform, ist eine Plattform für Data Engineering und Data Orchestration, die das Ziel hat, alle Aspekte der Orchestrierung von Daten und Metadaten zu vereinfachen. Hop geht neue Wege, weil Datenexperten damit visuell arbeiten und Metadaten verwenden können, um festzulegen, wie Daten verarbeitet werden sollen.

Architektur Apache Hop

Die Architektur von Hop ist einfach aufgebaut: den Kern bildet die kompakte, aber leistungsstarke Hop-Engine. Alle Funktionalitäten werden durch Plugins hinzugefügt. Die Standardinstallation von Hop wird mit über 250 Plugins ausgeliefert. Hop ist so konzipiert, dass es in jedem Szenario funktioniert, von IoT bis zu riesigen Datenmengen, on-premise, in der Cloud, auf einem Bare OS oder in Containern und Kubernetes.

Apache Hop - Grafischer Entwurfsmodus für Apache Beam Pipelines
Apache Hop - Grafischer Entwurfsmodus für Apache Beam Pipelines

Vielzahl von Workflows, Pipelines und Engines

In Hop werden Workflows und Pipelines in der visuellen Entwicklungsumgebung Hop GUI erstellt. Sie können auf einer Vielzahl von Engines ausgeführt werden. Pipelines lassen sich auch auf Apache Spark, Apache Flink und Google Dataflow über die Apache Beam-Laufzeitkonfiguration deployen. In Workflows und Pipelines können Hunderte von Operationen auf Daten angewendet werden: Lesen und Schreiben auf einer Vielzahl von Quell- und Zielplattformen, aber auch die Kombination, Anreicherung, Bereinigung und viele weitere Arten der Datenverarbeitung. Je nach Engine und Funktionalität können Daten im Batch, Streaming oder in einem Batch/Streaming-Hybrid verarbeitet werden.

Stefan Müller
Director Big Data Analytics & IoT

Unser Angebot für Ihr Hop Projekt

Metadaten: das wichtigste Konzept in Hop

Alle Interaktionen zwischen Hop und den anderen Komponenten in der Datenarchitektur werden über Metadaten ausgeführt. Durch die Trennung der Metadaten von Runtime-Code und Tools erreicht Hop einen minimalen Installations-Footprint. Dieser stateless Zustand erleichtert die Ausführung auf einer Vielzahl von Plattformen wie Spark und Flink, aber auch in einer Vielzahl von Szenarien wie verschiedenen Produktlebenszyklen (Development, Test, Production, Unit Testing und Continuous Integration).

Orchestrierungs-Workloads können als Metadaten definiert werden. Diese Metadaten lassen sich auf verschiedene Arten darstellen, z.B. in einem XML- oder JSON-Dokument, in einer Datenbank beliebigen Typs oder auch in einer grafischen Benutzeroberfläche. Von Anfang an war geplant, dass Hop, alle Funktionen über die bereitgestellten Benutzeroberflächen zu 100% abdeckt, sodass keine externen Editoren oder Tools erforderlich sind. Apache Hop hat sich deshalb entschlossen, MetaStore zu entwickeln, eine einzige Metadaten-Schnittstelle für alle Ausdrücke von Metadaten.

Apache Hop ist stark in diesen Szenarien:

  • Laden großer Datensets in Datenbanken unter Ausnutzung der Vorteile von Cloud-, Cluster- und massiv-parallelen Verarbeitungsumgebungen.
  • Data Warehouse-Befüllung mit integrierter Unterstützung für Slowly Changing Dimensions (SCD), Change Data Capture (CDC) und Erstellung von Surrogatschlüsseln.
  • Integration zwischen verschiedenen Datenarchitekturen, Kombination von relationalen Datenbanken, Files, NoSQL-Datenbanken wie Neo4j, MongoDB, Cassandra usw.
  • Datenmigration zwischen verschiedenen Datenbanken und Anwendungen.
  • Daten-Profiling und Datenbereinigung.

Fazit

Das visuelle Design von Apache Hop ermöglicht es Entwicklern, sich auf das „Was“ zu konzentrieren anstatt auf das „Wie“: die schnelle Entwicklung und Umsetzung von Datenprojekten. Dank dieses Fokus sind Hop-Entwickler produktiver als bei der reinen Produktion von Code.

Es war noch nie so einfach anzufangen

Lassen Sie uns über Ihr Projekt sprechen.

Wir sollten uns kennenlernen!

STANDORTE
it-novum GmbH Deutschland
Hauptsitz:
Edelzeller Straße 44,36043 Fulda
Niederlassungen:
Ruhrallee 9, 44139 Dortmund
Kaiserswerther Str. 229, 40474 Düsseldorf
E-Mail: info@it-novum.com
Tel.: +49 661 103-434
it-novum Zweigniederlassung Österreich
Ausstellungsstraße 50 / Zugang C
1020 Wien

E-Mail: info@it-novum.at
Tel.: +43 1 205 774 1041

it-novum Schweiz GmbH
Hotelstrasse 1
8058 Zürich

E-Mail: info@it-novum.ch
Tel.: +41 44 567 62 07