Praxis, Community und ein Blick nach vorn
Beim Apache Hop User Meetup Vol. 6 dreht sich wieder alles um echte Praxiserfahrungen, neue Lรถsungen und den direkten Austausch innerhalb der Community.ย
Bart Maertens, Co-Founder von Apache Hop, ist wieder dabei. Zum sechsjรคhrigen Bestehen von Apache Hop blickt er auf die technische und Community-Entwicklung der vergangenen Jahre zurรผck und zeigt, wohin sich das Projekt als Nรคchstes entwickelt.
Auรerdem berichten Anwender und Experten aus ihren Projekten: von der Migration bestehender ETL-Landschaften รผber kreative Integrationen und KI-gestรผtzte Ansรคtze bis hin zu DataHub, Semantic Layers und automatisiertem Data-Warehouse-Aufbau. Dich erwarten konkrete Erfahrungen, Herausforderungen und Lessons Learned, die du fรผr deine eigenen Apache-Hop-Projekte mitnehmen kannst.
Agenda
Einfรผhrung durch it-novum
Philipp Heck
Head of Pre-Sales & Customer Success
it-novum
7 years of Apache Hop (Englischer Vortrag)
Iโll start with a quick recap of what happened in the last six years since we’ve been building Apache Hop – from a technical and a community perspective. In the second part, I’ll look at what the future holds for Apache Hop.
Bart Maertens
Co-founder
Apache Hop
Hands-on: Unsere Migration von PDI zu Apache Hop
Wie gelingt der Umstieg von PDI auf Apache Hop in der Praxis? Der Vortrag gibt Einblicke in die Ausgangssituation, die Motivation fรผr die Migration und das konkrete Vorgehen โ inklusive der wichtigsten Verรคnderungen, Herausforderungen und der Unterstรผtzung durch Bart Maertens.
Auรerdem geht es um kreative Lรถsungen und Integrationen, die wรคhrend der Migration entstanden sind, sowie um die wichtigsten Lessons Learned fรผr alle, die selbst einen Wechsel zu Apache Hop planen.
Ralf Hohoff
Leitung IT/Head of IT
Leiber GmbH
Aus 3 mach 1 โ Die ETL-Migration an der HTW Berlin.
Zehn Jahre lang setzte das Hochschulrechenzentrum (HRZ) der HTW Berlin auf drei verschiedene ETL-Tools: Talend Open Studio (Community Edition), Pentaho Data Integration Community Edition und Altova MapForce. รnderungen in den Lizenzmodellen der Tools fรผhrten zur Frage, wie sich die Integrationslandschaft zukunftssicher aufstellen lรคsst. Nach einer umfassenden Recherche fiel die Entscheidung auf Apache Hop.
Wir berichten, wie die schrittweise Einfรผhrung und die Migration aller drei Tools nach Apache Hop verlief und welche Schnittstellen dabei betroffen waren, darunter Finanzsystem, Campus-Management-System (Studierende, Lehrende, Bewerber), Bibliotheksystem und Identity Management. Eine besondere Herausforderung war die gleichzeitige Umstellung des Studierendensystems auf eine neue Software und damit verbundene Datenbank. Die Workflows und Pipelines mussten schon wรคhrend der Migration angepasst werden.
Der Erfolg mit Apache Hop spricht sich herum: Inzwischen kommen neue Aufgaben aus anderen Bereichen des HRZ und anderen Abteilungen der Hochschule hinzu.
Tim Herrmann
Anwendungsadministrator und Lehrbeauftragter
HTW Hochschule fรผr Technik und Wirtschaft Berlin
Kaffeepause
Model once, generate the warehouse: building a Data Vault EDW in Apache Hop with hopper-edw (Englischer Vortrag)
hopper-edw is a set of Apache Hop plugins for designing and operating an EDW from inside Hop: Data Catalog, Data Vault 2.0, Business Vault, dimensional marts, quality and lineage. You model sources and warehouse layers once (.hsm / .hdv / .hbv / .hdm); workflow actions generate the loads and consumption tables. This talk shows that path end to end and what it changes compared with writing every vault pipeline by hand.
Matt Casters
Co-founder
Apache Hop
Migration zu Apache Hop - Praxisbeispiel der Netfonds Gruppe
In diesem Vortrag teilen wir unsere Praxiserfahrungen bei der Migration von Pentaho zu Apache Hop. Wir beleuchten die spezifischen Herausforderungen unseres Projekts sowie unsere metadatenbasierten Lรถsungsansรคtze, die eine modulare und generische Architektur fรผr Pipelines und Workflows ermรถglichen. Zudem geben wir Einblicke in die Anpassung unserer Docker-Images an Apache Hop und stellen individuell entwickelte Transforms vor. Abgerundet wird der Vortrag durch unsere Erfahrungswerte zur KI-gestรผtzten Migration.
Anastasia Usacheva
ETL-Entwicklerin
Netfonds AG
Dennis Verlande
ETL-Entwickler/DevOps
Netfonds AG
HOP im Leitstellenkontext: Implementierung und Migration von Einsatzdaten-ETLs
In einer Leitstelle fallen im Zuge von Notrufannahme, Einsatzerstellung, Disposition und Alarmierung von Ressourcenย massenhaft Daten an.ย Mit Apache HOP werden die Daten vom Einsatzleitsystem in ein Datawarehouse transferiert, und inย weiterer Folge den Einsatzorganisationen mittels self-service BI-Tools fรผr Reports und Dashboards bereitgestellt.
Der Vortrag behandelt Herausforderungen, Lรถsungen und Teststrategien.
Gerhard Mitterlechner
Senior Development Engineer
eurofunk Business Intelligence
Saiku and semantic layers (Englischer Vortrag)
Saiku began as the Pentaho Analysis Tool and has spent fifteen years as one of the most widely deployed open-source OLAP front ends, outliving most of the BI stack it grew up in. Tom Barber traces that history, then covers the current wave of work: What is Ossieย the semantic-layer support? Rebuildingย reporting, dashboard and apps, and a far more usable schema designer. He closes on the roadmap, Saiku as a governed semantic layer for humans and machines alike, sitting above the pipelines Hop users already run, and where help is wanted.
Tom Barber
Director
Concept To Cloud
Datenflรผsse sichtbar machen: Data Lineage mit Apache Hop, DataHub und KI
In diesem Vortrag zeigen wir live, wie dasย Data Lineage Plugin fรผr Apache Hopย unsichtbare Datenflรผsse sichtbar macht und die Ergebnisse inย DataHubย als zentrale Data-Governance-Lรถsung darstellt.ย
Darรผber hinaus demonstrieren wir, wie sich Large Language Models (LLMs) gezielt einsetzen lassen, um noch schneller wertvolle Erkenntnisse aus den vorhandenen Daten zu gewinnen โ und so Analyse, Entscheidungsfindung und Innovation spรผrbar zu beschleunigen.ย
Damit werden nicht nur Entwickler bei Analyse und Fehlerbehebung unterstรผtzt โ auch Fachbereiche und Management profitieren von mehr Transparenz, Compliance-Sicherheit und Vertrauen in die Daten.
Cedric Plachtzik
Data Consultant
it-novum
Philipp Heck
Head of Pre-Sales & Customer Success
it-novum
รber it-novum
Als Konzerntochter der Allgeier SE mit 2.600 Mitarbeitern an weltweit 46 Standorten implementiert it-novum als fรผhrendes Business Open Source-Beratungsunternehmen kundenindividuelle Lรถsungen fรผr Datenintegration, Data Analytics und IoT โ z.B. fรผr Bundespolizei, Wiener Wohnen, Deutsche See. Dazu nutzen wir fรผhrende Technologien, wie von Pentaho, ThingsBoard, DataHub oder Redpanda.ย
รber Apache Hop
Teilnehmerinformation
Bitte beachten: Die kostenlose Veranstaltung richtet sich an Fachanwender aus Unternehmen, die sich mit Data Management und IoT beschรคftigen. Wenn du Mitarbeiter eines IT-Beratungsunternehmens, Lรถsungs-, Software- oder Technologieanbieters bist und teilnehmen mรถchtest, erheben wir eine Teilnehmergebรผhr von 450โฌ. Nimm zur gebรผhrenpflichtigen Anmeldung bitte Kontakt mit uns auf per E-Mail.
Hรคufig gestellte Fragen
Das Meetup richtet sich an alle, die Apache Hop bereits einsetzen, eine Migration von PDI planen oder sich praxisnah รผber moderne Data-Engineering- und Data-Orchestration-Lรถsungen informieren mรถchten.
ย
Im Fokus stehen unter anderem Migrationen von PDI zu Apache Hop, Data Lineage mit DataHub, Data Vault, Semantic Layers sowie konkrete Einsatzszenarien aus Unternehmen und Leitstellen.
ย
Ja. Bart Maertens, Co-Founder von Apache Hop, blickt auf die Entwicklung der vergangenen Jahre zurรผck und gibt einen Ausblick darauf, wie sich Apache Hop kรผnftig weiterentwickeln wird.
ย
Der Schwerpunkt liegt klar auf der Praxis. Die Speaker berichten รผber reale Projekte, Herausforderungen, Lรถsungsansรคtze und Lessons Learned aus dem produktiven Einsatz von Apache Hop.
Ja. Die Vortrรคge geben einen guten Einblick in typische Einsatzmรถglichkeiten und zeigen, wie Unternehmen Apache Hop fรผr Datenintegration, Migration, Data Warehousing und Orchestrierung einsetzen.
Das Meetup ist รผberwiegend deutschsprachig. Drei Vortrรคge werden auf Englisch gehalten, darunter die Sessions von Bart Maertens, Tom Barber und Matt Casters.
Bart Maertens: Die Migrationstools (Importer) sollen in den nรคchsten Wochen verfuฬgbar sein. Sie erscheinen zunรคchst nicht als Teil der offiziellen Apache-Hop-Releases, weil sie sich noch in der Erprobung befinden und man schnell iterieren mรถchte: Was funktioniert, was nicht? Der Importer bleibt aber Open Source und soll spรคter in Apache Hop einflieรen. Neben dem bereits vorhandenen Importer kommen Importer fuฬr Informatica und Talend. Beim bereits vorhandenen Importer ist die Abdeckung wegen der gemeinsamen Historie nahezu 100 %. Bei Informatica und Talend fรคllt der Import etwas anders aus, soll aber so nah wie mรถglich an das Hop-รkosystem herangefuฬhrt werden, damit der Umstieg leichter wird.
Bart Maertens: Aktuell ist er nicht geplant. Matt Casters hat im Chat zugesagt, sich den Wunsch noch einmal anzusehen. Einen Feature Request dafuฬr gibt es schon lรคnger. Die Huฬrde liegt vor allem bei Salesforce selbst: Entwickler-Accounts erfordern in regelmรครigen Abstรคnden ein manuelles Login, sonst werden sie gelรถscht. Dadurch ist es aufwendig, Integrationstests aufzusetzen und dauerhaft verfuฬgbar zu halten.
Bart Maertens: Noch nicht. Zuerst steht der technische Teil im Vordergrund, organisatorische Dinge wie eine Mailingliste wurden bisher niedriger priorisiert. Daran wird gearbeitet. Sobald die Tools verfuฬgbar sind, wird es einen Link bzw. Artikel dazu geben, auรerdem eine Ankuฬndigung auf LinkedIn.
Leiber: Aktuell liegen die Passwรถrter verschluฬsselt (โEncryptedโ) in den JSON-Konfigurationsdateien. Man schaut, wie man das kuฬnftig noch sicherer aufstellen kann.
Matt Casters ergรคnzt: Secrets, die in Key-Vaults liegen, lassen sich uฬber Hop Variable Resolver auflรถsen. Mehr dazu in der Dokumentation: Variable Resolver. Ein anderes Migrationsprojekt (Vortrag zur KI-gestuฬtzten Migration) lรถst Datenbankverbindungen, Tokens und SFTP-Schluฬssel komplett uฬber einen Google-Secret-Resolver, sodass keine Klartext-Zugangsdaten und keine Service-Account-JSONs mehr hinterlegt werden muฬssen.
HTW Berlin: Die Projektdokumentation lรคuft uฬber ein Projektmanagement-Tool und Wikis. Zusรคtzlich wird in Apache Hop selbst die Dokumentationsfunktion in Pipelines und Workflows genutzt. Dort lรคsst sich jede Transform und jede Action direkt erklรคren. Das hat sich bewรคhrt, weil eine Vertretung, die nicht tief im Thema steckt, bei einer kurzfristigen รnderung die Erklรคrung direkt in der Pipeline oder im Workflow lesen kann. Das Team hat sich angewรถhnt, die Dokumentation von Anfang an mitzufuฬhren, damit jede รnderung fuฬr den Nรคchsten sichtbar ist.
Matt Casters: Die Dokumentation dazu wurde erst kuฬrzlich deutlich erweitert. Der einfachste Weg ist, Hop als Docker-Container laufen zu lassen und diesen uฬber einen Airflow-Operator zu starten. Den Container baut man selbst, konfiguriert ihn und lรคsst ihn Plugins und Treiber aus dem eigenen Artefakt-Repository laden. Zusรคtzlich gibt es auf der Hop-Website mehrere How-to-Guides und Best Practices, zum Beispiel zu Change Data Capture. Anleitung: Hop in Apache Airflow betreiben
Vortrag zur KI-gestuฬtzten Migration: Die KI baut alles, der Mensch nimmt es ab. Das gilt fuฬr den Job, die Unit-Tests und die Dokumentation. Hat man zuvor Leitplanken und Konventionen fuฬr die KI festgelegt, genuฬgt als Prompt im Prinzip ein Zweizeiler wie โBaue diesen Job bitte auf Hop aufโ, und der Ablauf startet von selbst. Dahinter steht ein Workflow aus vielen Agenten, die ihre Ergebnisse untereinander weiterreichen. Man nรคhert sich dem schrittweise: Wenn man etwas Neues gelernt hat, sagt man der KI, daraus einen wiederverwendbaren Skill zu machen. So lรคsst sich der Prozess nach und nach automatisieren. Matt Casters ergรคnzt aus Sicht des Apache-Hop-Projekts: Dialoge der Hop-GUI lรคsst man Agenten mit Annotationen bauen (siehe AGENTS.md). Agenten brauchen auรerdem Tests. Deshalb lรคsst man Integrationstests fuฬr Transforms und Actions erstellen, so wie im Hop-Quellcode unter โintegration-tests/transformsโ.
Eurofunk: Ja, Unit-Tests sind im Einsatz, allerdings nur wenige. Sie werden hauptsรคchlich fuฬr Pipelines genutzt, die per Simple Mapping aus mehreren Projekten aufgerufen werden und sich leicht auf korrektes Verhalten pruฬfen lassen. Das Regressionstest-Framework gab es in rudimentรคrer Form schon vor der Migration und wurde dann fertig gebaut. Fuฬr die gesamte Migration waren Unit-Tests aus Sicht des Referenten zu aufwendig: Fuฬr jeden Test braucht man Metadaten-Objekte fuฬr den Test selbst, fuฬr das Input-Dataset und fuฬr das Golden Dataset, jeweils mit den richtigen Daten befuฬllt. In der hohen Stuฬckzahl der Migration wรคre das manuell kaum zu bewรคltigen gewesen. Mit Hilfe von KI รคndert sich das: Per Skill kรถnnten Unit-Tests flรคchendeckend erzeugt werden. Das steht auf der Agenda.
Tom Barber: Solche SQL-Engines sind ein guter Weg, Saiku bietet aber einen anderen Zugang zu den Daten. Dazu gehรถrt Portabilitรคt: dasselbe Modell lรคsst sich uฬber verschiedene Engines nutzen. Auรerdem erhรคlt man ein wiederholbares Modell mit Caching und Sicherheit, auch fuฬr Anwendungsentwickler. Entscheidend ist die Governance-Schicht. Eine Datenbank allein liefert sie nicht. Saiku bringt rollenbasierte Sicherheit mit, mit der sich Datenbereiche einschrรคnken lassen, zum Beispiel auf eine bestimmte Region. Greift man direkt auf ein Data Warehouse zu, geht diese Kontrolle verloren, und es kรถnnen unterschiedliche Ergebnisse entstehen, wenn zwei Personen dieselbe Kennzahl mit anderen Joins oder Spaltennamen berechnen. Auch fuฬr KI ist das relevant: Eine KI kann auf die API mit einem vorgegebenen Schema zeigen und dort fundierte Entscheidungen treffen, statt blind in den Daten zu suchen. Mit Agent Spaces und Evaluationen lรคsst sich pruฬfen, ob die Antworten korrekt sind, was besonders bei Finanzberichten wichtig ist. Dazu kommt ein MCP-Plugin. All das ist Open Source. Auf die Nachfrage, warum man so etwas einsetzen wuฬrde: wegen der Flexibilitรคt. Man kann unter der Apache-Lizenz darauf aufbauen und es nach den eigenen Wuฬnschen erweitern.