Apache Hop User Meetup Vol. 6

Dieses Event ist leider schon vorbei.

Melde Dich hier zum nรคchsten an

Apache Hop User Meetup Vol. 6

Dieses Event ist leider schon vorbei.

Melde Dich hier zum nรคchsten an

Praxis, Community und ein Blick nach vorn

Beim Apache Hop User Meetup Vol. 6 dreht sich wieder alles um echte Praxiserfahrungen, neue Lรถsungen und den direkten Austausch innerhalb der Community.ย 

Bart Maertens, Co-Founder von Apache Hop, ist wieder dabei. Zum sechsjรคhrigen Bestehen von Apache Hop blickt er auf die technische und Community-Entwicklung der vergangenen Jahre zurรผck und zeigt, wohin sich das Projekt als Nรคchstes entwickelt.

AuรŸerdem berichten Anwender und Experten aus ihren Projekten: von der Migration bestehender ETL-Landschaften รผber kreative Integrationen und KI-gestรผtzte Ansรคtze bis hin zu DataHub, Semantic Layers und automatisiertem Data-Warehouse-Aufbau. Dich erwarten konkrete Erfahrungen, Herausforderungen und Lessons Learned, die du fรผr deine eigenen Apache-Hop-Projekte mitnehmen kannst.

Sven Kรถhler
Sven KรถhlerMaster Data Management Lead
Apache Hop revolutionierte unsere ETL-Prozesse mit einer intuitiven Oberflรคche und leistungsstarken Transformationsmรถglichkeiten. Die Integration verbesserte die Datenqualitรคt und verkรผrzte die Zeit bis zur Analyse erheblich.
Markus Dellinger
Markus Dellinger Enterprise Data Architect
Apache Hop bietet eine modulare, erweiterbare Architektur, die unsere Entwicklungsprozesse stark vereinfacht. Die Plattform lรคsst sich nahtlos in unsere bestehende Infrastruktur integrieren.
Tomislav Novak
Tomislav NovakData Integration Specialist
Apache Hop hat unsere Datenintegrationsprozesse erheblich optimiert und ermรถglicht nahtlose Big-Data-Pipelines รผber verschiedene Systeme hinweg. Die Skalierbarkeit und einfache Handhabung sind besonders beeindruckend.

Agenda

9:00
- 9:10

Einfรผhrung durch it-novum

philip heck anzug rund neu

Philipp Heck

Head of Pre-Sales & Customer Success
it-novum

9:10
- 9:40

7 years of Apache Hop (Englischer Vortrag)

Iโ€™ll start with a quick recap of what happened in the last six years since we’ve been building Apache Hop – from a technical and a community perspective. In the second part, I’ll look at what the future holds for Apache Hop.

Bart Maertens rund

Bart Maertens

Co-founder
Apache Hop

9:40
- 10:10

Hands-on: Unsere Migration von PDI zu Apache Hop

Wie gelingt der Umstieg von PDI auf Apache Hop in der Praxis? Der Vortrag gibt Einblicke in die Ausgangssituation, die Motivation fรผr die Migration und das konkrete Vorgehen โ€“ inklusive der wichtigsten Verรคnderungen, Herausforderungen und der Unterstรผtzung durch Bart Maertens.

AuรŸerdem geht es um kreative Lรถsungen und Integrationen, die wรคhrend der Migration entstanden sind, sowie um die wichtigsten Lessons Learned fรผr alle, die selbst einen Wechsel zu Apache Hop planen.

Ralf Hohoff rund

Ralf Hohoff

Leitung IT/Head of IT
Leiber GmbH

10:10
- 10:40

Aus 3 mach 1 โ€“ Die ETL-Migration an der HTW Berlin.

Zehn Jahre lang setzte das Hochschulrechenzentrum (HRZ) der HTW Berlin auf drei verschiedene ETL-Tools: Talend Open Studio (Community Edition), Pentaho Data Integration Community Edition und Altova MapForce. ร„nderungen in den Lizenzmodellen der Tools fรผhrten zur Frage, wie sich die Integrationslandschaft zukunftssicher aufstellen lรคsst. Nach einer umfassenden Recherche fiel die Entscheidung auf Apache Hop.

Wir berichten, wie die schrittweise Einfรผhrung und die Migration aller drei Tools nach Apache Hop verlief und welche Schnittstellen dabei betroffen waren, darunter Finanzsystem, Campus-Management-System (Studierende, Lehrende, Bewerber), Bibliotheksystem und Identity Management. Eine besondere Herausforderung war die gleichzeitige Umstellung des Studierendensystems auf eine neue Software und damit verbundene Datenbank. Die Workflows und Pipelines mussten schon wรคhrend der Migration angepasst werden.

Der Erfolg mit Apache Hop spricht sich herum: Inzwischen kommen neue Aufgaben aus anderen Bereichen des HRZ und anderen Abteilungen der Hochschule hinzu.

Tim Herrmann rund

Tim Herrmann

Anwendungsadministrator und Lehrbeauftragter
HTW Hochschule fรผr Technik und Wirtschaft Berlin

10:40
- 10:50

Kaffeepause

10:50
- 11:20

Model once, generate the warehouse: building a Data Vault EDW in Apache Hop with hopper-edw (Englischer Vortrag)

hopper-edw is a set of Apache Hop plugins for designing and operating an EDW from inside Hop: Data Catalog, Data Vault 2.0, Business Vault, dimensional marts, quality and lineage. You model sources and warehouse layers once (.hsm / .hdv / .hbv / .hdm); workflow actions generate the loads and consumption tables. This talk shows that path end to end and what it changes compared with writing every vault pipeline by hand.

matt rund

Matt Casters

Co-founder
Apache Hop

11:20
- 11:50

Migration zu Apache Hop - Praxisbeispiel der Netfonds Gruppe

In diesem Vortrag teilen wir unsere Praxiserfahrungen bei der Migration von Pentaho zu Apache Hop. Wir beleuchten die spezifischen Herausforderungen unseres Projekts sowie unsere metadatenbasierten Lรถsungsansรคtze, die eine modulare und generische Architektur fรผr Pipelines und Workflows ermรถglichen. Zudem geben wir Einblicke in die Anpassung unserer Docker-Images an Apache Hop und stellen individuell entwickelte Transforms vor. Abgerundet wird der Vortrag durch unsere Erfahrungswerte zur KI-gestรผtzten Migration.

Anastasia Usacheva

Anastasia Usacheva

ETL-Entwicklerin
Netfonds AG

rund dennis verlande

Dennis Verlande

ETL-Entwickler/DevOps
Netfonds AG

11:50
- 12:20

HOP im Leitstellenkontext: Implementierung und Migration von Einsatzdaten-ETLs

In einer Leitstelle fallen im Zuge von Notrufannahme, Einsatzerstellung, Disposition und Alarmierung von Ressourcenย massenhaft Daten an.ย Mit Apache HOP werden die Daten vom Einsatzleitsystem in ein Datawarehouse transferiert, und inย weiterer Folge den Einsatzorganisationen mittels self-service BI-Tools fรผr Reports und Dashboards bereitgestellt.

Der Vortrag behandelt Herausforderungen, Lรถsungen und Teststrategien.

GerhardMitterlechner rund

Gerhard Mitterlechner

Senior Development Engineer
eurofunk Business Intelligence

12:20
- 12:50

Saiku and semantic layers (Englischer Vortrag)

Saiku began as the Pentaho Analysis Tool and has spent fifteen years as one of the most widely deployed open-source OLAP front ends, outliving most of the BI stack it grew up in. Tom Barber traces that history, then covers the current wave of work: What is Ossieย the semantic-layer support? Rebuildingย reporting, dashboard and apps, and a far more usable schema designer. He closes on the roadmap, Saiku as a governed semantic layer for humans and machines alike, sitting above the pipelines Hop users already run, and where help is wanted.

Tom Barber

Tom Barber

Director
Concept To Cloud

12:50
- 13:10

Datenflรผsse sichtbar machen: Data Lineage mit Apache Hop, DataHub und KI

In diesem Vortrag zeigen wir live, wie dasย Data Lineage Plugin fรผr Apache Hopย unsichtbare Datenflรผsse sichtbar macht und die Ergebnisse inย DataHubย als zentrale Data-Governance-Lรถsung darstellt.ย 

Darรผber hinaus demonstrieren wir, wie sich Large Language Models (LLMs) gezielt einsetzen lassen, um noch schneller wertvolle Erkenntnisse aus den vorhandenen Daten zu gewinnen โ€“ und so Analyse, Entscheidungsfindung und Innovation spรผrbar zu beschleunigen.ย 

Damit werden nicht nur Entwickler bei Analyse und Fehlerbehebung unterstรผtzt โ€“ auch Fachbereiche und Management profitieren von mehr Transparenz, Compliance-Sicherheit und Vertrauen in die Daten.

cedric plachtzik rund

Cedric Plachtzik

Data Consultant
it-novum

philip heck anzug rund neu

Philipp Heck

Head of Pre-Sales & Customer Success
it-novum

รœber it-novum

Als Konzerntochter der Allgeier SE mit 2.600 Mitarbeitern an weltweit 46 Standorten implementiert it-novum als fรผhrendes Business Open Source-Beratungsunternehmen kundenindividuelle Lรถsungen fรผr Datenintegration, Data Analytics und IoT โ€“ z.B. fรผr Bundespolizei, Wiener Wohnen, Deutsche See. Dazu nutzen wir fรผhrende Technologien, wie von Pentaho, ThingsBoard, DataHub oder Redpanda.ย 

รœber Apache Hop

Apache Hop (Hop Orchestration Platform) ist eine neue Plattform fรผr Data Engineering und Data Orchestration. Hop gibt Datenexperten ein integriertes Tool Set und Best Practices an die Hand, um ihr Datenprojekt selbst umzusetzen.

Teilnehmerinformation

Bitte beachten: Die kostenlose Veranstaltung richtet sich an Fachanwender aus Unternehmen, die sich mit Data Management und IoT beschรคftigen. Wenn du Mitarbeiter eines IT-Beratungsunternehmens, Lรถsungs-, Software- oder Technologieanbieters bist und teilnehmen mรถchtest, erheben wir eine Teilnehmergebรผhr von 450โ‚ฌ. Nimm zur gebรผhrenpflichtigen Anmeldung bitte Kontakt mit uns auf per E-Mail.

Hรคufig gestellte Fragen

Das Meetup richtet sich an alle, die Apache Hop bereits einsetzen, eine Migration von PDI planen oder sich praxisnah รผber moderne Data-Engineering- und Data-Orchestration-Lรถsungen informieren mรถchten.

ย 

Im Fokus stehen unter anderem Migrationen von PDI zu Apache Hop, Data Lineage mit DataHub, Data Vault, Semantic Layers sowie konkrete Einsatzszenarien aus Unternehmen und Leitstellen.

ย 

Ja. Bart Maertens, Co-Founder von Apache Hop, blickt auf die Entwicklung der vergangenen Jahre zurรผck und gibt einen Ausblick darauf, wie sich Apache Hop kรผnftig weiterentwickeln wird.

ย 

Der Schwerpunkt liegt klar auf der Praxis. Die Speaker berichten รผber reale Projekte, Herausforderungen, Lรถsungsansรคtze und Lessons Learned aus dem produktiven Einsatz von Apache Hop.

Ja. Die Vortrรคge geben einen guten Einblick in typische Einsatzmรถglichkeiten und zeigen, wie Unternehmen Apache Hop fรผr Datenintegration, Migration, Data Warehousing und Orchestrierung einsetzen.

Das Meetup ist รผberwiegend deutschsprachig. Drei Vortrรคge werden auf Englisch gehalten, darunter die Sessions von Bart Maertens, Tom Barber und Matt Casters.

Bart Maertens: Die Migrationstools (Importer) sollen in den nรคchsten Wochen verfuฬˆgbar sein. Sie erscheinen zunรคchst nicht als Teil der offiziellen Apache-Hop-Releases, weil sie sich noch in der Erprobung befinden und man schnell iterieren mรถchte: Was funktioniert, was nicht? Der Importer bleibt aber Open Source und soll spรคter in Apache Hop einflieรŸen. Neben dem bereits vorhandenen Importer kommen Importer fuฬˆr Informatica und Talend. Beim bereits vorhandenen Importer ist die Abdeckung wegen der gemeinsamen Historie nahezu 100 %. Bei Informatica und Talend fรคllt der Import etwas anders aus, soll aber so nah wie mรถglich an das Hop-ร–kosystem herangefuฬˆhrt werden, damit der Umstieg leichter wird.

Bart Maertens: Aktuell ist er nicht geplant. Matt Casters hat im Chat zugesagt, sich den Wunsch noch einmal anzusehen. Einen Feature Request dafuฬˆr gibt es schon lรคnger. Die Huฬˆrde liegt vor allem bei Salesforce selbst: Entwickler-Accounts erfordern in regelmรครŸigen Abstรคnden ein manuelles Login, sonst werden sie gelรถscht. Dadurch ist es aufwendig, Integrationstests aufzusetzen und dauerhaft verfuฬˆgbar zu halten.

Bart Maertens: Noch nicht. Zuerst steht der technische Teil im Vordergrund, organisatorische Dinge wie eine Mailingliste wurden bisher niedriger priorisiert. Daran wird gearbeitet. Sobald die Tools verfuฬˆgbar sind, wird es einen Link bzw. Artikel dazu geben, auรŸerdem eine Ankuฬˆndigung auf LinkedIn.

Leiber: Aktuell liegen die Passwรถrter verschluฬˆsselt (โ€žEncryptedโ€œ) in den JSON-Konfigurationsdateien. Man schaut, wie man das kuฬˆnftig noch sicherer aufstellen kann.

Matt Casters ergรคnzt: Secrets, die in Key-Vaults liegen, lassen sich uฬˆber Hop Variable Resolver auflรถsen. Mehr dazu in der Dokumentation: Variable Resolver. Ein anderes Migrationsprojekt (Vortrag zur KI-gestuฬˆtzten Migration) lรถst Datenbankverbindungen, Tokens und SFTP-Schluฬˆssel komplett uฬˆber einen Google-Secret-Resolver, sodass keine Klartext-Zugangsdaten und keine Service-Account-JSONs mehr hinterlegt werden muฬˆssen.

HTW Berlin: Die Projektdokumentation lรคuft uฬˆber ein Projektmanagement-Tool und Wikis. Zusรคtzlich wird in Apache Hop selbst die Dokumentationsfunktion in Pipelines und Workflows genutzt. Dort lรคsst sich jede Transform und jede Action direkt erklรคren. Das hat sich bewรคhrt, weil eine Vertretung, die nicht tief im Thema steckt, bei einer kurzfristigen ร„nderung die Erklรคrung direkt in der Pipeline oder im Workflow lesen kann. Das Team hat sich angewรถhnt, die Dokumentation von Anfang an mitzufuฬˆhren, damit jede ร„nderung fuฬˆr den Nรคchsten sichtbar ist.

Matt Casters: Die Dokumentation dazu wurde erst kuฬˆrzlich deutlich erweitert. Der einfachste Weg ist, Hop als Docker-Container laufen zu lassen und diesen uฬˆber einen Airflow-Operator zu starten. Den Container baut man selbst, konfiguriert ihn und lรคsst ihn Plugins und Treiber aus dem eigenen Artefakt-Repository laden. Zusรคtzlich gibt es auf der Hop-Website mehrere How-to-Guides und Best Practices, zum Beispiel zu Change Data Capture. Anleitung: Hop in Apache Airflow betreiben

Vortrag zur KI-gestuฬˆtzten Migration: Die KI baut alles, der Mensch nimmt es ab. Das gilt fuฬˆr den Job, die Unit-Tests und die Dokumentation. Hat man zuvor Leitplanken und Konventionen fuฬˆr die KI festgelegt, genuฬˆgt als Prompt im Prinzip ein Zweizeiler wie โ€žBaue diesen Job bitte auf Hop aufโ€œ, und der Ablauf startet von selbst. Dahinter steht ein Workflow aus vielen Agenten, die ihre Ergebnisse untereinander weiterreichen. Man nรคhert sich dem schrittweise: Wenn man etwas Neues gelernt hat, sagt man der KI, daraus einen wiederverwendbaren Skill zu machen. So lรคsst sich der Prozess nach und nach automatisieren. Matt Casters ergรคnzt aus Sicht des Apache-Hop-Projekts: Dialoge der Hop-GUI lรคsst man Agenten mit Annotationen bauen (siehe AGENTS.md). Agenten brauchen auรŸerdem Tests. Deshalb lรคsst man Integrationstests fuฬˆr Transforms und Actions erstellen, so wie im Hop-Quellcode unter โ€žintegration-tests/transformsโ€œ.

Eurofunk: Ja, Unit-Tests sind im Einsatz, allerdings nur wenige. Sie werden hauptsรคchlich fuฬˆr Pipelines genutzt, die per Simple Mapping aus mehreren Projekten aufgerufen werden und sich leicht auf korrektes Verhalten pruฬˆfen lassen. Das Regressionstest-Framework gab es in rudimentรคrer Form schon vor der Migration und wurde dann fertig gebaut. Fuฬˆr die gesamte Migration waren Unit-Tests aus Sicht des Referenten zu aufwendig: Fuฬˆr jeden Test braucht man Metadaten-Objekte fuฬˆr den Test selbst, fuฬˆr das Input-Dataset und fuฬˆr das Golden Dataset, jeweils mit den richtigen Daten befuฬˆllt. In der hohen Stuฬˆckzahl der Migration wรคre das manuell kaum zu bewรคltigen gewesen. Mit Hilfe von KI รคndert sich das: Per Skill kรถnnten Unit-Tests flรคchendeckend erzeugt werden. Das steht auf der Agenda.

Tom Barber: Solche SQL-Engines sind ein guter Weg, Saiku bietet aber einen anderen Zugang zu den Daten. Dazu gehรถrt Portabilitรคt: dasselbe Modell lรคsst sich uฬˆber verschiedene Engines nutzen. AuรŸerdem erhรคlt man ein wiederholbares Modell mit Caching und Sicherheit, auch fuฬˆr Anwendungsentwickler. Entscheidend ist die Governance-Schicht. Eine Datenbank allein liefert sie nicht. Saiku bringt rollenbasierte Sicherheit mit, mit der sich Datenbereiche einschrรคnken lassen, zum Beispiel auf eine bestimmte Region. Greift man direkt auf ein Data Warehouse zu, geht diese Kontrolle verloren, und es kรถnnen unterschiedliche Ergebnisse entstehen, wenn zwei Personen dieselbe Kennzahl mit anderen Joins oder Spaltennamen berechnen. Auch fuฬˆr KI ist das relevant: Eine KI kann auf die API mit einem vorgegebenen Schema zeigen und dort fundierte Entscheidungen treffen, statt blind in den Daten zu suchen. Mit Agent Spaces und Evaluationen lรคsst sich pruฬˆfen, ob die Antworten korrekt sind, was besonders bei Finanzberichten wichtig ist. Dazu kommt ein MCP-Plugin. All das ist Open Source. Auf die Nachfrage, warum man so etwas einsetzen wuฬˆrde: wegen der Flexibilitรคt. Man kann unter der Apache-Lizenz darauf aufbauen und es nach den eigenen Wuฬˆnschen erweitern.