Praxis, Community und ein Blick nach vorn
Beim Apache Hop User Meetup Vol. 6 dreht sich wieder alles um echte Praxiserfahrungen, neue Lösungen und den direkten Austausch innerhalb der Community.
Bart Maertens, Co-Founder von Apache Hop, ist wieder dabei. Zum sechsjährigen Bestehen von Apache Hop blickt er auf die technische und Community-Entwicklung der vergangenen Jahre zurück und zeigt, wohin sich das Projekt als Nächstes entwickelt.
Außerdem berichten Anwender und Experten aus ihren Projekten: von der Migration bestehender ETL-Landschaften über kreative Integrationen und KI-gestützte Ansätze bis hin zu DataHub, Semantic Layers und automatisiertem Data-Warehouse-Aufbau. Dich erwarten konkrete Erfahrungen, Herausforderungen und Lessons Learned, die du für deine eigenen Apache-Hop-Projekte mitnehmen kannst.
Agenda
Einführung durch it-novum
Philipp Heck
Head of Pre-Sales & Customer Successs
it-novum
7 years of Apache Hop (Englischer Vortrag)
I’ll start with a quick recap of what happened in the last six years since we’ve been building Apache Hop – from a technical and a community perspective. In the second part, I’ll look at what the future holds for Apache Hop.
Bart Maertens
Co-founder
Apache Hop
Hands-on: Unsere Migration von PDI zu Apache Hop
Wie gelingt der Umstieg von PDI auf Apache Hop in der Praxis? Der Vortrag gibt Einblicke in die Ausgangssituation, die Motivation für die Migration und das konkrete Vorgehen – inklusive der wichtigsten Veränderungen, Herausforderungen und der Unterstützung durch Bart Maertens.
Außerdem geht es um kreative Lösungen und Integrationen, die während der Migration entstanden sind, sowie um die wichtigsten Lessons Learned für alle, die selbst einen Wechsel zu Apache Hop planen.
Ralf Hohoff
Leitung IT/Head of IT
Leiber GmbH
Aus 3 mach 1 – Die ETL-Migration an der HTW Berlin.
Zehn Jahre lang setzte das Hochschulrechenzentrum (HRZ) der HTW Berlin auf drei verschiedene ETL-Tools: Talend Open Studio (Community Edition), Pentaho Data Integration Community Edition und Altova MapForce. Änderungen in den Lizenzmodellen der Tools führten zur Frage, wie sich die Integrationslandschaft zukunftssicher aufstellen lässt. Nach einer umfassenden Recherche fiel die Entscheidung auf Apache Hop.
Wir berichten, wie die schrittweise Einführung und die Migration aller drei Tools nach Apache Hop verlief und welche Schnittstellen dabei betroffen waren, darunter Finanzsystem, Campus-Management-System (Studierende, Lehrende, Bewerber), Bibliotheksystem und Identity Management. Eine besondere Herausforderung war die gleichzeitige Umstellung des Studierendensystems auf eine neue Software und damit verbundene Datenbank. Die Workflows und Pipelines mussten schon während der Migration angepasst werden.
Der Erfolg mit Apache Hop spricht sich herum: Inzwischen kommen neue Aufgaben aus anderen Bereichen des HRZ und anderen Abteilungen der Hochschule hinzu.
Tim Herrmann
Anwendungsadministrator und Lehrbeauftragter
HTW Hochschule für Technik und Wirtschaft Berlin
Kaffeepause
Model once, generate the warehouse: building a Data Vault EDW in Apache Hop with hopper-edw (Englischer Vortrag)
hopper-edw is a set of Apache Hop plugins for designing and operating an EDW from inside Hop: Data Catalog, Data Vault 2.0, Business Vault, dimensional marts, quality and lineage. You model sources and warehouse layers once (.hsm / .hdv / .hbv / .hdm); workflow actions generate the loads and consumption tables. This talk shows that path end to end and what it changes compared with writing every vault pipeline by hand.
Matt Casters
Co-founder
Apache Hop
Migration zu Apache Hop - Praxisbeispiel der Netfonds Gruppe
In diesem Vortrag teilen wir unsere Praxiserfahrungen bei der Migration von Pentaho zu Apache Hop. Wir beleuchten die spezifischen Herausforderungen unseres Projekts sowie unsere metadatenbasierten Lösungsansätze, die eine modulare und generische Architektur für Pipelines und Workflows ermöglichen. Zudem geben wir Einblicke in die Anpassung unserer Docker-Images an Apache Hop und stellen individuell entwickelte Transforms vor. Abgerundet wird der Vortrag durch unsere Erfahrungswerte zur KI-gestützten Migration.
Anastasia Usacheva
ETL-Entwicklerin
Netfonds AG
Dennis Verlande
ETL-Entwickler/DevOps
Netfonds AG
HOP im Leitstellenkontext: Implementierung und Migration von Einsatzdaten-ETLs
In einer Leitstelle fallen im Zuge von Notrufannahme, Einsatzerstellung, Disposition und Alarmierung von Ressourcen massenhaft Daten an. Mit Apache HOP werden die Daten vom Einsatzleitsystem in ein Datawarehouse transferiert, und in weiterer Folge den Einsatzorganisationen mittels self-service BI-Tools für Reports und Dashboards bereitgestellt.
Der Vortrag behandelt Herausforderungen, Lösungen und Teststrategien.
Gerhard Mitterlechner
Senior Development Engineer
eurofunk Business Intelligence
Saiku and semantic layers (Englischer Vortrag)
Saiku began as the Pentaho Analysis Tool and has spent fifteen years as one of the most widely deployed open-source OLAP front ends, outliving most of the BI stack it grew up in. Tom Barber traces that history, then covers the current wave of work: What is Ossie the semantic-layer support? Rebuilding reporting, dashboard and apps, and a far more usable schema designer. He closes on the roadmap, Saiku as a governed semantic layer for humans and machines alike, sitting above the pipelines Hop users already run, and where help is wanted.
Tom Barber
Director
Concept To Cloud
Event-Impressionen
Über it-novum
Als Konzerntochter der Allgeier SE mit 2.600 Mitarbeitern an weltweit 46 Standorten implementiert it-novum als führendes Business Open Source-Beratungsunternehmen kundenindividuelle Lösungen für Datenintegration, Data Analytics und IoT – z.B. für Bundespolizei, Wiener Wohnen, Deutsche See. Dazu nutzen wir führende Technologien, wie von Pentaho, ThingsBoard, DataHub oder Redpanda.
Über Apache Hop
Teilnehmerinformation
Bitte beachten: Die kostenlose Veranstaltung richtet sich an Fachanwender aus Unternehmen, die sich mit Data Management und IoT beschäftigen. Wenn du Mitarbeiter eines IT-Beratungsunternehmens, Lösungs-, Software- oder Technologieanbieters bist und teilnehmen möchtest, erheben wir eine Teilnehmergebühr von 450€. Nimm zur gebührenpflichtigen Anmeldung bitte Kontakt mit uns auf per E-Mail.
Häufig gestellte Fragen
Das Meetup richtet sich an alle, die Apache Hop bereits einsetzen, eine Migration von PDI planen oder sich praxisnah über moderne Data-Engineering- und Data-Orchestration-Lösungen informieren möchten.
Im Fokus stehen unter anderem Migrationen von PDI zu Apache Hop, Data Lineage mit DataHub, Data Vault, Semantic Layers sowie konkrete Einsatzszenarien aus Unternehmen und Leitstellen.
Ja. Bart Maertens, Co-Founder von Apache Hop, blickt auf die Entwicklung der vergangenen Jahre zurück und gibt einen Ausblick darauf, wie sich Apache Hop künftig weiterentwickeln wird.
Der Schwerpunkt liegt klar auf der Praxis. Die Speaker berichten über reale Projekte, Herausforderungen, Lösungsansätze und Lessons Learned aus dem produktiven Einsatz von Apache Hop.
Ja. Die Vorträge geben einen guten Einblick in typische Einsatzmöglichkeiten und zeigen, wie Unternehmen Apache Hop für Datenintegration, Migration, Data Warehousing und Orchestrierung einsetzen.
Das Meetup ist überwiegend deutschsprachig. Drei Vorträge werden auf Englisch gehalten, darunter die Sessions von Bart Maertens, Tom Barber und Matt Casters.