DataHub User Meetup Vol. 1 - Automatisiertes Monitoring von Datenpipelines
Wie lässt sich das Monitoring von Datenpipelines effizienter gestalten und weitgehend automatisieren? Ram von Pepperl+Fuchs zeigt, wie DataHub von einer zentralen Metadatenplattform zu einer Lösung für konkrete Anforderungen im Supply Chain Management (SCM) weiterentwickelt wird.
Bisher überwacht das SCM-Team mehrere produktive Tableau-Datenpipelines manuell und dokumentiert deren Status sowie auftretende Probleme in Confluence. Künftig sollen plattformübergreifende Data Lineage, Freshness Assertions, automatisiertes Monitoring und Benachrichtigungen diese Prozesse deutlich vereinfachen.
Neben den bisherigen Erfolgen beleuchtet Ram auch technische Herausforderungen und aktuelle Grenzen von DataHub. Dazu zählen die automatisierte Erstellung von Assertions, fehlende Metadaten wie Tableau-Prep-Zeitpläne und Bereiche, in denen weiterhin individuelle Entwicklungen notwendig sind.
