Data Warehouse (abgekürzt DWH) ist eine Softwarearchitektur, die Unternehmen seit vielen Jahren hilft, wertvolles Wissen aus ihren unterschiedlichen IT-Systemen zu bergen. Die Realität, in der diese Technologie eingesetzt wird, hat sich aber in jüngster Vergangenheit stark geändert: Heute erzeugen viele Unternehmen überproportional mehr Daten und die Reaktionsgeschwindigkeit für die Auswertung dieser Informationen hat sich drastisch verkürzt. Gleichzeitig nimmt der Wissensdurst von Organisationen und Unternehmen zu. Der klassische Data Warehouse-Ansatz stößt in diesem Umfeld schnell an seine Grenzen. Data Vault verspricht, den neuen Anforderungen gerecht zu werden und bietet einen vielversprechenden Ansatz, um das althergebrachte Data Warehouse Konzept zu erweitern und zu modernisieren.
Die Grenzen klassischer Data Warehouses
Konfrontiert mit extrem hohen Datenvolumina kann die Skalierung eines DWH sehr schwierig sein. Verwenden Unternehmen eine kommerzielle Datenbanksoftware, kann die Speicherung zudem hohe Lizenzkosten nach sich ziehen. Das schreckt viele Unternehmen ab, weshalb sie ihre Daten nicht analysieren und das Wissen darin nicht nutzen.
Weil immer mehr Daten in nicht standardisierten Formaten in den Mittelpunkt des Analyseinteresses rücken, stoßen relationale Datenbanken schnell an ihre Grenzen. Um den gestiegenen Anforderungen gerecht zu werden, kommen neue Technologien ins Spiel.
Data Warehouse Modernisierung mit Data Vault
Data Vault ist die aktuelle Antwort auf viele Herausforderungen vor denen Data Warehouse (DWH) Architekten stehen, denn die innovative Data Warehouse-Modellierung verspricht wieder zeitgerechte Entwicklungen bzw. ein optimiertes time-to-market.
Vor allem Unternehmen, die große Datenvolumen in kurzer Zeit laden müssen sowie Unternehmen, die ihre Business Intelligence-Applikationen agil entwickeln, profitieren sehr stark von der Data Vault-Methodik.
Der Business-Value des Data Vault-Konzepts:
- Massive Reduzierung der Entwicklungszeit bei der Implementierung von Business-Anforderungen
- Schnellerer Return of Investment bei DWH-Aufbau/-Modernisierung
- Verwaltung und Einhaltung von Compliance-Anforderungen (Basel, BCBS 239, u.a.)
- 100%-ige Auditfähigkeit durch Historisierung und Nachvollziehbarkeit aller Daten bis zum Quellsystem
- Stichtagsbezogene Auswertungen: Daten aus dem Altbestand können zum gewünschten Stichtag dargestellt/ wiederhergestellt werden. Berichtsstände können miteinander verglichen werden.
Um die Vorteile von Data Vault zu nutzen, ist es nicht notwendig eine existierende Data Warehouse-Architektur komplett neu aufzubauen. Es gibt die Möglichkeit, neue Aspekte einer Data Warehouse-Lösung mit Konzepten und Methoden des Data Vault aufzubauen, ohne die existierenden Bestandteile zu verlieren. Durch eine klare Zuordnung, welche Bereiche wo in der Architektur angesiedelt sind, ist dies machbar. Auch das partielle Anwenden von Data Vault ist möglich.
Data Warehouse in der Cloud
Treiber für eine Data Warehouse Modernisierung (DWH) sind ein sich veränderndes Technologieumfeld (z.B. Cloud) sowie steigende Anforderungen an die Unternehmen und damit an das DWH durch die digitale Transformation.
In unserem Webinar gehen wir auf das Modernisierungs-Szenario Cloud Migration ein. Anhand von Demos zeigen wir Ihnen, wie man SAP Daten extrem einfach in die Cloud Data Plattform Snowflake migriert und im Anschluss regelmäßig belädt.
Als Datenintegration und Datenmanagementsoftware kommt Pentaho zum Einsatz. Der Vorteil dieses Tools liegt unter anderem in den visuell (Drag & Drop) parametrisierbaren ETL Steps. Für die Connectivität zwischen SAP und Pentaho sorgt der Hitachi Data Connector for SAP, der von it-novum als Plugin für Pentaho entwickelt wurde.
Als Cloud Data Warehouse wurde Snowflake aus folgenden Gründen gewählt:
- Cloud Data Warehouse: Als SQL-basiertes DWH von Stunde eins an für die Cloud konzipiert
- Data Lake: Als komfortable Hadoop Alternative Verarbeitung von strukturierten und semi-strukturierten Daten
- Data Sharing: Sicherer und beherrschbarer interner Datenaustausch und für die externe Monetarisierung
- Skalierbarkeit: Durch Trennung von Compute und Storage flexible und Usecase bezogene Verteilung der Ressourcen
- Kosteneffizient: Perfekte Alternative für traditionelle Enterprise Datenbanklösungen
Unsere Leistungen
Konzeption und Modellierung eines Data Warehouse
Als erfahrener Dienstleister im BI-Umfeld nutzen wir Pentaho Data Integration (PDI) für die Entwicklung der notwendigen Extraktions-, Transformations- und Ladeprozesse (ETL-Prozesse), sowie auf Datenbankebene interessante Technologien wie NoSQL, PostgreSQL oder Neo4J. Mit diesem Technologie Stack können wir auch komplexe Anforderungen umsetzen.
Entwicklung, Bereitstellung und Betrieb von Data Vaults
Mit unserem Pentaho Data Vault Framework bieten wir eine schnelle und einfache Umsetzungsmöglichkeit eines Data Warehouse mit Data Vault. Damit sind Sie beim Aufbau eines agilen Data Warehouse 2-5x schneller. Sie sparen nicht nur Zeit, sondern sind auch schneller time-to-market.
