Agile Data Engine entwirft hochleistungsfähiges Data-Vault-Modell mit Databricks

Auf der "Willibald Challenge" der Deutschsprachigen Data Vault User Group (DDVUG) e.V. hat der DataOps-Anbieter mit dem Modellierungsansatz ein Data Warehouse auf Databricks erstellt.

Auf der Willibald Challenge der DDVUG können Anbieter von Data Warehouse Automation zeigen, wie sie allgemeine und fortgeschrittene Probleme im Zusammenhang mit dem Modellierungsansatz Data Vault lösen. Anhand eines zur Verfügung gestellten Beispieldatensatzes müssen sie verschiedene Aufgaben lösen. Dafür wurde eine fiktive Firma erschaffen: die Samen- und Pflanzenhandlung Willibald. Sie besteht aus zwei Datenbanken, die 13 typische Probleme bei der Erstellung eines Data Warehouse abbilden. Als siebter Anbieter hat sich - mit Databricks im Gepäck - vor kurzem das Solita-Tochterunternehmen Agile Data Engine (ADE) der Challenge gestellt. ADE präsentierte die kollaborative Lösung auch auf dem jüngsten Databricks Bootcamp am 20. Februar in Frankfurt am Main.

"Unsere Teilnahme an der Willibald Challenge hat sich als lohnende Erfahrung erwiesen, um die Fähigkeiten von Agile Data Engine in einem anspruchsvollen Umfeld zu testen", erklärt Matti Karell, Managing Director von Agile Data Engine. "Die Unterstützung von Databricks für SQL-basierte Abfragen, Data Lineage und BI-Integration passte perfekt zu den Fähigkeiten unserer Plattform und unseren Zielen bei der Challenge."

Die Kompatibilität zwischen Agile Data Engine und Databricks SQL ermöglichte es ADE, in kürzester Zeit ein stabiles, hochleistungsfähiges Data-Vault-Modell mit allen erforderlichen Komponenten einzurichten. Von multiaktiven und effektiven Satelliten bis hin zu transaktionalen und hierarchischen Verknüpfungen konnte Databricks fortschrittliche Data Vault-Komponenten problemlos verarbeiten, so dass Agile Data Engine komplexe Datenanforderungen ohne Engpässe unterstützen konnte.

Matti Karell: "Databricks' Unity Catalog Lineage Tracking brachte Transparenz und Effizienz in unsere Datenmanagement-Praktiken und machte es einfach, Datenflüsse und -transformationen über die gesamte Pipeline zu verfolgen. Resultat ist eine verbesserte Data Governance."

Agile Data Engine unterstützt Unternehmen beim Entwurf, der Automatisierung und der Orchestrierung ihrer Data Vault-Implementierung. Die Implementierung eines Data Vault-Modells im großen Maßstab erfordert allerdings einen gewissen technischen Aufwand, um das Datenlayout der wachsenden Objekte zu optimieren. Predictive Optimization (PO) in Databricks vereinfacht diesen Prozess durch die Automatisierung der Tabellenverwaltung über Unity Catalog und die Data Intelligence Platform. PO optimiert auf intelligente Weise das Datenlayout für von Unity Catalog verwaltete Tabellen, was zu einer verbesserten Abfrageleistung und geringeren Speicherkosten führt.

Beim Aufbau von Datenplattformen hat man es mit zwei häufigen Herausforderungen zu tun: der Sicherstellung qualitativ hochwertiger Daten und ihrer schnellen Bereitstellung für die User. Oft ist jedoch unklar, ob diese alle verfügbaren Daten vollständig für Erkenntnisse und Entscheidungen nutzen können. Hier kommt AI/BI Genie von Databricks ins Spiel, eine KI-gestützte Schnittstelle mit Datenintelligenz, die es Business Usern ermöglicht, selbständig Datenanalysen in natürlicher Sprache durchzuführen. Weitere Funktionen, die ein Databricks Lakehouse ideal für die Implementierung von Data Vault mit Agile Data Engine machen, sind das Serverless Warehouse, Variant Datatype und Autoloader von Databricks