Ein Data Mesh ist ein Konzept im Bereich der Datenarchitektur, das darauf abzielt, die Herausforderungen bei der Skalierung und Verwaltung von Daten in großen Organisationen zu bewältigen. Dieser Ansatz wurde erstmals von Zhamak Dehghani, Director of Emerging Technologies bei ThoughtWorks, im Jahr 2020 vorgestellt.
Die traditionelle zentrale Datenarchitektur, in der alle Daten in einem zentralen Data Warehouse gesammelt werden, stößt in vielen Organisationen an ihre Grenzen, wenn es um die Bewältigung von wachsenden Datenvolumina, die zunehmende Vielfalt von Datenquellen und die Anforderungen an die Datenzugänglichkeit geht. Ein Data Mesh versucht, diese Herausforderungen zu adressieren, indem es auf Prinzipien wie Dezentralisierung, Selbstbedienung, Skalierbarkeit und föderierte Architekturen setzt.
Schlüsselmerkmale und Prinzipien des Data Mesh
- Domänenorientierte dezentrale Datenverwaltung und Architektur (Domian-oriented ownership): Die Verantwortung für Daten wird auf die einzelnen Geschäftsbereiche (Domains) verteilt. Jede Domäne ist für ihre eigenen Daten verantwortlich.
- Daten als Produkt (Data as a product): Daten werden als eigenständige Produkte betrachtet, und es wird eine Produktorientierung bei der Entwicklung, Bereitstellung und Verwaltung von Daten angestrebt.
- Daten-Mesh-Architektur (self-service data infrastructure): Hierbei handelt es sich um eine föderierte Architektur, bei der Dateninfrastrukturen in einzelnen Domänen aufgebaut werden. Diese Domänen sind dann über klare Schnittstellen und Standards miteinander verbunden.
- Selbstbedienbare Dateninfrastruktur als Plattform (Federate computational governance): Die Idee ist, dass Teams innerhalb einer Domäne ihre eigenen Dateninfrastrukturen erstellen und betreiben können, ähnlich wie bei der Entwicklung von Mikroservices.
Beispiel: Vertriebsabteilung
- Die Vertriebsabteilung ist für die Erfassung und Verwaltung von Verkaufsdaten verantwortlich.
- Sie erstellt ihre eigene Dateninfrastruktur und -architektur, um Verkaufsdaten effizient zu speichern und zu verarbeiten.
- Die Vertriebsabteilung stellt klare Schnittstellen und Standards bereit, über die andere Abteilungen auf ihre Verkaufsdaten zugreifen können.
Ausblick
Dieses Modell ermöglicht eine dezentrale Datenverwaltung, wodurch die Agilität und Skalierbarkeit verbessert werden. Jede Domäne agiert wie ein autonomes Team, das für die eigenen Daten verantwortlich ist, und gleichzeitig können Daten zwischen den Domänen ausgetauscht werden, um einen ganzheitlichen Blick auf die Unternehmensdaten zu gewährleisten.
