Data Vault Vor- und Nachteile

  • View
    813

  • Download
    0

Embed Size (px)

Text of Data Vault Vor- und Nachteile

  1. 1. Data Vault Torsten Glunde
  2. 2. Farbenlehre 3NF Sale Customer Employee ProductVendor Store Region Sale LI Business Key Relation Kontext (historisch)
  3. 3. Farbenlehre Star Schema Sale Customer Employee Product Vendor Store Region Customer Employee Product Vendor Store Region Business Key Relation Kontext (historisch)
  4. 4. Farbenlehre Data Vault Sale Customer Employee Product Vendor Store Region Link Link Link Business Key Relation Kontext (historisch)
  5. 5. Farbenlehre Data Vault Sale Customer Employee Product Vendor Store Region Link Link Link Sat Sat Sat Sat Sat Sat Sat Business Key Relation Kontext (historisch)
  6. 6. Farbenlehre Data Vault Sale Customer Employee Product Vendor Store Region Link Link Link Sat Sat Sat Sat Sat Sat Sat Business Key Relation Kontext (historisch)
  7. 7. 3FolieFolieAWF Arbeitsgemeinschaft Pull-Systeme Dipl.-Ing. O. Vlker und Dipl.-Ing. S. Binner Einleitung Push und Pull In OutBestand in der Fertigung Ziehlogik (PullZiehlogik (Pull--Prinzip)Prinzip) Bestand in der Fertigung In Out Schiebelogik (PushSchiebelogik (Push--Prinzip)Prinzip)
  8. 8. Lieferkette Push-Pull Point
  9. 9. Datenlieferungsprozess
  10. 10. I Single Version of Facts II Multiple Versions of Truth III Single Sources IV All Data MPP Automatisierung des DWH mit DataVault Enterprise Information Products Reports Predictive Analytics Adhoc-QueriesDWH Mart Data LakeInput ComplicatedSimple Chaotic Analytics, Innovations Data Science Data Mining Machine Learning Alle Daten Complex
  11. 11. Manuelles ETL Bereinigung Geschftsregeln Datenmodell getriebene Automation Integration nach Business Key (fachlich) Historisierung Moderne DWH Architektur mit Data Vault I Facts II Context III Shadow IT IV Analytics, Research, Prototyping Raw Vault Single Version of Facts Business Vault Source Stage Report Mart Multiple Versions of Truth
  12. 12. Steuerung durch fachliche Modellierung
  13. 13. Ladestrecken - Hub SELECT DISTINCT BK Erstelle SK Im Ziel vorhanden ? Lookup INSERT INTO Hub Stage Raw Vault SELECT DISTINCT BK WHERE NOT EXISTS IN Hub Erstelle SK INSERT INTO Hub Stage Raw Vault SELECT DISTINCT BK, MD5 WHERE NOT EXISTS IN Hub INSERT INTO Hub Stage Raw Vault INSERT INTO HUB SELECT DISTINCT BK, MD5 WHERE NOT EXISTS IN Hub Stage Raw Vault Ja Nein
  14. 14. Ladestrecken - Link SELECT DISTINCT Liste der BKs Erstelle SK Im Ziel vorhanden ? Lookup INSERT INTO Link Stage Raw Vault Ja Nein Lookup SK 1 Lookup SK 2 Lookup SK n ? ? ?
  15. 15. Ladestrecken - Link SELECT DISTINCT List der BK Erstelle SK Im Ziel vorhanden ? Lookup INSERT INTO Link Stage Raw Vault Ja Nein Erstelle SK pro BK SELECT DISTINCT List der BK,MD5 WHERE NOT EXISTS IN Link Erstelle SK INSERT INTO Link Stage Raw Vault
  16. 16. Ladestrecken - Satellite SELECT DISTINCT BK, Attribute Erstelle SK Im Ziel vorhanden ? Lookup INSERT INTO Sat Stage Raw Vault Ja Nein Lookup SK nderung? Nein Ja End-Dating Open Sat Records Raw Vault
  17. 17. Ladeabhngigkeiten Hubs Links Satellites MD5 Alles parallel ETL oder ELT?
  18. 18. MD5 Message-digest Algorithm 128-bit (16-byte) oder 32 digit hexadecimal Ronald Rivest in 1991 RFC-1321 Collision durch Prparation der Eingabgedateien erzwingbar Algorithmus zur Berechnung im Data-Vault muss eingehalten werden! NULL-Handling Formate fr Zahlen und Datum Trennzeichen! Alternativen: http://en.wikipedia.org/wiki/List_of_hash_functions
  19. 19. Vielen Dank fr Ihre Aufmerksamkeit! Fragen? tglunde Torsten Glunde mailto:t.glunde(at)alligator-company.de Weitere Netzwerke: https://www.xing.com/profile/Torsten_Glunde https://www.linkedin.com/pub/torsten-glunde/8/aba/97
  20. 20. Farbenlehre Data Vault Sale Customer Employee Product Vendor Store Region Link Link Link Business Key Relation Kontext (historisch)
  21. 21. I Facts II Context III Shadow IT IV Analytics, Research, Prototyping Raw Vault Business Vault Source Stage Conceptional Data Model Report Mart PDM LDM Sync Sync Data Flow Stage Tables Map 1:1 Map F(x) F(x) Map
  22. 22. Complexe Geschftsregeln Bereinigung, Historisierung und Integration alles in einem Schritt Traditionelle DWH Architektur Staging (EDW) Single Version of the Truth Source Mart 3NF

Recommended

View more >