Embed Size (px)
Citation preview
®
IBM Software Group
© 2007 IBM Corporation
Archivierung im IBM DB2 HOST Bereich
Hans-Jürgen Schmidt
Tel. 07034-15-3282 Mobile 0160-8812236
IBM Software Group
2
Agenda
Warum Archivierung
Definition Archivierung
Wie werden Daten heute archiviert ?
Terminologie
DB2 Data Archive Expert for z/OS
IBM SAP Archivierungs Lösung
IBM Software Group
3
Warum Archivierung
In den IT Bereichen wächst das Datenvolumen überdurchschnittlich
Die Anzahl der Datenbanken wächst expotential
Gale Research Inc.
IBM Software Group
4
Warum Archivierung
Inaktive Daten existieren überall Transaktionen
Data Warehouses
etc.
Inaktive Daten werden noch benötigt, nur die Zugriffswahrscheinlichkeit ist geringer als bei aktiven Daten
Warum sollen inaktive Daten gehalten werden ? Gesetzliche Gründe
Geschäftliche Gründe
Trend Analysen
Auswertungen von Vergangenheitsdaten
Reaktivierung
IBM Software Group
5
Warum Archivierung
Es ist ein Phänomen, dass bei steigendem Datenvolumen auch der Prozentsatz der inaktiven Daten überprozentual zunimmt
*Inmon, Bill. Webinar on data warehousing and dormant data. http://archive.mshow.com/61039
10 GB 10 % inaktiv
100 GB 40 % inaktiv
2 TB 70 % inaktiv
50 TB 85 % inaktiv
IBM Software Group
6
Warum Archivierung
Das Problem inaktive Daten erzeugen Kosten Wachsende Besorgnis der IT Manager : wie gehe ich mit steigendem
Datenvolumen um
Kapazitätserweiterung ist nicht immer der effizienteste Weg mit Wachstum umzugehen
Ungezügeltes Datenwachstum beeinträchtigt das IT Umfeld in folgenden Bereichen :
Performance
Kosten für Prozessor, Speicher
Handhabung / Wartung
IBM Software Group
7
Warum Archivierung
Wo liegen die Kosten ? Performance
Zusätzliche I/O Operationen
Zusätzliche Prozessor Operationen
Hardware Kosten
Prozessor
Platten
– Datenredundanz (eingeschränkte Normalisierung)
– Indexorganisation
– Handhabung / Wartung
REORG / UNLOAD / BUILD INDEX etc.
Beeinträchtigung Batch Window
Unzufriedenheit externer/interner Kunden Antwortzeitverhalten der Anwendung
IBM Software Group
8
Definition der Archivierung Transfer von inaktiven Daten zu einem Archiv, auf das bei Bedarf schnell
zugegriffen werde kann Archive/Retrieve Prozesse
Häufig ist die Archivierung ein Bestandteil in der Backup/Recovery Strategie eines Unternehmens
Unterschied Archive / Backup Archiv enthält selektive Daten Archive sind Anwendungs orientiert Backup ist Datenspeicher orientiert
Mit DB2 z/OS V8 wurde BACKUP/RESTORE in die DB2 Engine übernommen
Anforderungen Selektionskriterium soll kompletter SQL Umfang sein Schneller Retrieve Prozess
Welche Kosten werden akzeptiert ?
Probleme Strukturänderungen der Daten Neue Versionen der Anwendung
IBM Software Group
9
Wie werden Daten heute archiviert ?
Meistens mit Eigenentwicklungen Zugeschnitten für jede einzelne Anwendung
Wartung sehr teuer
Einige Firmen archivieren keine Daten Daten werden gelöscht und es wird darauf vertraut dass sie nicht mehr
benötigt werden
Es werden immer mehr Ressourcen zur Verfügung gestellt
Kostenexplosion bei der IT Infrastruktur
Die gesetzlichen Regularien zur Datenaufbewahrung erfordern eine stabile Archivierungs Lösung
Archivierung läuft unter Kontrolle der Anwendungen
System Programmierer / DBA’s stellen die Infrastruktur zur Verfügung
IBM Software Group
10
Wie werden Daten heute archiviert ?
Ergebnisse aus Umfragen Von 479 Befragten haben 63 % eine Archivinfrastruktur installiert, von den
37 % die mit Nein antworteten befassen sich 80 % mit dem Thema
Neben gesetzlichen Vorgaben spielen auch interne Überlegungen (Fachabteilungen) eine Rolle bei der Archivierung
Verwaltung/Personal/Vertrieb : 41 %
Produktion/Entwicklung : 34 %
Finanz : 19 %
Gemeinsamer Request : 6 %
Medium für Archive
Bestehende Archive : Platte = 38 %, Band = 39 %
Neue Archive : Platte = 53 %, Band = 25 %
Bedeutung Optischer Speicher : Rückgang von 23 % auf 16 %
Kosten : Platte = 25-35 US $, Band = 3-5 US $, Optisch = 5 US $
Mehr als 50 % der Befragten schätzt die Grösse ihres Archivs auf über 1 Terabyte
IBM Software Group
11
ActiveData
ArchiveData
archive
retrieve (most
common)Temp
retrieve
Terminologie
Terminologie Aktive Daten
Archivierte Daten
Typen von Archiven
Archivierungs Tabellen: direkter Zugriff via SQL
Archivierungs Dateien
– Flat Files (kein DB2 Format)
– WORM (write once read multiple)
– Speicherung : Platte, Band, Optisches Medium
Archiv Metadaten – Daten über das Archiv
Wer, Wann, Wohin (Speichermedium), Was (SQL WHERE Clause), Warum (manuell, periodisch, geplant)
Pro Archiv
IBM Software Group
12
DB2 Data Archive Expert for z/OS
SMS
Storage Management System HSM TSM
IBM Software Group
13
DB2 Data Archive Expert for z/OS
Components An ISPF interface
Specifications
Execution
A callable Application Programming Interface (API)
Archive metadata
DB2 Grouper
IBM Software Group
14
DB2 Data Archive Expert for z/OS
Archive To table
Retain SQL access
Save disk space (by not requiring fast index access to archived data):
Archive is a copy and a delete operation
– The deletes can be deferred
– Product insures that no data is deleted that is not safely in the archive
Index
Data100G
B
40GB
60GB
<table_name>
Data 30
Index
Data
20
30
<table_name> <arc_table>
AfterArchive
Saved 20% in disks costs!(if 50% of the data is inactive)
IBM Software Group
15
DB2 Data Archive Expert for z/OS
Archive To file
No SQL access, but cheaper media options available
– Consider media format when upgrading storage devices
– Tape is still about 5 times cheaper than disk
Can use products like a 4GL to access data directly
DFHSM can be used to automatically migrate files to cheaper storage media
Like archive tables, rows are timestamped in order to know when they were archived
WORM support
IBM Software Group
16
DB2 Data Archive Expert for z/OS
Archive To both (table and then file)!
Multi-tier archive:
ActiveData
91-364day
archive(table)
>364day
archive(file)
High
Low
Very Low
IBM Software Group
17
DB2 Data Archive Expert for z/OS
Retrieve To temporary table or source
Usually on demand -- could be programmatically controlled
Selective from
Single archive
Multiple archives
Keeps track of the archives (metadata) When (timestamp)
Who (userid)
What (What was archived)
SQL WHERE clause
Definitions (DDL)
Where (Location of the archived data)
Why (Scheduled, periodic, or manual)
How (via DB2 Unload)
IBM Software Group
18
By allowing data to be archived to tables, apps can access the archive Limitations apply; not for everyone
Uses UNION in VIEW function in DB2 for z/OS Version 7
Data
Index
Data
CREATE VIEW <table_name> AS SELECT * FROM <act_table> WHERE DATE_COL >= (CURRENT_DATE-365 DAYS)UNION ALL SELECT * FROM <arc_table> WHERE DATE_COL < (CURRENT_DATE-365 DAYS)
Application still reads from <table_name>
<act_table> <arc_table>
Application reads need to supply a date_col predicate to avoid access to <arc_table>
Updates need to point to the act_table
Prevent updates to arc _table
DB2 Data Archive Expert for z/OS
IBM Software Group
19
DB2 Grouper
A common component of several DB2 IBM Tools, first delivered in Data Archive Expert
The problem There are many relationships between DB2
objects, such as tables, in a business application -- Some of these relationships can be discovered easily, while others cannot be easily found
The objective Enable the location, augmentation, and
management of this information as the basis for consistent data management activities
The solution Grouper is a component for discovering,
recording, and managing groups of related objects (tables) that comprise a business application
RI RIPKG
Dynamic
Dynamic
PKGRI
Non-Enforced RI
TRIG
RI
TRIG
RI RIPKG
Dynamic
Dynamic
PKGRI
Non-Enforced RI
TRIG
RI
TRIG
Group 1
Group2
IBM Software Group
20
DB2 Grouper
Maintain sets of groupings
Specify global relationships (non-enforced RI)
Kick off dynamic (Units of work) relationship discoveries
Specify input values to the group discovery process
Group discovery scope (starting points)
Boundary objects
Additional relationships
Launch the group discovery process
Browse through the groupings
IBM Software Group
21
Interfaces Interfaces
ISPF: Create/work with specifications
Callable programming interface (SQL CALL statement): stored procedures
IBM Software Group
22
IBM’s DB2 for z/OS Tools Produkt Portfolio
Application Management
DB2 Administration ToolDB2 Object Compare
Database Administration
Recovery DB2 Archive Log AcceleratorDB2 Change Accumulation ToolDB2 Log Analysis ToolDB2 Object Restore Tool
DB2 Bind ManagerDB2 Data Archive ExpertDB2 Path CheckerDB2 Table Editor DB2 Test Database Generator DB2 Web Query ToolDB2 and IMS EncryptionPerformance Management
DB2 Performance ManagerDB2 Bufferpool AnalyzerDB2 Performance ExpertDB2 Query MonitorDB2 SQL Performance Analyzer
DB2 Utilities SuiteDB2 High Performance UnloadDB2 Automation Tool
Utilities
Replication
DB2 Data PropagatorDB2 II Classic Federation
IBM Software Group
23
SG24-7080 Authors: Paolo Bruni, Walter Huth,
Ernie Mancill, Iain Warnock
