VIŠEDIMENZIONALNO MODELIRANJE U POSLOVNOJ INTELIGENCIJI

mr Jelena Lukić, dipl.inž.org.nauka, JP „Elektromreža Srbije”, BeogradMarko Momčilović dipl.inž.informatike, JP „Elektromreža Srbije”, Beograd

Sadržaj: Ovaj rad pruža osnovne informacije o tehnikama koje se koriste za dizajn info kocki (InfoCubes), višedimenzionalnih struktura u poslovnoj inteligenciji (Business Intelligence - BI) i predlaže smernice koje mogu pomoći programeru BI sadržaja u razumevanju primene različitih dostupnih tehnika. Fokus ovog rada je na podršci On-line Analytical Processing (OLAP) analize u BI. OLAP funkcionalnost je jedan od glavnih zahteva u skladištenju podataka. Ključne reči: poslovna inteligencija,višedimenzionalno modeliranje, InfoCube, zvezdasta šema

Abstract: This document provides background information on the techniques used to design InfoCubes, the multidimensional structures within BI and provides suggestions to help the BI Content developer in understanding when to apply the various techniques available. The focus of this paper is how to support Online Analytical Processing (OLAP) in BI. OLAP functionality is one of the major requirements in data warehousing. Key words: business intelligence, multidimensional modeling, InfoCube, star schema

1. UVOD

Skladište podataka ili Data Warehouse (DW) je proces integracije podataka u jedan repozitorijum iz kog krajnji korisnici mogu sprovoditi ad-hoc analize podataka i praviti izveštaje. Warehousing koncept je skladištenje agregiranih, ekstrahovanih i filtriranih podataka u meta baze, koje omogućavaju slojevit, višedimenzionalni pristup podacima, kakav je potreban za donošenje odluka najvišeg strateškog nivoa. Treba imati u vidu da se generalno za potrebe dizajniranja skladišta podataka i data martova (Data Marts) primenjuju koncepti dimenzionalnog modeliranja koje je na višem nivou apstrakcije od relacionog, što predstavlja bitnu razliku u odnosu na klasične transakcione sisteme.

Grafik BI arhitekture (slika 1.) prikazuje da InfoCube-ovi, koji grade sloj data martova u arhitekturi, treba da se baziraju na nivo transakcionih podataka u skladištu podataka. Nivo transakcionih podataka je izgrađen od strane operativnog skladišta podataka (DataStore Object-ata). Zatim se InfoCube-ovi povezuju sa zajedničkim matičnim podacima koji se referenciraju na podatke koji su skladišteni u tabelama matičnih podataka, tekstualnim tabelama i tabelama (eksternih) hijerarhija. Na taj način BI arhitektura obezbeđuje strukturu za gradnju InfoCube-ova zasnovanih na zajedničkoj integrisanoj osnovi i razvoj pojedinačnih rešenja skladišta podataka širom kompanije [1].

Slika 1: Konceptualni nivoi skladišta podataka [1]

1

2. TEORIJSKA OSNOVA: OD VIŠEDIMENZIONALNOG MODELA DO INFOCUBE-A

U procesu razvoja skladišta podataka prvi korak je uočavanje dimenzija i atributa. Konkretno, radi se o postupku logičkog projektovanja s ciljem prikaza podataka u formi koja će omogućiti postizanje visokih performansi sistema. Kimball [2] opisuje dimenzionalno modeliranje kao „tehniku konceptualnog i implementacionog oblikovanja kojom se putem standardizovanog intuitivnog koncepta omogućuje brz pristup podacima“. Jednostavnim konceptualnim modelom opisuju se poslovni procesi preko dimenzija koje su često hijerarhijski organizovane. Višedimenzionalni konceptualni model definiše osnovne pojmove: činjenice, mere, dimenzije i hijerarhije [3].

Sveobuhvatni ciljevi višedimenzionalnih modela su [1]: Prezentovanje informacija poslovnim analitičarima na način koji odgovara njihovom uobičajenom razumevanju

posla, odnosno prikaz ključnih pokazatelja uspešnosti, ključnih brojki ili činjenica iz različitih perspektiva koje na njih utiču (organizacija prodaje, proizvoda/materijala ili vremena). Drugim rečima, dostavljanje strukturiranih informacija kroz koje se poslovni analitičar lako može kretati koristeći kombinaciju poslovnih zahteva kako bi ilustrovao ponašanje ključnih pokazatelja uspešnosti.

Pružanje osnove za sprovođenje fizičke implementacije koju softver prepoznaje (OLAP endžin), čime se programu omogućava lak pristup potrebnim podacima.

Višedimenzionalni model (Multi-Dimensional Model - MDM) je uveden kako bi se postigao prvi cilj. Najpopularnije fizičko prevođenje višedimenzionalnog modela na sistem relacionih baza podataka koji se bazira na skladištima podataka jeste implementacija zvezdaste šeme. BI koristi pristup zvezdaste šeme i proširuje ga kako bi podržao integraciju unutar skladišta podataka, radi jednostavnijeg upravljanja i postizanja visokih performansi.

Nakon odluke o poslovnim procesima koji će biti uključeni, osnovni koraci za implementaciju BI rešenja su [1]:1. Fokus na strukturu informacija

Kompletno razumevanje osnovnih poslovnih procesa. Kreiranje modela ERM (Entity Relationship Model) poslovnih procesa.

ERM u funkciji informacija2. Fokus na analitičke potrebe – prevazilaženje složenosti modela

Kreiranje validnog modela podataka. Prevođenje ERM u višedimenzionalni model (MDM)/zvezdastu šemu.MDM u funkciji poslovnih procesa

3. Razvoj rešenja kao dela integrisanog skladišta podatakaZvezdasta šema u BI fazi je InfoCube. Prevođenje MDM/zvezdaste šeme u jedan ili više InfoCube-ova.

Ovi koraci predstavljaju neki osnovni pristup. Do koje mere se moraju sprovoditi zavisi od stvarne situacije i iskustva članova uključenih na projekat.

3. VIŠEDIMENZIONALNI MODELI PODATAKA U TEHNOLOGIJI BI

Na osnovu iskustva sa zvezdastom šemom, BI model podataka (InfoCube) koristi sofisticiraniji pristup koji garantuje doslednost u skladištu podataka i nudi funkcionalnost zasnovanu na modelu podataka kako bi se pokrile potrebe za izveštavanjem poslovnog analitičara.

Kreiranje važećeg višedimenzionalnog modela podataka u BI znači da će se uvek imati u vidu ukupni zahtevi skladišta podataka kompanije i analize za specifična rešenja i potrebe izveštavanja. Greške u ovoj oblasti će imati veliki uticaj na ukupno rešenje, što dovodi do lošeg rada ili čak nevažećeg modela podataka.

Klasična zvezdasta šema se najčešće koristi za višedimanzionalni model u relacionim bazama podataka. Ova šema baze podataka klasifikuje dve grupe podataka: činjenice i atribute dimenzija. Činjenice, ponekad zvane i mere, su fokus za analize poslovnih procesa.

Višedimanzionalni model podataka u BI se sastoji od sledećih tabela:1. Centar InfoCube-a formira fact tabela (fact table) koja sadrži ključne brojke (key figures);2. Fact tabela je okružena dimenzionalnim tabelama (dimension table);3. Dimenzija sadrži različite tipove tabela: Dimenzionalna tabela - u BI atributi dimenzionalne tabele se zovu karakteristike (characteristics). Objekat

meta podataka u BI koji opisuje karakteristike i ključne brojke naziva se InfoObject. Tabele info objekata (InfoObject Tables)

o Tabela matičnih podataka (Master Data Table) – zavisni atributi karakteristika mogu biti skladišteni u odvojenim tabelama, odnosno tabelama matičnih podataka za tu karakterisitiku.

2

o Tekstualne tabele (Text Table) – tekstualni opisi karakteristika su smešteni u odvojenim tekstualnim tabelama.

o Tabele eksternih hijerarhija (External Hierarchy Tables) – hijerarhije karakterisitika ili atributa mogu biti skladištene u odvojenim tabelama hijerarhija.

U sledećoj tabeli prikazane su razlike u terminologiji klasične zvezdaste šeme u odnosu na BI zvezdastu šemu [4]:

Klasična zvezdasta šema (star schema) BI zvezdasta šema (star schema)Činjenica (Fact) Ključne brojke (Key Figure)Tabela činjenica (Fact Table) Tabela činjenica (Fact Table)Atribut dimenzije (Dimension Attribute) Karakteristika (Characteristic),

Navigacioni atribut (Navigation Attribute),Atribut (Display Attribute)

------------ Eksterne hijerarhije (External Hierarchies)Dimenziona tabela (Dimension Table) - sadrži matične podatke

Dimenziona tabela - ne sadrži matične podatke

Dimenzija (Dimension) = Dimenziona tabela Dimenzija = Dimenziona tabela (opciono), SID (Surrogate-ID) tabele, Tabela za tekstove (Text Table), Tabela matičnih podataka (Master Data Table)

Tabela 1: Klasična vs. BI zvezdasta šema

Proces dizajna započinje određivanjem nivoa detaljnosti. Nivo detaljnosti podataka u fact tabeli naziva se grain. Podaci koji su „visoko granulirani“ ili „imaju veliku granulaciju“ su veoma detaljni podaci. Fact tabele treba dizajnirati sa najvišim nivoom detaljnosti koji omogućava izvorni sistem podataka (atomic level). Ovakve fact tabele pružaju punu fleksibilnost u agregaciji podataka do bilo kog nivoa duž dimenzija. Svaka fact tabela mora biti na jednom nivou detaljnosti.

Sledeći korak odnosi se na identifikaciju dimenzija poslovanja. Neka osnovna pravila pri definisanju dimenzija u BI modelu su: Atributi sa 1:N uslovima povezivanja bi trebalo da budu smešteni u istu dimenziju, npr. grupa mesta troška i

mesto troška. Veza spoljni ključ (foreign key) primarni ključ (primary key) definiše dimenzije.

Info kocke (InfoCubes) - su centralni objekti višedimenzionalnih modela DW sistema na kojima se baziraju izveštaji i analize. Info kocke opisuju zasebne skupove podataka poslovnih oblasti sa aspekta izveštavanja koji služe izveštavanju krajnjih korisnika. Na bazi info kocki mogu biti definisani i/ili izvršeni upiti. Ako se InfoCube posmatra kao odvojena baza podataka, onda svaki InfoCube ima svoj nivo granulacije. Nivo granularnosti je definisan karakteristikama koje su dodeljene različitim dimenzijama InfoCube-a. Što je više karakteristika koje su deo zvezdaste šeme, veća je granularnost podataka unutar fact tabele.

InfoCube može imati najviše šesnaest dimenzija od čega su tri specijalno predefinisane i nepromenjive za svaki InfoCube (bilo da se koriste ili ne): Vremenska dimenzija (Time dimension) Dimenzija jedinica mere/valuta (Unit/currency dimension) Dimenzija paketa (Packet dimension)

Ostalih trinaest dimenzija služe za individulani dizaj modela podataka. Svaka dimenzija može imati 248 karakteristika. Upotrebom ove definicije dimenzija postoji zapravo 13 x 248 mogućih dimenzija u BI, plus dimenzije definisane preko navigacionih atributa.

Tabele matičnih podataka – atributi karakteristika koji će se naći u tabelama matičnih podataka tih karakteristika određuju se u fazi modeliranja. Svaki atribut može biti vremenski zavisan: Vremenska zavisnost atributa omogućava praćenje promena tokom vremena u odnosu na karatketristike i

vrednosti vremenski zavisnih atributa. Ukoliko postoje i vremenski zavisni i nezavisni atributi u pogledu tehničke realizacije postojaće dve tabele

matičnih podataka: o tabela matičnih podataka koja skladišti sve relacije prema vremenski nezavisnim atributima (ime

tabele:/BIC/P<ime InfoObject>),

3

o tabela matičnih podataka koja skladišti sve relacije prema vremenski zavisnim atributima (ime tabele:/BIC/Q<ime InfoObject>).

Tabela matičnih podataka vremenski zavisnih atributa ima dodatne sistemske atribute datumDo (DATETO) i datumOd (DATEFROM). Atributi validacije nisu dostupni u navigaciji.

Tekstulane tabele – tekstualna tabela InfoObject-a koji je tipa karakteristika, čuva opise vrednosti karakteristika. U sekciji matičnih podataka moguće je definisati postojanje tekstualnih tabela i različitih tipova opisa kao što su kratak, srednji i dugačak opis i jezička zavisnost. Tekstualne tabele, ili još bolje opisi atributa, mogu biti definisani i kao vremenski zavisni.

Tabele eksternih hijerarhija – hijerarhije su strukture bitne za navigaciju. Postojanje karakteristika i atributa u dimenzionalnim tabelama i tabelama matičnih podataka koje su u odnosu roditelj-dete ukazuje ne samo na hijerarhije, već na interne hijerarhije. Eksterne hijerarhije karakteristika se definišu odvojeno od ostalih matičnih podataka i nezavisno od InfoCube-ova. Zbog toga se nazivaju eksterne hijerarhije. BI omogućava da se utvrde višestruke eksterne hijerarhije za jednu karakteristiku. Eksterne hijerarhije se mogu koristiti u dimenzionalnim tabelama i kod aktiviranih navigacionih atributa pri navigaciji u upitima.

Jedan od osnovnih ciljeva ovog rada jeste da prikaže različite aspekte modeliranja koji za rezultat imaju različite lokacije atributa u dimenzijama višedimenzionalnog BI modela podataka.

Slika 2: Dimenzija mesto troška [1]

Kao što je prikazano na slici, veza „mesto troška grupa mesta troška“ se može dizajnirati definisanjem grupe mesta troška: kao karakteristike, odnosno člana dimenzionalne tabele mesta troška, kao atributa, odnosno člana tabele matičnih podataka mesta troška, kao atributa koji opisuje čvor u tabeli hijerarhije mesta troška, kao kombinacija gore navedenih opcija.

Izbor najbolje opcije zavisi od postizanja željenog vremena u upitima. U BI terminologiji karakteristike i atributi se odnose samo na različite lokacije u modelu podataka. Kako je prikazano na slici, unutar jednog modela podataka „grupa mesta troška“ se može pojaviti kao karakteristika u dimenzionalnoj tabeli mesta troška i kao atribut mesta troška u tabeli matičnih podataka mesta troška.

Fact tabele – kreiraju se pri aktivaciji InfoCube-a. Struktura fact tabele u BI modelu podataka slična je klasičnoj zvezdastoj šemi. Ključevi dimenzionalnih tabela (DIM-ID) ili SID-ovi stavki dimenzija su spoljni ključevi fact tabele. Kolone koje nisu ključevi su definisane izborom ključnih brojki pri definisanju InfoCube-a. Svaki red u tabeli je jedinstveno određen kombinacijom vrednosti odgovarajućih DIM-ID-jeva/SID-ova

dimenzije/SID tabela. Kako BI koristi sistemski dodeljene surogat ključeve, odnosno DIM-ID-jeve ili SID-ove od 4 bajta dužine po

dimenziji za povezivanje sa dimenzijom / SID tabela prema fact tabeli, normalno je da će se smanjiti zahtevi za prostorom za ključeve u odnosu na prave vrednosti njihovih ključeva.

Tabele dimenzije/matične (SID) treba da budu relativno male i odnosu na broj redova u fact tabeli (1:10,1:20) .

SID tabele – SID tabele imaju važnu ulogu u povezivanju informacionih struktura skladišta podataka sa InfoCube-ovima i DataStore Object-ima. Kako bi se povećala brzina pristupa InfoCube-ovima i DataStore Object-ima i omogućila nezavisnost sloja matičnih podataka, svakoj karakteristici i atributu je dodeljena SID kolona i njihove vrednosti su šifrovane u četvorobitne integer vrednosti. Kako bi se postigle optimalne performanse s različitim

4

modelima podataka u vezi sa pristupom matičnim podacima, moguće je definisati tri tipa SID tabela. SID tabele u odnosu na matične podatke: SID tabela je uvek generisana ako InfoObject nije definisan kao „samo atribut“. Ova tabela se koristi ako

pristup InfoCube-u ili DataStore Object-u koristi navigacioni atribut ili je pristup preko karakteristike bez atributa. Ime tabele: /BIC/S/<ime InfoObject-a>.

SID tabela vremenski nazavisnih atributa karakteristika za pristup preko vremenski nezavisnih atributa. Ime tabele: /BIC/X/<ime InfoObject-a>.

SID tabela vremenski zavisnih atributa karakteristika za pristup preko vremenski zavisnih atributa. Ime tabele: /BIC/Y/<ime InfoObject-a>.

Ove SID tabele se automatski održavaju za vreme učitavanja matičnih podataka. SID tabele se takođe održavaju i tokom učitavanja InfoCube-ova ako se ne izvršava provera referencijalnog integriteta (InfoPackage).

U cilju ispunjenja svih zahteva, tabele matičnih podataka u BI modelu podataka nisu direktno povezane sa InfoCube-om, kako je prikazano na slici (slika 3.). Kao što se može videti, pokazivači ili translatorne tabele zvane SID tabele se koriste u BI modelu za povezivanje tabela matičnih podataka BI modela sa InfoCube-ovima. Grafik prikazuje pojednostavljenu verziju tipova SID tabela koje postoje.

Slika 3: Višedimenzionalni model u BI [1]

Jedan poseban aspekt matičnih podataka je da su deljeni (povezani) sa svim InfoCube-ovima koji imaju pridružene InfoObject-e tipa karakteristika kao deo dimenzije. To je omogućeno uklanjanjem matičnih podataka iz tabele dimenzija pomoću SID tehnologije za kreiranje veza. Rezultat je da se matični podaci koriste s različitim BI InfoCube-ovima. Drugim rečima, matični podaci su nezavisni od InfoCube-ova, a mogu se koristiti u različitim upitima nad različitim InfoCube-ovima u isto vreme. Ovaj koncept je prikazan na slici 4 [4].

Slika 4: Upotreba matičnih podataka nezavisno od InfoCube-a [4]

5

Slika 5. prikazuje više dimenzija i više matičnih podataka. Činjenice iz fact tabele ukazuju na ključne brojke a atributi dimenzija su karakteristike. Dimenzionalne tabele su povezane s centralnom fact tabelom preko ključeva. Suprotno klasičnoj zvezdastoj šemi, karakteristike nisu komponente dimenzionalnih tabela; drugim rečima, vrednosti karakteristika nisu smeštene u dimenzionalnim tabelama. Numerički SID ključ se generiše za svaku karakteristiku. Ovaj alijas ključa zamenjuje karakteristiku kao komponentu u dimenzionalnoj tabeli. U ovom slučaju, SID podržava ID matičnih podataka ili surogat ID (rezervni ključ). Ovaj ključ dobija prefiks SID_. Na primer, SID_Mesto_Troska je SID ključ za karakteristiku Mesto troška. Dimenzionalna tabela ima generisan numerički primarni ključ koji se naziva dimenzionalni ključ. Dimenzionalne tabele su obeležene prefiksom DIM_ID_. DIM_ID_Mesto_Troska je dimenzionalni ključ za dimenziju Mesto troška. U klasičnoj zvezdastoj šemi, primarni ključ fact tabele nastaje od dimenzionalnih ključeva.

Slika 5: Kompletan BI InfoCube: proširena zvezdasta šema [4]

4. ZAKLJUČAK

Skladištenje podataka se bazira na inteligentnoj kombinaciji informacionih modela podataka - info kocki (InfoCubes) i matičnih podataka koji obogaćuju dubinu raspoloživog znanja uz postizanje visokih performansi. Višedimenzionalno modeliranje je proces prevođenja poslovnih koncepata u formu dijagrama koja se može konvertovati u fizičku strukturu podataka i koji obezbeđuje osnovu za izvođenje analize podataka.

InfoCube je centralni objekat višedimenzionalnog modela i BI. Iz persepktive izveštavanja, InfoCube opisuje zaseban skup podataka unutar poslovne oblasti za koji se definišu upiti. InfoCube se sastoji od relacionoih tabela uređenih višedimenzionalno, što znači da sadrži centralnu fact tabelu okruženu dimenzionalnim tabelama. SID tabele povezuju ove dimenzionalne tabele sa odgovarajućim tabelama matičnih podataka.

Zahvaljujući SID-ovima, veze ka matičnim podacima iz dimenzionalnih tabela, postoje sledeće mogućnosti za modeliranje:

Lako modeliranje slabo pokretljivih dimenzija (vremenski zavisni matični podaci); Mogućnost višejezičnosti; Upotreba matičnih podataka između kocki (slično deljenim dimenzijama); Mogućnost upravljanja nultim vrednostima karakteristika; Upotreba automatski generisanih integer ključeva (SID ključeva i DIM ID ključeva) omogućava brži pristup

podacima u odnosu na alfanumeričke ključeve (sve velike tabele sadrže 100% brojeve).

5. LITERATURA

[1] „Multi-Dimensional Modeling with BI - A background to the techniques used to create BI InfoCubes“, Version 1.0, maj 2006.[2] „The Data Warehouse Toolkit“, Ralph Kimball, 1996.[3] „Oblikovanje skladišta podataka iz polustrukturiranih izvora“, Marko Banek, magistarski rad, Zagreb 2005,[4] BW310 Data Warehousing SAP NetWeaver

6