Upload
others
View
6
Download
0
Embed Size (px)
Citation preview
UIS – uvod v UIS Fakulteta za upravo, 2005
upravljalski informacijski sistemi
4. predavanje: podatkovna skladišča(od podatkov do informacij)
Ljupčo Todorovskihttp://www-ai.ijs.si/~ljupco/UIS/
UIS – uvod v UIS Fakulteta za upravo, 2005
vsebina predavanja
● predstavitev (organizacija) podatkov:– od bitov– do relacijske baze podatkov
● dostop do podatkov/informacij:– od relacijske baze podatkov– do podatkovnih skladišč
● vprašanja in odgovori
UIS – uvod v UIS Fakulteta za upravo, 2005
računalniška predstavitev podatkov
datoteka
zapis
polje polje
byte
bit bit bit ...
... byte
bit bit ...
...
zapis
polje polje
byte
bit bit bit ...
...
UIS – uvod v UIS Fakulteta za upravo, 2005
bazična raven: bit/byte
● bit – osnovna (najmanjša) enota informacije
● skupina 8 bitov tvori byte (bajt):– beseda – tipično 32 ali 64 bitov
● omogoča zapis enega znaka (A; ž; 0; 9)– ASCII, UNICODE (www.unicode.org)
● ali številke (100; 3,14159)– dvojiški zapis celih števil– zapis plavajoče vejice (IEEE floating point standard)
UIS – uvod v UIS Fakulteta za upravo, 2005
polje, zapis, entiteta
● polje je logična skupina byteov (besed)– ime in priimek: Janez Novak– datum rojstva: 7. marec 1975– vpisna številka: 123456
● zapis je logična skupina povezanih polj:– študent:
123456, Janez Novak, 7. marec 1975– predstavlja entiteto, t.j., osebo, mesto, predmet
ali dogodek o katerem shranjujemo podatke
UIS – uvod v UIS Fakulteta za upravo, 2005
datoteka
● datoteka je množica sorodnih zapisov– oz. zapisov, ki se nanašajo na isto entiteto– posamezna polja imenujemo atributi
● strukturirani (tabelarični) podatki– v datoteke lahko shranjujemo tudi nestrukturirane
podatke (besedila, slike, zvočne zapise, ...)
atributi: datum rojstva naslov
1. zapis: 123456 Janez Horvat 7. marec 1985 ...
2. zapis: 123457 Mojca Novak 11. april 1985 ...
vpisna številka
ime in priimek
UIS – uvod v UIS Fakulteta za upravo, 2005
zakaj ena datoteka ni dovolj?
● recimo da želimo zapisati podatke o:– študentih– in opravljenih izpitih
● problem: različno število opravljenih izpitov– razdvojimo študente in opravljene izpite
datum rojstva naslov opravljeni izpiti
Janez Horvat 7. marec 1985 ...
Mojca Novak 11. april 1985 ... Informatika, 1. letnik, 9
ime in priimek
Statistika, 1. letnik, 8; Informatika, 1. letnik, 7
UIS – uvod v UIS Fakulteta za upravo, 2005
več datotek in povezave med njimi
● podatki o študentih in opr. izpitih:
● problem – podvajanje podatkov o predmetih– razdvojimo predmete in opravljene izpite
VŠŠ datum rojstva naslov
123456 Janez Horvat 7. marec 1985 ...
123457 Mojca Novak 11. april 1985 ...
ime in priimek
VŠŠ letnik predavatelj datum ocena
123456 Statistika 1 ... ... 8
123456 Informatika 1 ... ... 7
123457 Informatika 1 ... ... 9
naslov predmeta
UIS – uvod v UIS Fakulteta za upravo, 2005
več datotek in povezave med njimi
● podatki o študentih, predmetih in opr. izpitih:
VŠŠ datum rojstva naslov
123456 Janez Horvat 7. marec 1985 ...
123457 Mojca Novak 11. april 1985 ...
ime in priimek
ŠP naslov letnik predavatelj
1 Statistika 1 ...
2 Informatika 1 ...
VŠŠ ŠP datum ocena
123456 1 ... 8
123456 2 ... 7
123457 2 ... 9
UIS – uvod v UIS Fakulteta za upravo, 2005
shranjevanje in dostop do datotek
● čas pred IS:– shranjevanje v datotečnem sistemu
● težave:– podvajanje vmesnikov za dostop– podvajanje podatkov in (posledično)
● neažurnost● izolacija/neskladje – različne oblike/šifre
– (ne-)varnost – pomanjkanje kontrole dostopa– odvisnost programov od zapisa podatkov
UIS – uvod v UIS Fakulteta za upravo, 2005
problem podatkovne integracije
● različni zapisi istega podatka– spol: ženski/moški, Ž/M, F/M, ½– datum: 7. marec 2005, 7.3.2005, 3/7/2005
● neažurnost podatkov– sprememba naslova, telefonske številke
● težave pri dostopnosti podatkov, nefleksibilnost
UIS – uvod v UIS Fakulteta za upravo, 2005
problem podatkovne integracije
študenti
študentskapisarna
profesorji predmeti izpiti
računovodstvo
študenti(izredni) profesorji izpiti oprema
UIS – uvod v UIS Fakulteta za upravo, 2005
rešitev: podatkovne baze
● podatkovna baza:– množica podatkov organizirana tako– da ponuja (poenotene) podatke– večjemu številu programov hkrati
● uporabniški vidik:– vsi podatki na enem mestu– čeprav so lahko prostorsko zelo oddaljeni
● sistem za upravljanje podatkovne baze
UIS – uvod v UIS Fakulteta za upravo, 2005
sistem za upravljanje PB (SUPB)
● ponuja enotni vmesnik za dostop do podatkov– pa tudi za izvajanje ostalih operacij nad podatki– zmanjša odvisnost programov od podatkovne
organizacije
● razreši problem podatkovne integracije:– vsi podatki enotno zapisani– se ne podvajajo (če je podatkovni model v redu)– in so posledično vedno ažurni
UIS – uvod v UIS Fakulteta za upravo, 2005
SUPB in integracija podatkov
študenti
SUPB
profesorji predmeti izpiti
računovodstvo
oprema
študentskapisarna
UIS – uvod v UIS Fakulteta za upravo, 2005
SUPB: sestavne komponente
● jezik za specifikacijo podatkovnega modela– vsebina in struktura podatkovne baze
● jezik za obdelovanje podatkov– podpora za izvajanje vseh osnovnih operacij:
dodajanje, brisanje, popravljanje in dostop– najbolj pogosto: SQL (structured query language)
● podatkovni slovar– definicija vseh podatkovnih elementov (polj)
UIS – uvod v UIS Fakulteta za upravo, 2005
tipi SUPB (1): hierarhični
● hierarhični SUPB – zapisi so hierarhično urejeni
osnovnipodatki
študent:Janez Horvat
predmetiizpiti
osebnipodatki
kontaktnipodatki
Informatika Statistika
rojen:7. marca 85
spol:moški
UIS – uvod v UIS Fakulteta za upravo, 2005
tipi SUPB (2): omrežni
● omrežni SUPB – zapisi so povezani z omrežjem povezav
● primer povezave: opravljeni izpiti
Informatika Statistika
Janez Horvat Mojca Novak
UIS – uvod v UIS Fakulteta za upravo, 2005
tipi SUPB (3): relacijski
● relacijski SUPB:– vsaka datoteka je tabela oz. relacija– relacija sestavljena iz zapisov (tuples)– jezik za obdelavo podatkov – SQL– najbolj pogosto uporabljen SUPB
● različni ponudniki relacijskih SUPB:– Oracle, Oracle Lite (za dlančnike)– Microsoft SQL server, Microsoft Access– IBM DB2
UIS – uvod v UIS Fakulteta za upravo, 2005
primer relacijske PB
VŠŠ datum rojstva naslov
123456 Janez Horvat 7. marec 1985 ...
123457 Mojca Novak 11. april 1985 ...
ime in priimek
ŠP naslov letnik predavatelj
1 Statistika 1 ...
2 Informatika 1 ...
VŠŠ ŠP datum ocena
123456 1 ... 8
123456 2 ... 7
123457 2 ... 9
stolpci(polja/atributi)
tabela(relacija)
vrstica(zapis)
UIS – uvod v UIS Fakulteta za upravo, 2005
SQL: structured query language
● enostaven jezik, ki sloni na treh osnovnih operacijah:– SELECT – izbira zapisov (vrstic) iz relacije– JOIN – združevanje več relacij v eno– PROJECT – izbira polj (stolpcev) iz relacije
● primer – izdelava poročila o opravljenih izpitih– ime in priimek izbranega študenta– seznam opravljenih izpitov z datumi in ocenami
UIS – uvod v UIS Fakulteta za upravo, 2005
SQL: primer poizvedovanja (1)
● 1. korak – združevanje relacij (JOIN)VŠŠ datum rojstva naslov
123456 Janez Horvat 7. marec 1985 ...
123457 Mojca Novak 11. april 1985 ...
ime in priimek
ŠP naslov letnik predavatelj
1 Statistika 1 ...
2 Informatika 1 ...
VŠŠ ŠP datum ocena
123456 1 ... 8
123456 2 ... 7
123457 2 ... 9
VŠŠ ime in priimek ŠP datum ocena
123456 Janez Horvat ... 1 Statistika ... 8
123456 Janez Horvat ... 2 Informatika ... 7
123457 Mojca Novak ... 2 Informatika ... 9
ŠTUDENT.naslov
PREDMET.naslov
UIS – uvod v UIS Fakulteta za upravo, 2005
SQL: primer poizvedovanja (2)
● 2. korak – izbira vrstic (SELECT)
VŠŠ ime in priimek ŠP datum ocena
123456 Janez Horvat ... 1 Statistika ... 8
123456 Janez Horvat ... 2 Informatika ... 7
123457 Mojca Novak ... 2 Informatika ... 9
ŠTUDENT.naslov
PREDMET.naslov
VŠŠ ime in priimek ŠP datum ocena
123456 Janez Horvat ... 1 Statistika ... 8
123456 Janez Horvat ... 2 Informatika ... 7
ŠTUDENT.naslov
PREDMET.naslov
UIS – uvod v UIS Fakulteta za upravo, 2005
SQL: primer poizvedovanja (3)
● 3. korak – izbira stolpcev (PROJECT)
VŠŠ ime in priimek ŠP datum ocena
123456 Janez Horvat ... 1 Statistika ... 8
123456 Janez Horvat ... 2 Informatika ... 7
ŠTUDENT.naslov
PREDMET.naslov
ime in priimek datum ocena
Janez Horvat ... Statistika ... 8
Janez Horvat ... Informatika ... 7
ŠTUDENT.naslov
PREDMET.naslov
UIS – uvod v UIS Fakulteta za upravo, 2005
SQL: primer ukaza
● SELECTŠTUDENT.ime_in_priimek,ŠTUDENT.naslov,PREDMET.naslov,OPRAVLJEN_IZPIT.datum,OPRAVLJEN_IZPIT.ocena
FROMŠTUDENT, PREDMET, OPRAVLJEN_IZPIT
WHEREŠTUDENT.VŠŠ = OPRAVLJEN_IZPIT.VŠŠ ANDPREDMET.ŠP = OPRAVLJEN_IZPIT.ŠP ANDŠTUDENT.VŠŠ = 123456
UIS – uvod v UIS Fakulteta za upravo, 2005
SQL: izvajanje ukaza po korakih
● SELECTŠTUDENT.ime_in_priimek,ŠTUDENT.naslov,PREDMET.naslov,OPRAVLJEN_IZPIT.datum,OPRAVLJEN_IZPIT.ocena
FROMŠTUDENT, PREDMET, OPRAVLJEN_IZPIT
WHEREŠTUDENT.VŠŠ = OPRAVLJEN_IZPIT.VŠŠ ANDPREDMET.ŠP = OPRAVLJEN_IZPIT.ŠP ANDŠTUDENT.VŠŠ = 123456
PROJECT
JOIN
SELECT
UIS – uvod v UIS Fakulteta za upravo, 2005
SQL in relacijske PB:prednosti in slabosti
● prednosti:– enostaven za programerja– sloni na dobri teoretični podlagi– minimalen nabor osnovnih operacij– enostavna nadgradnja podatkovnega modela
● slabosti:– zelo okoren za uporabnika– ne omogoča interaktivne “ad-hoc” poizvedbe– poskusi izboljšav – QBE (query by example)
UIS – uvod v UIS Fakulteta za upravo, 2005
primer zapletene uporabe SQL (1)naslov telefon regija
1 ..., Maribor 02... Štajerska
2 ..., Kranj 04... Gorenjska
3 ..., Bled ... Gorenjska
4 ..., Ljubljana 01... Notranjska
številka trgovine
opis kategorija proizvajalec
1234 zbrinc hrana ...
1235 refošk pijača ...
1236 cviček pijača ...
šifra izdelka
ŠT ŠI datum količina znesek
1 1234 01/03/05 250 670,00
1 1235 01/03/05 1 1.370,00
4 1236 02/03/05 2 1.780,00
2 1235 02/03/05 4 5.480,00
UIS – uvod v UIS Fakulteta za upravo, 2005
primeri zapletenih poizvedb
● koliko pijače smo prodali na Gorenjskem lani?– pregled po mesecih za leto 2004?– primerjava med januarjem 2004 in 2005?– katera pijača se je najbolj prodajala?
● primerjava celotne prodaje po regijah– v letu 2004– kaj pa januarja 2004– primerjava z januarjem 2005
UIS – uvod v UIS Fakulteta za upravo, 2005
rešitev: večdimenzijske PB
● bolj pregledna predstavitev podatkov:– bližja predstavitvam v preglednicah (EXCEL)– omogoča interaktivne “ad-hoc” poizvedbe– kot so primeri na prejšnji prosojnici
● podatki shranjeni v preglednice– dva tipa atributov
● dimenzijski (časovni, prostorski)● vrednostni
– podatkovne kocke (data cubes)
UIS – uvod v UIS Fakulteta za upravo, 2005
Gorenjska 53.000.000,00 25.200.000,00 27.000.000,00
Notranjska 17.000.000,00 32.100.000,00 19.000.000,00
Štajerska 25.000.000,00 48.000.000,00 32.300.000,00
Pijača Hrana Ostalo
primer večdimenzijske PB (data cube)
Gorenjska 53.000.000,00 25.200.000,00 27.000.000,00
Notranjska 17.000.000,00 32.100.000,00 19.000.000,00
Štajerska 25.000.000,00 48.000.000,00 32.300.000,00
Pijača Hrana Ostalo
Gorenjska 42.500.000,00 39.100.000,00 28.000.000,00
Notranjska 17.000.000,00 32.100.000,00 19.000.000,00
Štajerska 25.000.000,00 48.000.000,00 32.300.000,00
Pijača Hrana Ostalo2004
20032002
prostorskadimenzija
dimenzija:produkt
časovnadimenzija
vrednostni atribut:znesek prodaje
UIS – uvod v UIS Fakulteta za upravo, 2005
OLAP – on-line analytical processing
● nadomestek za SQL pri večdimenzijskih PB
● on-line– interaktivno ad-hoc poizvedovanje
● analytical processing– vsebinsko (in ne tehnično) poizvedovanje– odgovor na vprašanja uporabnikov, a ne
programerjev
● osnovne operacije: “vrtanje” (drill up and down)
UIS – uvod v UIS Fakulteta za upravo, 2005
OLAP: primer – prodaja (1)
Dimenzije
Leto 2004
Regije vse
Produkti vsi
SKUPAJ 283.000.000,00
UIS – uvod v UIS Fakulteta za upravo, 2005
OLAP: primer – prodaja (2)
Dimenzije
Leto 2004
Regije vse
Produkti vsi
Gorenjska 109.600.000,00
Notranjska 68.100.000,00
Štajerska 105.300.000,00
SKUPAJ 283.000.000,00
UIS – uvod v UIS Fakulteta za upravo, 2005
OLAP: primer – prodaja (3)
Dimenzije
Leto 2004
Regije vse
Produkti vsi
pijača hrana ostalo SKUPAJ
Gorenjska 42.500.000,00 39.100.000,00 28.000.000,00 109.600.000,00
Notranjska 17.000.000,00 32.100.000,00 19.000.000,00 68.100.000,00
Štajerska 25.000.000,00 48.000.000,00 32.300.000,00 105.300.000,00
SKUPAJ 84.500.000,00 119.200.000,00 79.300.000,00 283.000.000,00
UIS – uvod v UIS Fakulteta za upravo, 2005
OLAP: primer – prodaja (4)
Dimenzije
Leto 2004
Regije vse
Produkti vsi
pijača hrana
refošk cviček SKUPAJ
Gorenjska ... ... 42.500.000,00 39.100.000,00
Notranjska ... ... 17.000.000,00 32.100.000,00
Štajerska ... ... 25.000.000,00 48.000.000,00
SKUPAJ ... ... 84.500.000,00 119.200.000,00● EXCEL vključuje orodja za OLAP: pivot tabele
UIS – uvod v UIS Fakulteta za upravo, 2005
OLAP vs. SQL: povzetek
● SQL/relacijske PB:– hitro zapisovanje podatkov brez podvajanja– enostavno in hitro ažuriranje podatkov– poizvedbe so vnaprej določene (programer)– sumarizacija podatkov počasna
● OLAP/večdimenzijske PB:– podatki se vseskozi podvajajo– počasno ažuriranje podatkov– ad-hoc interaktivne poizvedbe in sumarizacije
UIS – uvod v UIS Fakulteta za upravo, 2005
podatkovna skladišča: zakaj?
● različne prednosti in slabosti:– SQL dober za shranjevanje podatkov– OLAP dober za interaktivno analizo podatkov
● kako podpreti oboje?– rešitev: dvo-nivojska organizacija IS– 1. nivo: poslovni IS, relacijske PB– 2. nivo: podatkovna skladišča, večdimenzijske PB
UIS – uvod v UIS Fakulteta za upravo, 2005
dvo-nivojska organizacija IS
PIS:prodaja
PIS:kadrovanje
WWW:konkurenca
PIS:...
PRETVORBA podatkov: - selekcija - integracija/poenotenje - sumarizacija
podat
kovn
o s
klad
išče
UIS – uvod v UIS Fakulteta za upravo, 2005
podatkovno skladišče: definicija
● podatkovno skladišče hrani– tekoče in zgodovinske podatke,– ki so potrebni za analizo poslovanja– in upravljanje organizacije
● podatkovno skladišče hrani KOPIJE podatkov– iz poslovnih informacijskih sistemov– iz zunanjih virov (WWW, PIS kooperantov)
● SAMO ZA BRANJE: podatkov ne spreminjamo(!)
UIS – uvod v UIS Fakulteta za upravo, 2005
podatkovno skladišče: lastnosti (1)
● (1) poenoteni podatki– podatki iz različnih virov enotno zapisani– pregled nad podatki iz celotne organizacije
● (2) detaljni in delno sumirani podatki– tekoči podatki: ponavadi detaljni– zgodovinski podatki: sumirani
● po različnih dimenzijah (čas, prostor)– pomembno zaradi hitrega poizvedovanja
UIS – uvod v UIS Fakulteta za upravo, 2005
podatkovno skladišče: lastnosti (2)
● (3) dimenzije– določanje posebnih atributov – dimenzij– običajne dimenzije: čas, prostor
● (4) hierarhični vidik dimenzij– čas: leto, trimesečja, meseci, tedni, dnevi– prostor: država, regija, mesto– produkt: primer na tabli
UIS – uvod v UIS Fakulteta za upravo, 2005
podatkovno skladišče: prednosti
● enotni pogled na različne vidike poslovanja
● poenoten dostop do zunanjih podatkov
● možnosti za primerjalne analize– med oddelki– med panogami– med obdobji
UIS – uvod v UIS Fakulteta za upravo, 2005
tipi IS: podatki -> informacije -> znanje
poslovni IS (podatki)
operativna raven:prodaja, proizvodnja, finance, računovodstvo, kadrovanje
integrirani IS (informacije)
integrativna raven:združevanje podatkov, pisarniška orodja
upravljalski IS (znanje)
upravljalska raven:sistemi za podporo odločanju
upravljanje z znanjem, rudarjenje podatkov
vodstveni IS(znanje, izkušnje)
strateška raven:napovedi, dolgoročni plani
podatkovno skladišče:podatek -> informacija
UIS – uvod v UIS Fakulteta za upravo, 2005
pregled virov
● [Laudon and Laudon 2004]:Management Information Systems
– Managing Data Resources (poglavje 7)
● [Larry Greenfield 1995-2005]:www.dwinfocenter.org
● dw.ittoolbox.com:General Data Warehouse | What is DW? |An Introduction to DW
UIS – uvod v UIS Fakulteta za upravo, 2005
nekaj primerov izpitnih vprašanj
● Definicije osnovnih oblik zapisa podatkov:– polje, zapis, datoteka
● Katere so osnovne SQL operacije?
● Kaj je SUPB?● Kakšne tipe PB (SUPB) poznamo?
● Kaj je podatkovno skladišče?● Kaj omogoča OLAP – kaj so osnovne operacije?
UIS – uvod v UIS Fakulteta za upravo, 2005
hvala za pozornostčas za vprašanja in odgovore
http://www-ai.ijs.si/~ljupco/UIS/