Upload
chin
View
50
Download
0
Embed Size (px)
DESCRIPTION
Tema 3: Skladi štenje podataka i inteligentni agenti. SISTEMI ZA PODRŠKU ODLUČIVANJU doc dr Vladislav Mi š kovic Fakultet za informatiku i menadžment 2009/2010. Tema 3 : Skladištenje podataka i inteligentni agenti. Uvod Skladišta podataka Razvoj skladišta podataka - PowerPoint PPT Presentation
Citation preview
Tema 3: Skladištenje podataka i inteligentni agenti
SISTEMI ZA PODRŠKU ODLUČIVANJUdoc dr Vladislav Miškovic
Fakultet za informatiku i menadžment
2009/2010
Tema 3: Skladištenje podataka i inteligentni agenti
1. Uvod
2. Skladišta podataka
3. Razvoj skladišta podataka
4. Zaštita i administracija
5. Inteligentni agenti
6. Primeri
1. UVOD
• Poslovna inteligencija
• Skladište podataka – Osnovna svojstva– Struktura i komponente
Poslovna inteligencija (business intelligence)
• Sastoji se od – skladišta podataka (data warehouse, DW) i – skupa korisničkih alata za kreiranje upita i
izveštaja i njihovu analizu i vizualizaciju (business analytics, BA)
– metoda za otkrivanje netrivijalnih relacija u podacima (data mining i Web mining)
– metoda i alata za upravljanje performansama poslovanja (business performance management, BPA)
Skladište podataka
• skup podataka proizvedenih radi podrške odlučivanju
• mesto prikupljanja tekućih i istorijskih podataka, potencijalno od interesa za različite menadžere u organizaciji– podaci su strukturisani na način pogodan za
različite analitičke obrade
Osnovna svojstvaskladišta podataka
• neophodni za analitičko procesiranje (OLAP), koje omogućava korisniku udobnije, manje formalne načine postavljanja složenih upita– različito od klasičnog procesiranja transakcija (OLTP)– suprotstavljeni ciljevi izgradnje operativnih baza i
analitičkih baza podataka (neefikasnost)
• skladište proizvedenih informacija– informacije iz više izvora (baza podataka)
• neophodne za održavanje tržišne prednosti– primena u izgradnji brendova, lojalnosti mušterija, ...
Struktura i komponente skladišta podataka
2. SKLADIŠTA PODATAKA
• Osnovne definicije
• Proces skladištenja
• Arhitekture skladištenja
• Integracija podataka
Osnovne definicije
• Skladište podataka (Data Warehouse)– integrisana, pojmovno orijentisana, vremenski
promenljiva i neizbrisiva kolekcija podataka, koja pruža podršku odlučivanju
– Data Mart• mali podskup skladišta posvećen nekoj tematici i namenjen
određenoj grupi ljudi
– Operational Data Store (ODS)• dinamička, privremena skladišta, za brzo donošenje odluka
– Enterprise Data Warehouses (EDW)• velika skladišta podataka, za celu organizaciju
Proces skladištenja
• Osnovne komponente– izvori podataka (data sources) - transakcione
baze, datoteke, eksterni izvori– ekstakcija– punjenje– baza podataka– metapodaci– middleware
Arhitekture skladištenja
• dvoslojna ili troslojna, prema tome kako su raspoređeni– podaci i softver skladišta– softver za prikupljanje podataka (ekstrakciju,
konsolidaciju, sumiranje i punjenje skladišta)– klijent
• Web sistemi• postoje različite varijante arhitekture skladišta,
od centralizovanih do decentralizovanih rešenja, gde se samo dele različiti pogledi (DataMarts)
Različite arhitekture skladištenja
a) centralizovano
c) decentralizovanob) Web
Integracija podataka
• priprema podataka za upotrebu od strane drugih alata za skladištenje (DW)– pristup (access) različitim izvorima podataka– objedinjavanje (federation) podataka iz različitih
izvora/sistema - internih i eksternih– izdvajanje promena (change capture)
• Tehnologije koje se koriste u integraciji– Enterprise application integration (EAI)
• Service-oriented architecture (SOA)
– Enterprise information integration (EII)– Extract, transformation and load (ETL)
ETL proces
• Ekstrakcija - čitanje više baza (transakcione baze podataka, fajlovi, elektronske tabele, lične baze podataka)
• Transformacija - promena oblika podataka• Punjenje (load) - smeštanje u skladište
– Koristi se pomoćna, privremena baza podataka– Poslovna pravila su smeštena centralizovano, kao
metapodaci– Koriste se namenski alati (Microsoft, Oracle, IBM,
Informatica, Tibco) ili se pišu se posebni programi
ETL proces
3. RAZVOJ SKLADIŠTA
• Primer
• Poznati proizvođači softvera
• Različiti pristupi razvoju
• Struktura skladišta (zvezda)
• Implementacija
• Masivna skladišta
• Skladištenje u realnom vremenu
Primer
• avioprevoznik u finansijskim problemima (7. u svetu)– 2300 letova dnevno– 227 destinacija– problem organizacije i zadovoljenja potreba putnika– više različitih baza podataka i nasleđenih zastarelih sistema,
spori upiti
• izgrađeno integrisano skladište podataka kompanije (EDW)– informacije u realnom vremenu (putnici, osoblje, bezbednost,
proces letenja)
• osim redukcije troškova, eliminisane i zloupotrebe• investicija od 30 miliona (u toku 6 godina), povećanje
prihoda 500 miliona
Poznati proizvođači softvera
• Computer Associates (www.ca.com)• Hyperion Solutions (www.hyperion.com)• IBM (www.ibm.com)• Informatica (www.informatica.com)• Microsoft (www.microsoft.com)• Oracle (PeopleSoft, Siebel) www.oracle.com• SAS Institute (www.sas.com)• Sybase (www.sybase.com)• Teradata (www.teradata.com)
Različiti pristupi razvoju
• Centralizovani pristup (EDW)– jedinstven pogled na celu organizaciju– koristi metode i alate za razvoj baza podataka (ERD,
spiralni razvoj)
• Decentralizovani pristup (Data Mart)– "planirati celinu, graditi postupno"– podaci se prvo organizuju prema problematici
pojedinih organizacionih celina– često prvi korak ka razvoju centralizovanog skladišta
(EDW)
Struktura skladišta (zvezda)
• modeliranje dimenzija - sistem pristupa podacima velikog obima
• struktura zvezde je način implementacije modela dimenzija– centralna tabela - posmatrani poslovni podaci i njihovi
atributi, analitički (mere performansi), deskriptivni, ključevi
– tabele dimenzija (klasifikacija i agregacija informacija o podacima)
• granulacija - nivo detaljnosti (optimizuje se)
Primer
Implementacija
• poseban projekt, veliki broj različitih pristupa
• niz faktora i kriterijuma (na vežbama)
• osnovni alati za integraciju podataka su deo softvera poznatih proizvođača DBMS/BI alata, npr.– SSIS - SQL Server Integration Services
SSISSQL Server Integration Services
Masivna skladišta
• performanse opadaju porastom veličine skladišta
• veličina skladišta podataka raste eksponencijalno (danas petabajti)
• skalabilnost skladišta je svojstvo da vreme pristupa linearno zavisi od veličine skladišta
Skladištenje u realnom vremenu
• tradicionalna skladišta podataka se ažuriraju periodično (npr. nedeljno)
• važni aspekti poslovanja zahtevaju donošenje odluka u realnom vremenu
• za potrebe korisnika koji direktno komuniciraju s kupcima i dobavljačima, EDW su evoluirali u real time data warehousing (RTDW) ili active warehousing (ADW)
• omogućena je upotreba skladišta podataka i na taktičkom nivou
4. ZAŠTITA I ADMINISTRACIJA
• Metodi zaštite i administracije informacionih sistema i baza podataka
• Administrator skladišta podataka– komunikacija sa donosiocima odluka– potrebno znanje iz informacionih sistema,
baza podataka, mreža i sistema za podršku odlučivanju
5. INTELIGENTNI AGENTI
• Inteligentni agent - računarski program koji pomaže korisniku u obavljaju rutinskih poslova na osnovu utvrđenih pravila i baze znanja [1]– agent - osoba koja sarađuje s drugim licima
radi obavljajnja određenih poslova– softverski agent (software daemon, software
agent), čarobnjak (wizzard)= softverski robot (softbot, chatterbot, shopbot,
knowbot, mailbot, spambot)
Podela prema primeni
• autonomni agenti1. biološki agenti
2. robotski agenti
3. računarski agenti1. softverski agenti
1. određene namene
2. za zabavu
3. virusi
2. veštački živi agenti
Podela prema svojstvima (dimenzijama)
1. agencija - stepen autonomije (asinhronost)
2. inteligencija - stepen zaključivanja i sposobnost učenja
3. mobilnost - sposobnost premeštanja u mrežnom okruženju
– učestvuju u procesima i u vreme kad korisnik nije na mreži (npr. višednevne aukcije)
Internet agenti
• e-mail agenti (mailbot)• web browsing asistenti• inteligentni pretraživači
– indeksiranje informacija, robots, spiders, wanderers• softboti (pronalaženje informacija)
– google.com, hotjobs.yahoo.com• agenti za upravljanje i nadzor• e-commerce agenti
– bestwebbuys.com, ebay.com• ostali agenti (inteligentni interfejsi, učenje,
preporučivanje, profilisanje, Web mining, ...)
6. PRIMERI
Primeri projekata na sajtovima• Oracle www.oracle.com • Microsoft www.microsoft.com • IBM www.ibm.com • Hyperion www.hyperion.com • Harvard Bussines School Case Collection
www.harvardbussinesonline.hbsp.harvard.eduInteligentni agenti i interfejsi• www.botspot.com
Literatura
1. Nastavni materijali (prezentacije i uputstva)2. Turban E., Aronson J.E., Liang T., Sharda R.,
Decision Support and Business Intelligence Systems, 8th Ed, Pearson Education,Inc, 2007
3. Seref M., Ahuja R.,Winston W., Developing Spreadsheet-based Decision Support Systems, Dynamic Ideas, 2007
4. Adam F., Humphreys P., Encyclopedia of Decision Making and Decision Support Technologies, IGI Global, 2008
SISTEMI ZA PODRŠKU ODLUČIVANJU Tema 3: Skladištenje podataka i inteligentni agenti
KRAJ