Upload
deise-friedrich
View
230
Download
0
Embed Size (px)
Citation preview
7/25/2019 Softwares Miner a Cao Dad Os
1/45
Softwares de Minerao de Dados
Adalberto de Farias Falco Jr
Ana Isabel Bezerra Cavalcanti
7/25/2019 Softwares Miner a Cao Dad Os
2/45
Sumrio
1. Introduo
2. KDD e Data Mining
. !" es#ue"a de classi$icao %. & so$t'are Ba(esia)ab
*. Conclus+es
7/25/2019 Softwares Miner a Cao Dad Os
3/45
Introduo
Motivao ,ara o desenvolvi"entodas t-cnicas de KDD e Data Mining desa$io da to"ada de deciso $ace aoac/"ulo de u" grande volu"e de dados
0o$t'ares de KDD e Data Mining etrao auto"tica do con3eci"ento
estrat-gico e" grandes bases de dadosa4uda o analista na to"ada de deciso
7/25/2019 Softwares Miner a Cao Dad Os
4/45
Introduo
5" anos recentes so$t'ares deKDD e Data Mining usados,rinci,al"ente e" estgioe,eri"ental ou de ,es#uisa
Atual"ente cresci"ento e,ressivodo "ercado de so$t'ares de KDD eData Mining voltados ,ara a,lica+ese",resariais
7/25/2019 Softwares Miner a Cao Dad Os
5/45
Introduo
&b4etivos da a,resentao6 Discutir os ,rocessos de KDD e Data Mining Fornecer u" es#ue"a de classi$icao ,ara
o estudo dos so$t'ares de KDD e Data Mining Analisar $erra"entas eistentes 7 luz do
es#ue"a ,ro,osto Identi$icar as caracter8sticas #ue u" so$t'are
deve ,ossuir ,ara atender 7s necessidadesdos usurios
7/25/2019 Softwares Miner a Cao Dad Os
6/45
KDD e Data Mining
KDD ,rocesso de descoberta de,adr+es novos9 vlidos9 ,otencial"ente/teis e e" /lti"a anlise9 co",reens8veis9
e" u"a base de dados Data Mining etrao de ,adr+es ou
"odelos a ,artir de dados observados
Data Mining u"a eta,a :i",ortante; no,rocesso geral de KDD
7/25/2019 Softwares Miner a Cao Dad Os
7/45
KDD e Data Mining
Caracter8sticas a analisar ,onto de vista do,rocesso de KDD6
Ca,acidade de acesso a diversas $ontes de dados Acesso &n line/"ero "i"o de tabelas
7/25/2019 Softwares Miner a Cao Dad Os
8/45
KDD e Data Mining
Caracter8sticas a analisar ,onto de vistadas tare$as de Data Mining6
@rocessa"ento de dados
@reviso egresso Classi$icao Clustering
Anlise de associa+es isualizao 5DA :5,lorator( Data Anal(sis;
7/25/2019 Softwares Miner a Cao Dad Os
9/45
KDD e Data Mining
Caracter8sticas a analisar = ,onto de vista da"etodologia de Data Mining6
M-todos estat8sticos CB :Case=Based easoning;
edes neurais rvores de deciso Induo de regras edes ba(esianas Algor8t"os gen-ticos
Fuzz( 0ets oug3 0ets
7/25/2019 Softwares Miner a Cao Dad Os
10/45
Um Esquema de Classificao
Caracter8sticas gerais
Conectividade da base de dados
Caracter8sticas de Data Mining
7/25/2019 Softwares Miner a Cao Dad Os
11/45
Um Esquema de Classificao
Caracter8sticas gerais @roduto6 >o"e do vendedor 0tatus6 @ Co"ercial9 A Al,3a9 B Beta9 @rotEti,o de @es#uisa 0tatus )egal6 @D Do"8nio @/blico9 F Free'are9 0 03are'are9 C
Co"ercial
)icena Acad"ica De"o6 D verso de"o dis,on8vel ,ara do'nload9 verso de"o
dis,on8vel sob de"anda9 ! dis,onibilidade descon3ecida Ar#uitetura6 0 0tandalone9 C
7/25/2019 Softwares Miner a Cao Dad Os
12/45
Um Esquema de Classificao
Conectividade da base de dados For"atos6 ? A0CII :?eto;9 D Dbase9 @ @arado9 F Fo,ro9 I
In$or"i9 & &racle9 0( 0(base9 Ig Ingres9 A Access9 &C &,en Database Connection :&DBC;9 00 0G)
0erver9 5 5cel9 ) )otus 1=2= Conectividade6 &nl &n line9 &$$l &$$ line ?a"an3o6 0 @e#ueno :at- 1H.HHH registros;9 M M-dio :de 1H.HHH
a 1.HHH.HHH de registros;9 ) rande :"ais de 1.HHH.HHH deregistros;
Modelo6 elacional9 & &rientado a &b4etos9 1 ?abela
Atributos6 Co Cont8nuos9 Ca CategEricos9 0 0i"bElicos )inguage" de interrogao6 0 0G) ou derivados9 0,
linguage" de inter$ace es,ec8$ica 7 a,licao9 !I9 > >oa,licvel9 ! Descon3ecida
7/25/2019 Softwares Miner a Cao Dad Os
13/45
Um Esquema de Classificao
Caracter8sticas de Data Mining ?are$as de Descoberta6 @re @re,rocessa"ento9 @
@reviso9 egr egresso9 Cla Classi$icao9 Clu Clustering9 A Anlise de Associa+es9 is Modelo de
isualizao9 5DA 5,lorator( Data Anal(sis Metodologia de Descoberta6 >> edes >eurais9 A
Algor8t"os en-ticos9 F0 Fuzz( 0ets9 0 oug3 0ets90t M-todos 5stat8sticos9 D? rvores de Deciso9 I Induo de egras9 B> edes Ba(esianas9 CB Case=
Based easoning Interao u"ana6 A ,rocesso autno"o9 ,rocesso
guiado ,elo ser 3u"ano9 alta"ente interativo
7/25/2019 Softwares Miner a Cao Dad Os
14/45
Um Esquema de Classificao
Caracter8sticas gerais @roduto 0tatus de @rod. 0tatus )egal )ic. Acad. De"o Ar#. 0iste"a &,er. AutoClass C :>asa; @ @D = D 09@ !ni9Dos
Ba(esia)ab @ @D = D 0 Lin
BusinessMiner :Business &b4ects; , C > > 0 Lin
I>D :>asa; @ C D > 0 !ni
Intelligent Miner :IBM; @ C 0 C C > 0 !ni
i,,er :A?N?; @ C F D 0 !ni
7/25/2019 Softwares Miner a Cao Dad Os
15/45
Um Esquema de Classificao
Conectividade da base de dados @roduto For"atos Conectividade ?a"an3o Modelo Atributos Int. AutoClass C ?9D &$$l. ) 1 Co9Ca90 >
Ba(esia)ab ? &$$l. = 1 Co9Ca90
BusinessMiner ?95 &$$l. M Co9Ca90 09
I>D ? &$$l. 0 1 Co9Ca90 >
Intelligent Miner ?9D9&90(9 &nl.&$$l. ) Co9Ca90 09 Mine0et ?9I9&90( &nl.9&$$l. ) Co9Ca90 09
M)C ? &$$l. ) Co9Ca90 >
M0B> ? &$$l. 0 Co9Ca90
@5 ?9D9 &$$l. M 1 Co9Ca90 !
i,,er ? &$$l. ) 1 Co9Ca90 >
7/25/2019 Softwares Miner a Cao Dad Os
16/45
Um Esquema de Classificao
Caracter8sticas de Data Mining @roduto ?are$as M-todos Interao AutoClass C @re9 Cla9 Clu 0t. A
Ba(esia)ab @9 Cla B>
BusinessMiner @9 Cla9 A9 is D?
I>D @9 egr.9 Cla D? A
Intelligent Miner @re9 @9 egr.9 Cla >>9 D? Mine0et @re9 @9 Cla9 Clu9 A9 is9 5DA 0t.9 D?9 I9 CB
M)C @re9 @9 egr.9 Cla9 Clu9 A9 is 0t.9 D?9 I9 CB
M0B> @9 A9 is B>
@5 @re9 @9 egr.9 is9 5DA 0t.9
i,,er @9 egr.9 A I A
7/25/2019 Softwares Miner a Cao Dad Os
17/45
Bayesiaa!
Ferra"enta baseada e" redes de crenas ba(esianas. erso de"o dis,on8vel na Internet6
3tt,6
7/25/2019 Softwares Miner a Cao Dad Os
18/45
"edes !ayesianas
0o co",ostas de duas ,artes6 ra$o ac8clico direcionado6 os nEsre,resenta" variveis aleatEriasP osarcos re,resenta" de,endncias
,robabil8sticas.Arco de A at- B O A - ,redecessor direto de B.!"a varivel - condicional"ente inde,endentede seus no=descendentes no gra$o9 dado seus
,redecessores diretos. !"a tabela de ,robabilidade
condicional ,ara cada varivel.
7/25/2019 Softwares Miner a Cao Dad Os
19/45
"edes !ayesianas
5e",lo6
#a!ela de $ro!a!ilidadecondicional $ara o n%
&Bronc'its(
Estrutura da rede)
7/25/2019 Softwares Miner a Cao Dad Os
20/45
"edes !ayesianas
!"a rede ba(esiana - u"a "aneiraconveniente de re,resentar relaode causalidade.
56 Fu"ar causa bron#uite.
7/25/2019 Softwares Miner a Cao Dad Os
21/45
Bayesiaa!
A $erra"enta ,ossibilita duasabordagens6 In$erncia6 es,ecialista constrEi a rede
co" base e" con3eci"ento ,r-vio. Minerao6 etrao dos ,arQ"etros ou
de toda a estrutura da rede a ,artir de
ee",los.
7/25/2019 Softwares Miner a Cao Dad Os
22/45
Bayesiaa! * Infer+ncia
@ri"eiro ,asso6 construo da estruturada rede. e,resentao gr$ica do con3eci"ento
,r-vio sobre o do"8nio do ,roble"a. 0egundo ,asso6 edio das tabelas de
,robabilidade condicional. ?erceiro ,asso6 usar a rede constru8da
,ara in$erir o valor de u"a varivel alvo9dados os valores observados de outrasvariveis.
7/25/2019 Softwares Miner a Cao Dad Os
23/45
Bayesiaa! * Infer+ncia
5e",lo6 a rede do regador de gua.
7/25/2019 Softwares Miner a Cao Dad Os
24/45
Bayesiaa! * Infer+ncia
Construo da re,resentao gr$icano Ba(es)ab6
7/25/2019 Softwares Miner a Cao Dad Os
25/45
Bayesiaa! * Infer+ncia
5dio da tabela de ,robabilidade
condicional ,ara o nE RLetrassS.
7/25/2019 Softwares Miner a Cao Dad Os
26/45
Bayesiaa! * Infer+ncia
duas "aneiras di$erentes de se$azer in$erncia ,robabil8stica6
bottom-up: a ,artir dos e$eitos sein$ere" as causasP diagnEstico.
top-down6 dadas as causas9 co",utar
as ,robabilidades dos e$eitosP "odelosRgenerativosS.
7/25/2019 Softwares Miner a Cao Dad Os
27/45
Bayesiaa! * Infer+ncia
5e",lo de racioc8nio bottom-up: 0u,ondo #ue saiba"os #ue a gra"a est
"ol3ada. duas ,oss8veis causas ,ara isso6a c3uva e o regador.
5sti"ar #ual a causa "ais ,rovvel.
7/25/2019 Softwares Miner a Cao Dad Os
28/45
Bayesiaa! * Infer+ncia
@robabilidades a ,osteriori6C3uva H9THU egador H9%H
azo de verossi"il3ana 19V%T
, $riori , $osteriori
7/25/2019 Softwares Miner a Cao Dad Os
29/45
Bayesiaa! * Infer+ncia
5e",lo de racioc8nio top-down6 Gual a ,robabilidade de a gra"a estar"ol3ada9 dado #ue o te",o est encobertoW
, $riori , $osteriori
7/25/2019 Softwares Miner a Cao Dad Os
30/45
Bayesiaa! * Infer+ncia
erao de #uestionrio ada,tativo6 Fiada u"a varivel alvo9 esta
$uncionalidade ordena as variveis #ue
traze" "aior gan3o de in$or"ao ,araesta varivel a u" "enor custo.
A ordenao - $eita ,elo valor
decrescente da razo entre o gan3o dein$or"ao e o custo.
7/25/2019 Softwares Miner a Cao Dad Os
31/45
Bayesiaa! * Infer+ncia
erencia"ento dos custos. @reo associado 7 observao do valor
de u" nE.
7/25/2019 Softwares Miner a Cao Dad Os
32/45
Bayesiaa! * Infer+ncia
Guestionrio ada,tativo.
7/25/2019 Softwares Miner a Cao Dad Os
33/45
Bayesiaa! * Minerao 5e",lo6 etrair u"a rede ba(esiana de u"a base de
diagnEsticos de ,acientes co" doenas no ,ul"o. *HHH instQncias. X variveis6
VisitAsia: O paciente visitou a sia? NoVisit/Visit Tuberculosis: O paciente tem tuberculose? Absent/Present Smoking: O paciente fumante? Smoker/NonSmoker
Cancer: O paciente tem cncer? Absent/Present TbOrCa: ou!l"#ico cria$o para simpli%car a tabela $e
probabili$a$es XRay: &esulta$o $o raio'() Normal/Abnormal Bronchitis: O paciente tem bron*uite? Absent/Present Dyspnea: O paciente tem $i%cu$a$es respirat"rias?
Absent/Present
Age: +$a$e $o paciente) ,m valor numrico positivo)
7/25/2019 Softwares Miner a Cao Dad Os
34/45
Bayesiaa! * Minerao
I",ortao da base de dados.
7/25/2019 Softwares Miner a Cao Dad Os
35/45
Bayesiaa! * Minerao For"ato das variveis6
Cont8nuo Discreto
>o=distribu8do :no usadas na construo darede;
7/25/2019 Softwares Miner a Cao Dad Os
36/45
Bayesiaa! * Minerao
As variveis cont8nuas deve" serdiscretizadas.
?rs "-todos de discretizao6 Intervalos de "es"o co",ri"ento.
Intervalos co" a "es"a $re#Yncia.
rvore de deciso6 RInduo su,ervisionada
da discretizao "ais e$etiva co" relao au"a varivel alvo.S
7/25/2019 Softwares Miner a Cao Dad Os
37/45
Bayesiaa! * Minerao I",ortao conclu8da6 - criado u" nE ,ara cada
varivel do con4unto de dados.
7/25/2019 Softwares Miner a Cao Dad Os
38/45
Bayesiaa! * Minerao
Extrao da estrutura da rede6 a,rendizado nosu,ervisionado de rela+es ,robabil8sticas:descoberta de associa+es;.
?rs algorit"os dis,on8veis6 0o,)5G6 RBusca baseada nu"a caracterizao global
dos dados e na e,lorao das ,ro,riedades das redesba(esianas e#uivalentes :r,ido;.S
?aboo6 RA,rendizado estrutural atrav-s ?aboo searc3S.
?aboo&rder6 RA,rendizado atrav-s de ?aboo searc3co" ob4etivo de encontrar a "el3or orde" ,ara os nEs:busca "ais co",leta ,ortanto "ais de"orada;.
7/25/2019 Softwares Miner a Cao Dad Os
39/45
Bayesiaa!
esultado do 0o,)5G6
De ,osse da rede "inerada9 ,ode" se realizar asatividades de in$erncia descritas anterior"ente.
7/25/2019 Softwares Miner a Cao Dad Os
40/45
Bayesiaa! * Minerao
&utro ee",lo6 gerao de u"classi$icador >aive Ba(es. 5#uivalente a u"a rede ba(esiana onde o nE
alvo - o ,redecessor direto de todos os outrosnEs.
0aber o valor do nE alvo torna todos os outrosnEs inde,endentes entre si.
7/25/2019 Softwares Miner a Cao Dad Os
41/45
Bayesiaa! * Minerao
erao do classi$icador6
7/25/2019 Softwares Miner a Cao Dad Os
42/45
Bayesiaa! * Minerao
>aive Ba(es resultante6
7/25/2019 Softwares Miner a Cao Dad Os
43/45
Bayesiaa! * Minerao
!so do classi$icador6 Batch exploitation. 5s,eci$ica=se u"a base de ee",los. 0eleciona"=se as colunas co" as variveis #ue tero
seus valores observados.
Z gerado u" ar#uivo co" duas in$or"a+es ,ara cadaee",lo6 a classe "ais ,rovvel a$etada ,eloclassi$icador e a ,robabilidade desta classe.
7/25/2019 Softwares Miner a Cao Dad Os
44/45
Conclus-es
A,esar do seu r,ido cresci"ento9 KDD ainda -u"a rea de con3eci"ento e"ergente.
Ainda no eiste" $erra"entas #ue atenda"todos os re#uisitos do ,rocesso.
Alguns as,ectos onde se ,ode evoluir6 Integrao de di$erentes t-cnicas 5tensibilidade Integrao "aior co" banco de dados
0u,orte tanto ,ara es,ecialistas e" anlise#uanto ,ara usurios ine,erientes erencia"ento de dados e" constante
"udana ?i,os de dados no=triviais
7/25/2019 Softwares Miner a Cao Dad Os
45/45
"efer+ncias
A Brie$ Introduction to ra,3ical Models andBa(esian >et'or[s6 3tt,6e' ]or[6 Mcra'=
ill91XXT.
http://www.cs.berkeley.edu/~murphyk/Bayes/bayes.htmlhttp://www.cs.berkeley.edu/~murphyk/Bayes/bayes.htmlhttp://www.bayesia.com/http://www.bayesia.com/http://www.bayesia.com/http://www.bayesia.com/http://www.bayesia.com/http://www.bayesia.com/http://www.cs.berkeley.edu/~murphyk/Bayes/bayes.htmlhttp://www.cs.berkeley.edu/~murphyk/Bayes/bayes.htmlhttp://www.cs.berkeley.edu/~murphyk/Bayes/bayes.html