Upload
neola
View
34
Download
4
Embed Size (px)
DESCRIPTION
Aprendizado de Máquina Uma Visão Geral. Profa. Dra. Maria Carolina Monard LABIC - ICMC - USP São Carlos. Tópicos. Inteligência e Aprendizado Engenharia de Conhecimento e SBC Dado, Informação e Conhecimento Aprendizado de Máquina AM usando Árvores de Decisão KDD e Data Mining. - PowerPoint PPT Presentation
Citation preview
011010101010100100010101110100101100100101001001010011010101100111001101 011010101010100100010101110100101100
LABIC - ICMC - USP São Carlos ISISTAN-2001LABIC - ICMC - USP São Carlos ISISTAN-2001 1
Aprendizado de MáquinaAprendizado de Máquina
Uma Visão Geral Uma Visão Geral
Profa. Dra. Maria Carolina MonardProfa. Dra. Maria Carolina Monard
LABIC - ICMC - USP São CarlosLABIC - ICMC - USP São Carlos
011010101010100100010101110100101100100101001001010011010101100111001101 011010101010100100010101110100101100
LABIC - ICMC - USP São Carlos ISISTAN-2001LABIC - ICMC - USP São Carlos ISISTAN-2001 2
TópicosTópicos
• Inteligência e AprendizadoInteligência e Aprendizado• Engenharia de Conhecimento e SBCEngenharia de Conhecimento e SBC• Dado, Informação e ConhecimentoDado, Informação e Conhecimento• Aprendizado de MáquinaAprendizado de Máquina• AM usando Árvores de DecisãoAM usando Árvores de Decisão• KDD e Data MiningKDD e Data Mining
011010101010100100010101110100101100100101001001010011010101100111001101 011010101010100100010101110100101100
LABIC - ICMC - USP São Carlos ISISTAN-2001LABIC - ICMC - USP São Carlos ISISTAN-2001 4
“Uma área de pesquisa que investigaformas de habilitar o computador a
realizar tarefas nas quais, até omomento, o ser humano tem um
melhor desempenho”. Elaine Rich
O que é IA?O que é IA?
011010101010100100010101110100101100100101001001010011010101100111001101 011010101010100100010101110100101100
LABIC - ICMC - USP São Carlos ISISTAN-2001LABIC - ICMC - USP São Carlos ISISTAN-2001 5
Inteligência ArtificialInteligência Artificial
“Tão logo algum problema de IA é resolvido ele não é mais considerado um problema da área de IA...”
Chuck ThorpeCMU, Robotics Institute, 2000
011010101010100100010101110100101100100101001001010011010101100111001101 011010101010100100010101110100101100
LABIC - ICMC - USP São Carlos ISISTAN-2001LABIC - ICMC - USP São Carlos ISISTAN-2001 6
Definições AdicionaisDefinições Adicionais
• Conjunto de técnicas para a construção de Conjunto de técnicas para a construção de máquinas “inteligentes”, capazes de máquinas “inteligentes”, capazes de resolver problemas que requerem resolver problemas que requerem inteligência humana. (Nilsson)inteligência humana. (Nilsson)
• Ramo da Ciência da Computação dedicado Ramo da Ciência da Computação dedicado à automação de comportamento à automação de comportamento inteligente. (Luger e Stubble)inteligente. (Luger e Stubble)
• Tecnologia de processamento de Tecnologia de processamento de informação que envolve processos de informação que envolve processos de raciocínio, aprendizado e percepção. raciocínio, aprendizado e percepção. (Winston)(Winston)
011010101010100100010101110100101100100101001001010011010101100111001101 011010101010100100010101110100101100
LABIC - ICMC - USP São Carlos ISISTAN-2001LABIC - ICMC - USP São Carlos ISISTAN-2001 7
Sistemas quepensam como os
humanos
Sistemas quepensam
racionalmenteSistemas queatuam como
humanos
Sistemas queatuam
racionalmente
As 4 categorias das As 4 categorias das definições de Inteligência definições de Inteligência
ArtificialArtificial
011010101010100100010101110100101100100101001001010011010101100111001101 011010101010100100010101110100101100
LABIC - ICMC - USP São Carlos ISISTAN-2001LABIC - ICMC - USP São Carlos ISISTAN-2001 8
As 4 categorias das As 4 categorias das definições de Inteligência definições de Inteligência
ArtificialArtificial• Agindo como humanosAgindo como humanos::
A abordagem do Teste de TuringA abordagem do Teste de Turing
• Pensando como humanosPensando como humanos::A abordagem do modelamento cognitivoA abordagem do modelamento cognitivo
• Pensando racionalmentePensando racionalmente::A abordagem das leis do pensamentoA abordagem das leis do pensamento
• Agindo racionalmenteAgindo racionalmente::A abordagem de agentes racionaisA abordagem de agentes racionais
011010101010100100010101110100101100100101001001010011010101100111001101 011010101010100100010101110100101100
LABIC - ICMC - USP São Carlos ISISTAN-2001LABIC - ICMC - USP São Carlos ISISTAN-2001 11
Uma Nova VisãoUma Nova Visão
• A partir dos anos 80 foi percebido que, A partir dos anos 80 foi percebido que, geralmente, o modelo de raciocínio geralmente, o modelo de raciocínio utilizado em IA era diferente do usado utilizado em IA era diferente do usado pelos seres humanos.pelos seres humanos.
• Mas essas diferenças não invalidam o uso Mas essas diferenças não invalidam o uso de modelos não-humanos. Um bom de modelos não-humanos. Um bom exemplo é o avião, que opera de uma forma exemplo é o avião, que opera de uma forma muito diferente da dos pássaros, mas muito diferente da dos pássaros, mas também voa.....também voa.....
011010101010100100010101110100101100100101001001010011010101100111001101 011010101010100100010101110100101100
LABIC - ICMC - USP São Carlos ISISTAN-2001LABIC - ICMC - USP São Carlos ISISTAN-2001 12
Uma Nova VisãoUma Nova Visão
• Em outras palavras, para que alguém Em outras palavras, para que alguém quer construir uma cópia da mente quer construir uma cópia da mente humana? Não é suficiente a original? humana? Não é suficiente a original? Não é a mente humana a mais difícil Não é a mente humana a mais difícil de se auto-examinar?de se auto-examinar?
• A única solução aparentemente lógica A única solução aparentemente lógica é separar a inteligência humana da é separar a inteligência humana da inteligência artificial para construir inteligência artificial para construir algo completamente novo.algo completamente novo.
011010101010100100010101110100101100100101001001010011010101100111001101 011010101010100100010101110100101100
LABIC - ICMC - USP São Carlos ISISTAN-2001LABIC - ICMC - USP São Carlos ISISTAN-2001 13
IA e LógicaIA e Lógica
Entre as controvérsias que ainda Entre as controvérsias que ainda persistem na área encontra-se a persistem na área encontra-se a
relacionada com o papel relacionada com o papel desempenhado em IA pela lógica.desempenhado em IA pela lógica.
A inteligência deriva primariamente do A inteligência deriva primariamente do raciocínio lógico raciocínio lógico ouou do conhecimento? do conhecimento?
011010101010100100010101110100101100100101001001010011010101100111001101 011010101010100100010101110100101100
LABIC - ICMC - USP São Carlos ISISTAN-2001LABIC - ICMC - USP São Carlos ISISTAN-2001 14
IA e LógicaIA e Lógica
O problema está em considerar que O problema está em considerar que esse esse ouou é um é um ouou exclusivoexclusivo!!
011010101010100100010101110100101100100101001001010011010101100111001101 011010101010100100010101110100101100
LABIC - ICMC - USP São Carlos ISISTAN-2001LABIC - ICMC - USP São Carlos ISISTAN-2001 15
IA e LógicaIA e Lógica
• São diversas as lógicas utilizadas em São diversas as lógicas utilizadas em IA, tais como:IA, tais como:– Lógica FuzzyLógica Fuzzy– Lógica ParaconsistenteLógica Paraconsistente– Lógica TemporalLógica Temporal– e várias outrase várias outras
011010101010100100010101110100101100100101001001010011010101100111001101 011010101010100100010101110100101100
LABIC - ICMC - USP São Carlos ISISTAN-2001LABIC - ICMC - USP São Carlos ISISTAN-2001 16
IA e LógicaIA e Lógica
• Ainda que forçados a utilizar muitas Ainda que forçados a utilizar muitas variedades de lógica, alguns pesquisa-variedades de lógica, alguns pesquisa-dores consideram que tanto a lingua-dores consideram que tanto a lingua-gem quanto a “máquina de inferência” gem quanto a “máquina de inferência” lógica é fundamental para IA.lógica é fundamental para IA.
• O ideal seria conseguir integrar essa O ideal seria conseguir integrar essa grande variedade de mecanismos grande variedade de mecanismos lógicos especializados dentro de um lógicos especializados dentro de um sistema único, poderoso e versátil, sistema único, poderoso e versátil, porém uniforme.porém uniforme.
011010101010100100010101110100101100100101001001010011010101100111001101 011010101010100100010101110100101100
LABIC - ICMC - USP São Carlos ISISTAN-2001LABIC - ICMC - USP São Carlos ISISTAN-2001 17
O que é inteligência?
O que é inteligência?
Muito difícil!!!Muito difícil!!!
Paradigmas da Paradigmas da InteligênciaInteligência
011010101010100100010101110100101100100101001001010011010101100111001101 011010101010100100010101110100101100
LABIC - ICMC - USP São Carlos ISISTAN-2001LABIC - ICMC - USP São Carlos ISISTAN-2001 18
Procedimento InteligenteProcedimento Inteligente• Aprende por experiênciaAprende por experiência• Usa conhecimento adquirido por experiênciaUsa conhecimento adquirido por experiência• Soluciona problemas na ausência de alguma Soluciona problemas na ausência de alguma
informaçãoinformação• Reage rapidamente perante uma nova situação Reage rapidamente perante uma nova situação • Determina o que é importanteDetermina o que é importante• Raciocina e pensaRaciocina e pensa• Entende imagens visuaisEntende imagens visuais• Processa e manipula símbolosProcessa e manipula símbolos• É criativo e imaginativoÉ criativo e imaginativo• Usa heurísticasUsa heurísticas
011010101010100100010101110100101100100101001001010011010101100111001101 011010101010100100010101110100101100
LABIC - ICMC - USP São Carlos ISISTAN-2001LABIC - ICMC - USP São Carlos ISISTAN-2001 19
Inteligência x AprendizadoInteligência x Aprendizado
• Aprendizado é a chave da Aprendizado é a chave da superioridade da Inteligência Humana superioridade da Inteligência Humana – Aprendizado é a essência da InteligênciaAprendizado é a essência da Inteligência
• Para que uma máquina tenha Para que uma máquina tenha Comportamento InteligenteComportamento Inteligente, deve-, deve-se aumentar sua se aumentar sua Capacidade de Capacidade de AprendizadoAprendizado
011010101010100100010101110100101100100101001001010011010101100111001101 011010101010100100010101110100101100
LABIC - ICMC - USP São Carlos ISISTAN-2001LABIC - ICMC - USP São Carlos ISISTAN-2001 20
Inteligência x AprendizadoInteligência x Aprendizado
• O ser humano está pré-programado para o O ser humano está pré-programado para o aprendizado. Aprende ampliando o alcance aprendizado. Aprende ampliando o alcance do conhecimento que já possui, através de do conhecimento que já possui, através de reordenações sucessivasreordenações sucessivas
• O computador não possui o programa inicial O computador não possui o programa inicial para procurar por informações e realizar para procurar por informações e realizar aprendizado em geralaprendizado em geral
• Paradigmas e técnicas de AM possuem um Paradigmas e técnicas de AM possuem um alvo bem mais limitado do que o alvo bem mais limitado do que o aprendizado humanoaprendizado humano
011010101010100100010101110100101100100101001001010011010101100111001101 011010101010100100010101110100101100
LABIC - ICMC - USP São Carlos ISISTAN-2001LABIC - ICMC - USP São Carlos ISISTAN-2001 21
O Teste de TuringO Teste de Turing
SistemaComputacional
InterrogadorHumano
Interface
Barr
eir
a F
ísic
a
011010101010100100010101110100101100100101001001010011010101100111001101 011010101010100100010101110100101100
LABIC - ICMC - USP São Carlos ISISTAN-2001LABIC - ICMC - USP São Carlos ISISTAN-2001 22
TópicosTópicos
• Inteligência e AprendizadoInteligência e Aprendizado• Engenharia de Conhecimento e SBCEngenharia de Conhecimento e SBC• Dado, Informação e ConhecimentoDado, Informação e Conhecimento• Aprendizado de MáquinaAprendizado de Máquina• AM usando Árvores de DecisãoAM usando Árvores de Decisão• KDD e Data MiningKDD e Data Mining
011010101010100100010101110100101100100101001001010011010101100111001101 011010101010100100010101110100101100
LABIC - ICMC - USP São Carlos ISISTAN-2001LABIC - ICMC - USP São Carlos ISISTAN-2001 23
Sistemas de IASistemas de IA
Conceitos e técnicas de IAConceitos e técnicas de IA
Sistemas de IASistemas de IA ConhecimentoConhecimento
Aquisição
Representação
Manipulação
Processo de Processo de AprendizadoAprendizado
011010101010100100010101110100101100100101001001010011010101100111001101 011010101010100100010101110100101100
LABIC - ICMC - USP São Carlos ISISTAN-2001LABIC - ICMC - USP São Carlos ISISTAN-2001 24
Seleção do DomínioSeleção do Domínio
• A seleção de um domínio apropriado é A seleção de um domínio apropriado é crucial para o êxito no crucial para o êxito no desenvolvimento de um sistema desenvolvimento de um sistema inteligente.inteligente.
• Os limites da tarefa devem ser Os limites da tarefa devem ser claramente delineados.claramente delineados.
011010101010100100010101110100101100100101001001010011010101100111001101 011010101010100100010101110100101100
LABIC - ICMC - USP São Carlos ISISTAN-2001LABIC - ICMC - USP São Carlos ISISTAN-2001 25
Especialista(s)
Engenheiro doConhecimento
ConhecimentoConhecimentoAdquiridoAdquirido
Aquisição doAquisição doConhecimentoConhecimento
Aquisição doAquisição doConhecimentoConhecimento
CONSTRUÇÃO DE BASESCONSTRUÇÃO DE BASESDE CONHECIMENTODE CONHECIMENTO
Base de ConhecimentoBase de Conhecimentoc/ Fatos e Relaçõesc/ Fatos e Relações
Representação doRepresentação doConhecimentoConhecimento
Representação doRepresentação doConhecimentoConhecimento
011010101010100100010101110100101100100101001001010011010101100111001101 011010101010100100010101110100101100
LABIC - ICMC - USP São Carlos ISISTAN-2001LABIC - ICMC - USP São Carlos ISISTAN-2001 26
Transfor-Transfor-maçãomação
Engenharia de Engenharia de ConhecimentoConhecimento
Estuda o processo de transferência de Estuda o processo de transferência de conhecimento do especialista para o conhecimento do especialista para o
computador.computador.
011010101010100100010101110100101100100101001001010011010101100111001101 011010101010100100010101110100101100
LABIC - ICMC - USP São Carlos ISISTAN-2001LABIC - ICMC - USP São Carlos ISISTAN-2001 27
Engenheiro de Engenheiro de ConhecimentoConhecimento
• É o profissional que extrai o conhecimento É o profissional que extrai o conhecimento do(s) especialista(s) --- ou de outra fonte do(s) especialista(s) --- ou de outra fonte --- o interpreta e representa em tipos e --- o interpreta e representa em tipos e estruturas de conhecimento na Base de estruturas de conhecimento na Base de Conhecimento.Conhecimento.
011010101010100100010101110100101100100101001001010011010101100111001101 011010101010100100010101110100101100
LABIC - ICMC - USP São Carlos ISISTAN-2001LABIC - ICMC - USP São Carlos ISISTAN-2001 28
Problemas com ACProblemas com AC
• Especialista com dificuldades Especialista com dificuldades para verbalizar conhecimentopara verbalizar conhecimento
• Especialista pode não estar Especialista pode não estar ciente de como usa o ciente de como usa o conhecimentoconhecimento..
• Conhecimento IncompletoConhecimento Incompleto• Conhecimento IncorretoConhecimento Incorreto• Conhecimento InconsistenteConhecimento Inconsistente
011010101010100100010101110100101100100101001001010011010101100111001101 011010101010100100010101110100101100
LABIC - ICMC - USP São Carlos ISISTAN-2001LABIC - ICMC - USP São Carlos ISISTAN-2001 29
Sistemas Baseados em Sistemas Baseados em Conhecimento (SBC) Conhecimento (SBC)
““Programas de computador que usam Programas de computador que usam conhecimento representado conhecimento representado explicitamente para resolver explicitamente para resolver
problemas”problemas”
011010101010100100010101110100101100100101001001010011010101100111001101 011010101010100100010101110100101100
LABIC - ICMC - USP São Carlos ISISTAN-2001LABIC - ICMC - USP São Carlos ISISTAN-2001 30
SBC e Sistemas SBC e Sistemas EspecialistasEspecialistas
011010101010100100010101110100101100100101001001010011010101100111001101 011010101010100100010101110100101100
LABIC - ICMC - USP São Carlos ISISTAN-2001LABIC - ICMC - USP São Carlos ISISTAN-2001 31
SBCSBC
SBCs são desenvolvidos para serem SBCs são desenvolvidos para serem usados em problemas que requerem usados em problemas que requerem uma quantidade considerável de uma quantidade considerável de conhecimento humano e de “esperteza” conhecimento humano e de “esperteza” para serem resolvidospara serem resolvidos
011010101010100100010101110100101100100101001001010011010101100111001101 011010101010100100010101110100101100
LABIC - ICMC - USP São Carlos ISISTAN-2001LABIC - ICMC - USP São Carlos ISISTAN-2001 32
Sistemas Especialistas (SE)Sistemas Especialistas (SE)
“ “SEs são sistemas que são capazes de SEs são sistemas que são capazes de oferecer soluções para problemas oferecer soluções para problemas
específicos num dado domínio ou que específicos num dado domínio ou que consigam aconselhar (dar conselhos), de consigam aconselhar (dar conselhos), de
uma maneira ou num nível comparável ao uma maneira ou num nível comparável ao de especialistas naquela área.” de especialistas naquela área.”
Lucas and van der GaagLucas and van der Gaag
Princípios de Sistemas EspecialistasPrincípios de Sistemas Especialistas
011010101010100100010101110100101100100101001001010011010101100111001101 011010101010100100010101110100101100
LABIC - ICMC - USP São Carlos ISISTAN-2001LABIC - ICMC - USP São Carlos ISISTAN-2001 33
Sistemas EspecialistasSistemas Especialistas
“ “Um Sistema Especialista, ainda que projetado e implementado de forma
brilhante, se é incapaz de aprender a não repetir erros, então ele não é mais
inteligente que uma minhoca.”
O.G. Selfridge“The Garnen of Learning”AI Magazine 14(2), 1993
011010101010100100010101110100101100100101001001010011010101100111001101 011010101010100100010101110100101100
LABIC - ICMC - USP São Carlos ISISTAN-2001LABIC - ICMC - USP São Carlos ISISTAN-2001 34
TópicosTópicos
• Inteligência e AprendizadoInteligência e Aprendizado• Engenharia de Conhecimento e SBCEngenharia de Conhecimento e SBC• Dado, Informação e ConhecimentoDado, Informação e Conhecimento• Aprendizado de MáquinaAprendizado de Máquina• AM usando Árvores de DecisãoAM usando Árvores de Decisão• KDD e Data MiningKDD e Data Mining
011010101010100100010101110100101100100101001001010011010101100111001101 011010101010100100010101110100101100
LABIC - ICMC - USP São Carlos ISISTAN-2001LABIC - ICMC - USP São Carlos ISISTAN-2001 35
EstruturaEstrutura
DadosDados
InformaçãoInformação
ConhecimentoConhecimento
011010101010100100010101110100101100100101001001010011010101100111001101 011010101010100100010101110100101100
LABIC - ICMC - USP São Carlos ISISTAN-2001LABIC - ICMC - USP São Carlos ISISTAN-2001 36
O que é DADO?O que é DADO?
• Dado é a estrutura fundamental sobre Dado é a estrutura fundamental sobre a qual um sistema de informação é a qual um sistema de informação é construído.construído.
011010101010100100010101110100101100100101001001010011010101100111001101 011010101010100100010101110100101100
LABIC - ICMC - USP São Carlos ISISTAN-2001LABIC - ICMC - USP São Carlos ISISTAN-2001 37
O que é INFORMAÇÃO?O que é INFORMAÇÃO?
• A transformação de dados em A transformação de dados em informação é freqüentemente informação é freqüentemente realizada através da apresentação dos realizada através da apresentação dos dados em uma forma compreensível dados em uma forma compreensível ao usuário.ao usuário.
011010101010100100010101110100101100100101001001010011010101100111001101 011010101010100100010101110100101100
LABIC - ICMC - USP São Carlos ISISTAN-2001LABIC - ICMC - USP São Carlos ISISTAN-2001 38
O que é CONHECIMENTO?O que é CONHECIMENTO?
• Fornece a capacidade de resolver Fornece a capacidade de resolver problemas, inovar e aprender baseado problemas, inovar e aprender baseado em experiências préviasem experiências prévias
• Uma combinação de instintos, idéias, Uma combinação de instintos, idéias, regras e procedimentos que guiam as regras e procedimentos que guiam as ações e decisões.ações e decisões.
011010101010100100010101110100101100100101001001010011010101100111001101 011010101010100100010101110100101100
LABIC - ICMC - USP São Carlos ISISTAN-2001LABIC - ICMC - USP São Carlos ISISTAN-2001 39
Importante observar ....Importante observar ....
• Dado não é InformaçãoDado não é Informação
• Informação não é ConhecimentoInformação não é Conhecimento
• Conhecimento não é InteligênciaConhecimento não é Inteligência
• Inteligência não é SabedoriaInteligência não é Sabedoria
011010101010100100010101110100101100100101001001010011010101100111001101 011010101010100100010101110100101100
LABIC - ICMC - USP São Carlos ISISTAN-2001LABIC - ICMC - USP São Carlos ISISTAN-2001 40
TópicosTópicos
• Inteligência e AprendizadoInteligência e Aprendizado• Engenharia de Conhecimento e SBCEngenharia de Conhecimento e SBC• Dado, Informação e ConhecimentoDado, Informação e Conhecimento• Aprendizado de MáquinaAprendizado de Máquina• AM usando Árvores de DecisãoAM usando Árvores de Decisão• KDD e Data MiningKDD e Data Mining
011010101010100100010101110100101100100101001001010011010101100111001101 011010101010100100010101110100101100
LABIC - ICMC - USP São Carlos ISISTAN-2001LABIC - ICMC - USP São Carlos ISISTAN-2001 41
Sistemas de IASistemas de IA
Conceitos e técnicas de IAConceitos e técnicas de IA
Sistemas de IASistemas de IA ConhecimentoConhecimento
Aquisição
Representação
Manipulação
Aprendizado Aprendizado de Máquinade Máquina
011010101010100100010101110100101100100101001001010011010101100111001101 011010101010100100010101110100101100
LABIC - ICMC - USP São Carlos ISISTAN-2001LABIC - ICMC - USP São Carlos ISISTAN-2001 42
Aprendizado de MáquinaAprendizado de Máquina
Pode ser utilizado como meio para Pode ser utilizado como meio para vencer um dos maiores problemas de vencer um dos maiores problemas de Sistemas de IA - o gargalo da aquisição Sistemas de IA - o gargalo da aquisição de conhecimentode conhecimento
011010101010100100010101110100101100100101001001010011010101100111001101 011010101010100100010101110100101100
LABIC - ICMC - USP São Carlos ISISTAN-2001LABIC - ICMC - USP São Carlos ISISTAN-2001 43
Aprendizado de MáquinaAprendizado de Máquina
Sub-área da Inteligência Artificial Sub-área da Inteligência Artificial
que pesquisa métodos que pesquisa métodos computacionais computacionais relacionados à aquisição de novos relacionados à aquisição de novos conhecimentos, novas habilidades e conhecimentos, novas habilidades e novas formas de organizar o novas formas de organizar o conhecimento já existente.conhecimento já existente.
011010101010100100010101110100101100100101001001010011010101100111001101 011010101010100100010101110100101100
LABIC - ICMC - USP São Carlos ISISTAN-2001LABIC - ICMC - USP São Carlos ISISTAN-2001 44
Objetivos de AMObjetivos de AM
• um melhor entendimento dos um melhor entendimento dos mecanismos de aprendizado humano mecanismos de aprendizado humano
• automação da aquisição do automação da aquisição do conhecimentoconhecimento
011010101010100100010101110100101100100101001001010011010101100111001101 011010101010100100010101110100101100
LABIC - ICMC - USP São Carlos ISISTAN-2001LABIC - ICMC - USP São Carlos ISISTAN-2001 45
Ciências Ciências CognitivasCognitivas
Ciência da Ciência da ComputaçãoComputação
Reconheci-Reconheci-mento de mento de PadrõesPadrões
EstatísticaEstatística
Aprendizado Aprendizado de Máquinade Máquina
AM incorpora várias AM incorpora várias técnicas de outras técnicas de outras
disciplinasdisciplinas
011010101010100100010101110100101100100101001001010011010101100111001101 011010101010100100010101110100101100
LABIC - ICMC - USP São Carlos ISISTAN-2001LABIC - ICMC - USP São Carlos ISISTAN-2001 46
Sistemas de Aprendizado Sistemas de Aprendizado de Máquinade Máquina
Modo deAprendizado
Paradigmas deAprendizado
Linguagens deDescrição
Formas deAprendizado
- Supervisionado
- NãoSupervisionado
- Simbólico
- Estatístico
- Instance-Based
- Conexionista
- Genético
- Instâncias ouExemplos
- ConceitosAprendidos ouHipóteses
- Teoria deDomínio ouConhecimentode Fundo
- Incremental
- NãoIncremental
011010101010100100010101110100101100100101001001010011010101100111001101 011010101010100100010101110100101100
LABIC - ICMC - USP São Carlos ISISTAN-2001LABIC - ICMC - USP São Carlos ISISTAN-2001 47
Características do Características do Aprendizado IndutivoAprendizado Indutivo
Qualquer que seja o tipo de Qualquer que seja o tipo de aprendizado, é necessário uma aprendizado, é necessário uma
linguagem para descrever objetos (ou linguagem para descrever objetos (ou possíveis eventos) e uma linguagem possíveis eventos) e uma linguagem
para descrever conceitos. Em geral, é para descrever conceitos. Em geral, é possível distinguir dois tipos de possível distinguir dois tipos de
descrições para objetos:descrições para objetos:
011010101010100100010101110100101100100101001001010011010101100111001101 011010101010100100010101110100101100
LABIC - ICMC - USP São Carlos ISISTAN-2001LABIC - ICMC - USP São Carlos ISISTAN-2001 48
1.Descrições estruturais: um objeto é descrito em termos de seus componentes e a relação entre eles
011010101010100100010101110100101100100101001001010011010101100111001101 011010101010100100010101110100101100
LABIC - ICMC - USP São Carlos ISISTAN-2001LABIC - ICMC - USP São Carlos ISISTAN-2001 49
Número de facesNúmero de faces Polígono da facePolígono da face
CuboCubo
66 quadradoquadrado
Número de facesNúmero de faces Polígono da facePolígono da face
PirâmidePirâmide
55 triângulotriângulo
2.Descrições de atributos: um objeto é descrito em termos de suas características globais como um vetor de valores de atributos
011010101010100100010101110100101100100101001001010011010101100111001101 011010101010100100010101110100101100
LABIC - ICMC - USP São Carlos ISISTAN-2001LABIC - ICMC - USP São Carlos ISISTAN-2001 50
SeSe Nublado Nublado ouou Chovendo Chovendo
entãoentão Levar_Guarda-Chuva Levar_Guarda-Chuva
Formalismos usados em Formalismos usados em AM para descrever AM para descrever
conceitosconceitos• regras se-então (if-then) para regras se-então (if-then) para
representar conceitosrepresentar conceitos
011010101010100100010101110100101100100101001001010011010101100111001101 011010101010100100010101110100101100
LABIC - ICMC - USP São Carlos ISISTAN-2001LABIC - ICMC - USP São Carlos ISISTAN-2001 51
Formalismos usados em Formalismos usados em AM para descrever AM para descrever
conceitosconceitos• árvores de decisão para representar árvores de decisão para representar
conceitosconceitos
• lógica de predicadoslógica de predicados
sorrisorri
inimigoinimigo
segurasegurainimigoinimigo
amigoamigonão
simespada
balão
filha(X, Y) <-- mulher(X), pais(X,Y).filha(X, Y) <-- mulher(X), pais(X,Y).
011010101010100100010101110100101100100101001001010011010101100111001101 011010101010100100010101110100101100
LABIC - ICMC - USP São Carlos ISISTAN-2001LABIC - ICMC - USP São Carlos ISISTAN-2001 53
2. Aprendizado Supervisionado: aprendizado por exemplos
1. Aprendizado Não Supervisionado: aprendizado por observação e descoberta.
??
??????
Aprendizado por InduçãoAprendizado por Indução
011010101010100100010101110100101100100101001001010011010101100111001101 011010101010100100010101110100101100
LABIC - ICMC - USP São Carlos ISISTAN-2001LABIC - ICMC - USP São Carlos ISISTAN-2001 54
Aprendizado Aprendizado SupervisionadoSupervisionado
Cada exemplo é expresso por Cada exemplo é expresso por um conjunto de featuresum conjunto de features
ExemplosExemplosClassificadorClassificador
ououPreditorPreditor
SistemaSistemadede
AprendizadoAprendizado
Caso a ser Caso a ser classificado: padrão classificado: padrão
de dadosde dadosClassificadorClassificador
Decisão da Classe Decisão da Classe Associada ao CasoAssociada ao Caso
011010101010100100010101110100101100100101001001010011010101100111001101 011010101010100100010101110100101100
LABIC - ICMC - USP São Carlos ISISTAN-2001LABIC - ICMC - USP São Carlos ISISTAN-2001 55
Aprendizado Aprendizado SupervisionadoSupervisionado
objetiva moldar a estrutura de classificaçãoobjetiva moldar a estrutura de classificação para um problema específico, encontrando para um problema específico, encontrando uma forma genérica de relatar um conceito.uma forma genérica de relatar um conceito.
ExemplosExemplosClassificadorClassificador
ououPreditorPreditor
SistemaSistemadede
AprendizadoAprendizado
011010101010100100010101110100101100100101001001010011010101100111001101 011010101010100100010101110100101100
LABIC - ICMC - USP São Carlos ISISTAN-2001LABIC - ICMC - USP São Carlos ISISTAN-2001 56
• hh vista como classificador vista como classificador
• hh vista como conjunto de regras vista como conjunto de regras
• hh vista como classificador vista como classificador
Conjunto deexemplos
Sistema deAprendizado h
hregra R 1regra R 2
...regra R i
regra R 1regra R 2
...regra R i
Conhecimento AdquiridoConhecimento Adquirido(Hipótese h)(Hipótese h)
011010101010100100010101110100101100100101001001010011010101100111001101 011010101010100100010101110100101100
LABIC - ICMC - USP São Carlos ISISTAN-2001LABIC - ICMC - USP São Carlos ISISTAN-2001 57
Aprendizado Indutivo de Aprendizado Indutivo de Conceitos - AICConceitos - AIC
DadosDados
== ++ - - conjunto de exemplos de conjunto de exemplos de treinamento de um conceitotreinamento de um conceito CC
encontrar uma hipóteseencontrar uma hipótese H H, expressa em uma , expressa em uma linguagem de descrição linguagem de descrição LL tal que: tal que:
• cada exemplo cada exemplo ee ++ é coberto por é coberto por H H
•nenhum exemplo negativo nenhum exemplo negativo ee -- é coberto é coberto por por HH
011010101010100100010101110100101100100101001001010011010101100111001101 011010101010100100010101110100101100
LABIC - ICMC - USP São Carlos ISISTAN-2001LABIC - ICMC - USP São Carlos ISISTAN-2001 58
cobrecobre((HH,,) = {) = {ee ++ | | cobrecobre((HH,,ee) = ) = truetrue}}
(instância positiva)(instância positiva)
cobrecobre((HH,,) = {) = {ee -- | | cobrecobre((HH,,ee) = ) = falsefalse}}
(instância negativa)(instância negativa)
Aprendizado Indutivo de Aprendizado Indutivo de Conceitos - AIC (Cont)Conceitos - AIC (Cont)
011010101010100100010101110100101100100101001001010011010101100111001101 011010101010100100010101110100101100
LABIC - ICMC - USP São Carlos ISISTAN-2001LABIC - ICMC - USP São Carlos ISISTAN-2001 59
Consistência e Completeza Consistência e Completeza de hde h
h inconsistente e incompleta.
h consistente e incompleta.h inconsistente e completa.
h consistente e completa.
+ +
+
+
++
++
--
-
--
+ +
+
+
++
++
--
-
--
+ +
+
+
++
++
--
-
--
+ +
+
+
++
++
--
-
-
011010101010100100010101110100101100100101001001010011010101100111001101 011010101010100100010101110100101100
LABIC - ICMC - USP São Carlos ISISTAN-2001LABIC - ICMC - USP São Carlos ISISTAN-2001 60
TópicosTópicos
• Inteligência e AprendizadoInteligência e Aprendizado• Engenharia de Conhecimento e SBCEngenharia de Conhecimento e SBC• Dado, Informação e ConhecimentoDado, Informação e Conhecimento• Aprendizado de MáquinaAprendizado de Máquina• AM usando Árvores de DecisãoAM usando Árvores de Decisão• KDD e Data MiningKDD e Data Mining
011010101010100100010101110100101100100101001001010011010101100111001101 011010101010100100010101110100101100
LABIC - ICMC - USP São Carlos ISISTAN-2001LABIC - ICMC - USP São Carlos ISISTAN-2001 61
Idade Renda Classe20 2000 Ruim30 5100 Bom60 5000 Ruim40 6000 Bom... ... ...
Dados sobre Crédito Dados sobre Crédito BancárioBancário
011010101010100100010101110100101100100101001001010011010101100111001101 011010101010100100010101110100101100
LABIC - ICMC - USP São Carlos ISISTAN-2001LABIC - ICMC - USP São Carlos ISISTAN-2001 62
Idade
Renda
Ruim
Bom
Árvore de DecisãoÁrvore de Decisão
011010101010100100010101110100101100100101001001010011010101100111001101 011010101010100100010101110100101100
LABIC - ICMC - USP São Carlos ISISTAN-2001LABIC - ICMC - USP São Carlos ISISTAN-2001 63
Árvore de DecisãoÁrvore de Decisão
Idade < 25
Sim Não
Idade
Renda
Ruim
Bom
011010101010100100010101110100101100100101001001010011010101100111001101 011010101010100100010101110100101100
LABIC - ICMC - USP São Carlos ISISTAN-2001LABIC - ICMC - USP São Carlos ISISTAN-2001 64
Árvore de DecisãoÁrvore de Decisão
Idade < 25
Sim Não
14 - Ruim0 - Bom
Idade
Renda
Ruim
Bom
011010101010100100010101110100101100100101001001010011010101100111001101 011010101010100100010101110100101100
LABIC - ICMC - USP São Carlos ISISTAN-2001LABIC - ICMC - USP São Carlos ISISTAN-2001 65
Árvore de DecisãoÁrvore de Decisão
Idade < 25
Sim Não
Ruim
Idade
Renda
Ruim
Bom
011010101010100100010101110100101100100101001001010011010101100111001101 011010101010100100010101110100101100
LABIC - ICMC - USP São Carlos ISISTAN-2001LABIC - ICMC - USP São Carlos ISISTAN-2001 66
Árvore de DecisãoÁrvore de Decisão
Idade < 25
Sim
29 - Ruim19 - Bom
Ruim
Não
Idade
Renda
Ruim
Bom
011010101010100100010101110100101100100101001001010011010101100111001101 011010101010100100010101110100101100
LABIC - ICMC - USP São Carlos ISISTAN-2001LABIC - ICMC - USP São Carlos ISISTAN-2001 67
Árvore de DecisãoÁrvore de Decisão
8 - Ruim0 - Bom
Renda > 1kRuim
Sim Não
Idade < 25
Sim Não
Idade
Renda
Ruim
Bom
011010101010100100010101110100101100100101001001010011010101100111001101 011010101010100100010101110100101100
LABIC - ICMC - USP São Carlos ISISTAN-2001LABIC - ICMC - USP São Carlos ISISTAN-2001 68
Árvore de DecisãoÁrvore de Decisão
Renda > 1kRuim
Sim Não
Idade < 25
Sim Não
Idade
Renda
Ruim
Ruim
Bom
011010101010100100010101110100101100100101001001010011010101100111001101 011010101010100100010101110100101100
LABIC - ICMC - USP São Carlos ISISTAN-2001LABIC - ICMC - USP São Carlos ISISTAN-2001 69
Árvore de DecisãoÁrvore de Decisão
Renda > 1kRuim
Sim Não
Idade < 25
Sim Não
Idade
Renda
RuimIdade > 45
Sim Não
Ruim
Bom
011010101010100100010101110100101100100101001001010011010101100111001101 011010101010100100010101110100101100
LABIC - ICMC - USP São Carlos ISISTAN-2001LABIC - ICMC - USP São Carlos ISISTAN-2001 70
Árvore de DecisãoÁrvore de Decisão
Renda > 1kRuim
Sim Não
Idade < 25
Sim Não
Idade
Renda
RuimIdade > 45
Sim Não15 - Ruim0 - Bom Ruim
Bom
011010101010100100010101110100101100100101001001010011010101100111001101 011010101010100100010101110100101100
LABIC - ICMC - USP São Carlos ISISTAN-2001LABIC - ICMC - USP São Carlos ISISTAN-2001 71
Árvore de DecisãoÁrvore de Decisão
Renda > 1kRuim
Sim Não
Idade < 25
Sim Não
Idade
Renda
RuimIdade > 45
Sim Não
Ruim Ruim
Bom
011010101010100100010101110100101100100101001001010011010101100111001101 011010101010100100010101110100101100
LABIC - ICMC - USP São Carlos ISISTAN-2001LABIC - ICMC - USP São Carlos ISISTAN-2001 72
Árvore de DecisãoÁrvore de Decisão
Renda > 1kRuim
Sim Não
Idade < 25
Sim Não
Idade
Renda
RuimIdade > 45
Sim Não
Ruim Renda > 5k
Sim Não
Ruim
Bom
011010101010100100010101110100101100100101001001010011010101100111001101 011010101010100100010101110100101100
LABIC - ICMC - USP São Carlos ISISTAN-2001LABIC - ICMC - USP São Carlos ISISTAN-2001 73
Árvore de DecisãoÁrvore de Decisão
Renda > 1kRuim
Sim Não
Idade < 25
Sim Não
Idade
Renda
RuimIdade > 45
Sim Não
Ruim Renda > 5k
Sim Não
5 - Ruim0 - Bom
Ruim
Bom
011010101010100100010101110100101100100101001001010011010101100111001101 011010101010100100010101110100101100
LABIC - ICMC - USP São Carlos ISISTAN-2001LABIC - ICMC - USP São Carlos ISISTAN-2001 74
Árvore de DecisãoÁrvore de Decisão
Renda > 1kRuim
Sim Não
Idade < 25
Sim Não
Idade
Renda
RuimIdade > 45
Sim Não
Ruim Renda > 5k
Sim Não
Ruim
Ruim
Bom
011010101010100100010101110100101100100101001001010011010101100111001101 011010101010100100010101110100101100
LABIC - ICMC - USP São Carlos ISISTAN-2001LABIC - ICMC - USP São Carlos ISISTAN-2001 75
Árvore de DecisãoÁrvore de Decisão
Renda > 1kRuim
Sim Não
Idade < 25
Sim Não
Idade
Renda
RuimIdade > 45
Sim Não
Ruim Renda > 5k
Sim
1 - Ruim19 - Bom
Ruim
Não
Ruim
Bom
011010101010100100010101110100101100100101001001010011010101100111001101 011010101010100100010101110100101100
LABIC - ICMC - USP São Carlos ISISTAN-2001LABIC - ICMC - USP São Carlos ISISTAN-2001 76
Árvore de DecisãoÁrvore de Decisão
Renda > 1kRuim
Sim Não
Idade < 25
Sim Não
Idade
Renda
RuimIdade > 45
Sim Não
Ruim Renda > 5k
Sim
Ruim
Não
Bom
Ruim
Bom
011010101010100100010101110100101100100101001001010011010101100111001101 011010101010100100010101110100101100
LABIC - ICMC - USP São Carlos ISISTAN-2001LABIC - ICMC - USP São Carlos ISISTAN-2001 77
ErroErro
011010101010100100010101110100101100100101001001010011010101100111001101 011010101010100100010101110100101100
LABIC - ICMC - USP São Carlos ISISTAN-2001LABIC - ICMC - USP São Carlos ISISTAN-2001 78
ErroErro
011010101010100100010101110100101100100101001001010011010101100111001101 011010101010100100010101110100101100
LABIC - ICMC - USP São Carlos ISISTAN-2001LABIC - ICMC - USP São Carlos ISISTAN-2001 79
ErroErro
• Principais fatores:Principais fatores:– Informação dos atributosInformação dos atributos– Adaptação do algoritmo de aprendizado Adaptação do algoritmo de aprendizado
aos dadosaos dados– Distribuição dos casos futurosDistribuição dos casos futuros– Quantidade de dadosQuantidade de dados
011010101010100100010101110100101100100101001001010011010101100111001101 011010101010100100010101110100101100
LABIC - ICMC - USP São Carlos ISISTAN-2001LABIC - ICMC - USP São Carlos ISISTAN-2001 80
Idade
Renda
Árvore de Decisão (H1)Árvore de Decisão (H1)
011010101010100100010101110100101100100101001001010011010101100111001101 011010101010100100010101110100101100
LABIC - ICMC - USP São Carlos ISISTAN-2001LABIC - ICMC - USP São Carlos ISISTAN-2001 81
Idade
Renda
...Outra Possível H2...Outra Possível H2
011010101010100100010101110100101100100101001001010011010101100111001101 011010101010100100010101110100101100
LABIC - ICMC - USP São Carlos ISISTAN-2001LABIC - ICMC - USP São Carlos ISISTAN-2001 82
Idade
Renda
...Outra Possível H3...Outra Possível H3
011010101010100100010101110100101100100101001001010011010101100111001101 011010101010100100010101110100101100
LABIC - ICMC - USP São Carlos ISISTAN-2001LABIC - ICMC - USP São Carlos ISISTAN-2001 83
Idade
Renda
...Outra Possível H4...Outra Possível H4
011010101010100100010101110100101100100101001001010011010101100111001101 011010101010100100010101110100101100
LABIC - ICMC - USP São Carlos ISISTAN-2001LABIC - ICMC - USP São Carlos ISISTAN-2001 84
Qual a Melhor H? Qual a Melhor H? Não Esquecer o Erro...Não Esquecer o Erro...
011010101010100100010101110100101100100101001001010011010101100111001101 011010101010100100010101110100101100
LABIC - ICMC - USP São Carlos ISISTAN-2001LABIC - ICMC - USP São Carlos ISISTAN-2001 85
Renda
Idade
H4...H4...
011010101010100100010101110100101100100101001001010011010101100111001101 011010101010100100010101110100101100
LABIC - ICMC - USP São Carlos ISISTAN-2001LABIC - ICMC - USP São Carlos ISISTAN-2001 86
Renda
Idade
Conjunto de Teste
Erro de H4Erro de H4
011010101010100100010101110100101100100101001001010011010101100111001101 011010101010100100010101110100101100
LABIC - ICMC - USP São Carlos ISISTAN-2001LABIC - ICMC - USP São Carlos ISISTAN-2001 87
Erro de H1Erro de H1
Renda
Idade
Conjunto de Teste
011010101010100100010101110100101100100101001001010011010101100111001101 011010101010100100010101110100101100
LABIC - ICMC - USP São Carlos ISISTAN-2001LABIC - ICMC - USP São Carlos ISISTAN-2001 88
IMPORTANTEIMPORTANTE
• Todo algoritmo indutivo tem um biasTodo algoritmo indutivo tem um bias
• Desempenho de um algoritmo varia Desempenho de um algoritmo varia com o domíniocom o domínio
• Análise Experimental é FundamentalAnálise Experimental é Fundamental
011010101010100100010101110100101100100101001001010011010101100111001101 011010101010100100010101110100101100
LABIC - ICMC - USP São Carlos ISISTAN-2001LABIC - ICMC - USP São Carlos ISISTAN-2001 89
TópicosTópicos
• Inteligência e AprendizadoInteligência e Aprendizado• Engenharia de Conhecimento e SBCEngenharia de Conhecimento e SBC• Dado, Informação e ConhecimentoDado, Informação e Conhecimento• Aprendizado de MáquinaAprendizado de Máquina• AM usando Árvores de DecisãoAM usando Árvores de Decisão• KDD e Data MiningKDD e Data Mining
011010101010100100010101110100101100100101001001010011010101100111001101 011010101010100100010101110100101100
LABIC - ICMC - USP São Carlos ISISTAN-2001LABIC - ICMC - USP São Carlos ISISTAN-2001 90
Data MiningData Mining
• Avanço da tecnologia permitiu o Avanço da tecnologia permitiu o armazenamento de coleções enormes armazenamento de coleções enormes de dadosde dados
Extração de Conhecimentode Bases de Dados
011010101010100100010101110100101100100101001001010011010101100111001101 011010101010100100010101110100101100
LABIC - ICMC - USP São Carlos ISISTAN-2001LABIC - ICMC - USP São Carlos ISISTAN-2001 91
Processo de KDDProcesso de KDD
CONHECIMENTO
PADRÕES
DADOTRANSFORMADO
DADOANALISADO
DADOPROCESSADO
TRANSFORMAÇÃO
PRÉ-PROCESSAMENTO
SELEÇÃO
DATA MINING
INTERPRETAÇÃO & AVALIAÇÃO
DADO
C
011010101010100100010101110100101100100101001001010011010101100111001101 011010101010100100010101110100101100
LABIC - ICMC - USP São Carlos ISISTAN-2001LABIC - ICMC - USP São Carlos ISISTAN-2001 92
DM x AMDM x AM
Data Mining
MuitosExemplos
MuitosAtributos
AprendizadoAprendizadode Máquinade Máquina
PoucosExemplos
PoucosAtributos
AM geralmente (mas não sempre) trabalha com pequena quantidade
de dados, mas relevantes
011010101010100100010101110100101100100101001001010011010101100111001101 011010101010100100010101110100101100
LABIC - ICMC - USP São Carlos ISISTAN-2001LABIC - ICMC - USP São Carlos ISISTAN-2001 93
DM x AMDM x AM
Data Mining
MuitosExemplos
MuitosAtributos
AprendizadoAprendizadode Máquinade Máquina
PoucosExemplos
PoucosAtributos
DM trabalha com grandes bases de dados reais, sendo aeficiência muito importante
011010101010100100010101110100101100100101001001010011010101100111001101 011010101010100100010101110100101100
LABIC - ICMC - USP São Carlos ISISTAN-2001LABIC - ICMC - USP São Carlos ISISTAN-2001 94
Considerações FinaisConsiderações Finais
• Pessoas diferentes vêem IA de uma Pessoas diferentes vêem IA de uma maneira diferente. Duas importantes maneira diferente. Duas importantes questões são: questões são: – Você está interessado em pensamento ou Você está interessado em pensamento ou
comportamento? comportamento? – Você deseja modelar seres humanos ou Você deseja modelar seres humanos ou
trabalhar a partir de um padrão ideal?trabalhar a partir de um padrão ideal?
011010101010100100010101110100101100100101001001010011010101100111001101 011010101010100100010101110100101100
LABIC - ICMC - USP São Carlos ISISTAN-2001LABIC - ICMC - USP São Carlos ISISTAN-2001 95
““Se o cérebro [humano] fosse tão Se o cérebro [humano] fosse tão simples que pudéssemos simples que pudéssemos
compreendê-lo, nós seríamos tão compreendê-lo, nós seríamos tão simples que não o conseguiríamos.”simples que não o conseguiríamos.”
011010101010100100010101110100101100100101001001010011010101100111001101 011010101010100100010101110100101100
LABIC - ICMC - USP São Carlos ISISTAN-2001LABIC - ICMC - USP São Carlos ISISTAN-2001 96
Este material encontra-se Este material encontra-se disponível no disponível no sitesite do LABIC: do LABIC:
http://labic.icmc.sc.usp.br/portugues/courses.htm
Profa. Dra. Maria Carolina [email protected]
Design e Programação Visual:Marcos Roberto Geromini
LABIC - ICMC - USP São Carlos