Upload
lyhanh
View
216
Download
0
Embed Size (px)
Citation preview
Agentes Antropomórficos 2
Sumário1. Visão
2. Aplicações
3. Expressão Corporal
4. Expressão Facial
5. Expressão Vocal
6. Expressão Emocional
7. Controlo de Expressão
Agentes Antropomórficos 3
1.Visão→ Visão
2. Aplicações
3. Expressão Corporal
4. Expressão Facial
5. Expressão Vocal
6. Expressão Emocional
7. Controlo de Expressão
Agentes Antropomórficos 4
1. Visão
“Após milhões de anos sujeitos às forças de selecção natural, os humanos são confrontados com uma séria competição pela sua posição dominadora na escada da evolução — e o adversário iniciou a sua evolução apenas há umas décadas.
Alguns afirmam que tudo o que nós conseguimos fazer, 'humanos virtuais' fazem melhor. ”
• Agentes antropomórficos procuram capturar a riqueza e dinamismo do comportamento humano
• Pretende-se, agora, modelar a razão, inteligência emocional, inteligênciasocial, processos fisiológicos, processos cognitivos e expressão.
Agentes Antropomórficos 5
1.1 Quais os Desafios?• A construção de um agente antropomórfico é um desafio multidisciplinar
[GRA02]– Computação Gráfica fornece técnicas para modelar e animar corpos
– Ciências Sociais fornecem modelos para o comportamento humano
– Inteligência Artificial aplica e estende, no meio digital, os modelos de comportamento humano
• Um objectivo central é a simulação de expressão multimodal– Expressão de pensamento, emoções, valores, individualidade, criatividade
– Expressão corporal, facial e vocal
– Sincronizada e integrada, como nos humanos
Agentes Antropomórficos 6
2. Aplicações1. Visão
→ Aplicações
3. Expressão Corporal
4. Expressão Facial
5. Expressão Vocal
6. Expressão Emocional
7. Controlo de Expressão
Agentes Antropomórficos 7
2.1 Agentes de Interface• “A melhor metáfora que consigo conceber para
interfaces Homem-Máquina é a de um mordomo inglês bem treinado.” [Neg97]
• “Antropomorfismo sem restrições no desenho de interfaces Homem-Máquina é tanto natural como apropriado” [Lau97]
• “A taxa de crescimento das interfaces interactivas [operações de menu e outras escolhas de interface adicionadas por ano] é insustentável. (...) Agentes de interface introduzem uma escapatória para este dilema.” [Lie97]
Agentes Antropomórficos 8
2.2 Exploração de Teorias Sociais• Simulação de modelos das ciências sociais em agentes antropomórficos
• Possibilita condições de experimentação favoráveis devido ao relativo baixo custo e precisão no controlo das variáveis
• Permite, através da formalização computacional, identificar as fronteiras das teorias
• Exemplo: Fear Not! [PVA05]– FearNot! é um sistema pedagógico desenvolvido para explorar o fenómeno de bullying
nas escolas
Agentes Antropomórficos 9
2.3 Agentes pedagógicos• Agentes pedagógicos com carácter podem desempenhar papel motivador
• Estudos desenvolvidos por Lester [LCK97] demonstram que agentes pedagógicos com carácter podem ter um forte efeito positivo na aprendizagem dos alunos – o efeito persona
• O efeito persona é válido mesmo para agentes pouco expressivos ou muito diferentes dos Humanos
Agentes Antropomórficos 10
2.4 Agentes com Emoções• Agentes com inteligência emocional, capazes de sintetizar e expressar emoções utilizando
gesto, face e voz
• Agentes com emoções são ortogonais a outras áreas de aplicação:– Agentes de interface: Mediação da interacção pelos estados emocionais do utilizador [Pic97]
– Agentes pedagógicos: Feedback afectivo é importante no processo de aprendizagem
– Entretenimento: Afectividade aumenta credibilidade das personagens
• Vídeo: The Sims 2
Agentes Antropomórficos 12
3 Expressão Corporal1. Visão
2. Aplicações
→ Expressão Corporal
4. Expressão Facial
5. Expressão Vocal
6. Expressão Emocional
7. Controlo de Expressão
Agentes Antropomórficos 13
3.1 Arquitecturas em CamadasCamada de Geometria:
• Define um esqueleto hierárquico, usualmente baseado nos humanos
• Uma norma é o H-Anim [Han]
• Pode definir camadas para músculos e tecido adiposo
Camada de Animação:
• Mecanismos de animação do corpo
• Animação por keyframes, procedimental e de gesticulação
Camada de Comportamento:
• Suporta controlo de alto nível da expressão multimodal
• Define interface com a mente
Agentes Antropomórficos 14
3.2 Animação Determinística• Animação baseada em sequências de poses do esqueleto humano
exaustivamente definidas por (artistas) humanos
• Animação de Keyframes– Poses chave definidas por animadores
– Poses intermédias interpoladas pelo computador
– Vídeo: humanos virtuais
• Captura de Imagem– Animação corresponde à captura do movimento de um actor
– Vídeo: Gollum
Agentes Antropomórficos 15
3.3 Animação Não Determinística• Animação procedimental, independente de humanos, baseada em
técnicas de robótica
• Cinemática inversa: Animam-se as extremidades e o modelo gera a animação do resto do corpo
Vídeo: Dança Matemática
• Velocidade inversa: Animam-se as extremidades com base em velocidades cartesianas e angulares
• Dinâmica: Simulação de forças que causam movimento. Gera movimento realista do ponto de vista físico
Agentes Antropomórficos 16
3.4 Animação de Gesticulação (1/2)• Gestos variam entre voluntários, orientados a objectivos, e involuntários,
inconscientes
• Entre estes extremos existe a classe dos gestos comunicativos [McN00]– Emblemas – gestos culturalmente específicos
– Língua de Sinais - linguagens de comunicação expressas através de gestos visíveis da mão
– Gesticulação - tipo de gesto idiossincrático, inconsciente e não convencional que os humanos fazem em narrativa ou conversação
– Vídeo: Gesticulação de um contador de histórias
Involuntários Voluntários
Emocionais DecepçãoSedução PoderSala de
Aulas
Comunicativos
Agentes Antropomórficos 17
3.4 Animação de Gesticulação (2/2)• Acredita-se que gesticulação e discurso tem origem no mesmo processo
mental [McN92][McN05]
• Verifica-se sincronização semântica e pragmática entre discurso e gesto
• Existem várias dimensões de gesticulação– Icónico – refere-se a aspectos da acção ou evento descrito
– Metáfora – refere-se a aspectos de um conceito abstracto
– Deíctico - Localizam no espaço físico em frente ao narrador entidades do discurso
– Ritmo – movimentos tipo batuta que não variam de forma com o discurso. Servem funções pragmáticas
• Gesticulação pode ser animada como sequência no tempo de restrições estáticas e dinâmicas– Parâmetros estáticos incluem forma, posição e orientação da mão
– Parâmetros dinâmicos referem-se à interpolação dos parâmetros estáticos
– Vídeo: Animação de gesticulação por restrições
Agentes Antropomórficos 18
4 Expressão Facial1. Visão
2. Aplicações
3. Expressão Corporal
→ Expressão Facial
5. Expressão Vocal
6. Expressão Emocional
7. Controlo de Expressão
Agentes Antropomórficos 19
4.1 Modelos iniciais• Trabalho pioneiro de Parke [Par72] introduziu modelação baseada em
polígonos e animação por keyframes
• A imensa variedade de expressões faciais conduziu a modelos paramétricos [Par74]– Parâmetros de expressão e personalização controlam subconjuntos da
geometria facial
Agentes Antropomórficos 20
4.2 Modelos Musculares e Físicos• As limitações de modelos paramétricos
ad-hoc conduziram a modelos musculares paramétricos [PB81][MPT88][Wat87]
• Controlo na maioria dos modelos musculares é baseado no FACS
• [TW90] propuseram ainda um modelo físico hierárquico– Modelo de molas para a pele que
suporta deformações realistas
• Vídeo: Modelo muscular
Agentes Antropomórficos 21
4.3 FACS (1/2)• Desenvolvido por Paul Ekman, Wallace V. Friesen e Joseph C. Hager
• Objectivo principal: – Desenvolvimento de um sistema compreensivo capaz de distinguir todos os
movimentos faciais visualmente distinguíveis
• FACS é baseado na anatomia Humana
• FACS descreve toda a actividade facial visível com base em 44 Unidades de Acção distinguíveis, tal como várias categorias de movimentos da cabeça e dos olhos
• FACSAID mapeia expressões faciais em emoções
Referência: [EFH02]
Agentes Antropomórficos 24
4.5 Discurso Visual• Os humanos utilizam pistas visuais para perceber discurso [KN99]
• Assim, vários modelos de sincronização labial foram desenvolvidos
– Mapeiam visemas em parâmetros do modelo
– Actualmente, este mapeamento consegue-se fazer em tempo-real e automaticamente
• Um bom modelo deve considerar efeitos de coarticulação, i.e., a influência de visemas precedentes e sucessores [CM93]
• Vídeo: Sincronização labial
Agentes Antropomórficos 25
5 Expressão Vocal1. Visão
2. Aplicações
3. Expressão Corporal
4. Expressão Facial
→ Expressão Vocal
6. Expressão Emocional
7. Controlo de Expressão
Agentes Antropomórficos 26
5 Expressão Vocal (1/2)• Sintetizador de voz é um sistema computacional capaz de ler alto qualquer texto
• Baseado nos humanos, é composto por módulos:– Processamento de Linguagem Natural – que produz uma transcrição fonética do texto com
prosódia
– Processamento do Sinal Digital – que converte a transcrição fonética em som
• Existem dois tipos de sistemas [Sch01] : baseado em regras e concatenativos
• Sistema baseado em regras– Não são utilizadas gravações de voz em tempo de execução
– Voz resultante não tão boa quanto outras técnicas – tipo robot
– Flexível na variação dos parâmetros
Agentes Antropomórficos 27
5 Expressão Vocal (2/2)• Sistema concatenativo
– Gravações de um locutor humano são concatenadas de modo a gerar a voz sintética
– Gravações efectuadas com um pitch monótono e deformadas em tempo de execução
– Configuração de parâmetros limitada
– Produz resultados mais naturais
• Expressão de emoções– Regras prosódicas globais
– Áudio: Robert Frost
Agentes Antropomórficos 28
6 Expressão Emocional1. Visão
2. Aplicações
3. Expressão Corporal
4. Expressão Facial
5. Expressão Vocal
→ Expressão Emocional
7. Controlo de Expressão
Agentes Antropomórficos 29
6.1 Expressão de Emoções• Vimos que é possível expressar emoções através da face, voz e gesto
• Contudo, no meio digital a expressão de emoções não tem de estar limitada ao corpo
• De facto, olhando para as artes, é fácil perceber que a expressão de emoções não está limitada ao corpo [Say07]
• Por exemplo:– No teatro recorre-se não só à expressão dramática e texto, como a cenários,
iluminação, som e música para contar a história
– Na pintura recorre-se a cores, linhas e formas para expressar emoções
– Na dança utilizam-se formas e movimentos do corpo para expressar
• Ora, no meio digital todas estas formas de expressão podem ser simuladas
Agentes Antropomórficos 30
6.1 Meio Digital e Emoções (1/2)• Para além do corpo, o meio digital
suporta a expressão de emoções através de quatro canais: câmara, luzes, som e ecrã
• O canal cinematográfico reflecte as emoções nos planos de câmara, transições, composição e propriedades das lentes [Arijon76]
• O canal da iluminação reflecte as emoções nos seguintes parâmetros: tipo, posicionamento e ângulo das luzes; sombras; e cor [Birn00]
• O canal da música selecciona música e sons apropriados de acordo com as emoções prevalecentes [Juslin01]
• Vídeo: Expressão pelo ambiente
Agentes Antropomórficos 31
6.1 Meio Digital e Emoções (2/2)• O canal do ecrã interpreta, ao meta nível, o agente antropomórfico como um
conjunto de píxeis no ecrã. A expressão resulta, analogamente à pintura, da manipulação das propriedades dos píxeis [Say07]
• Duas técnicas relevantes são: filtragem e composição por camadas
• Filtragem consiste em renderizar para uma textura temporária, manipular os píxeiscom shaders, e renderizar para o backbuffer
• Composição por camadas consiste em: distribuir por camadas os vários aspectos da cena – componentes difusa, especular e ambiente das luzes, sombras, etc.; manipular as camadas; e, finalmente, combinar as camadas para a imagem final
Agentes Antropomórficos 32
7 Controlo de Expressão1. Visão
2. Aplicações
3. Expressão Corporal
4. Expressão Facial
5. Expressão Vocal
6. Expressão Emocional
→ Controlo de Expressão
Agentes Antropomórficos 33
7.1 Controlo de Expressão (1/2)• O problema do controlo da expressão multimodal conduziu a várias linguagens de
alto nível [AKM03]. E.g.: [VHML], [SMIL], MURML [KKW02] e o EML [MP06]
• Recentemente, um esforço emergiu para a criação de uma norma para controlo de expressão multimodal – a plataforma SAIBA
• Nesta, distinguem-se três componentes: – Intent planning, onde se define a intenção comunicativa
– Behavior planning, onde se planeia a expressão multimodal da intenção comunicativa
– Behavior realization, que executa o plano de expressão multimodal
• Entre estas componentes, são definidas linguagens markup:– FML, que define a intenção comunicativa sem qualquer referência à manifestação física
– BML, que define a realização da expressão multimodal
Agentes Antropomórficos 35
Conclusões• Agentes antropomórficos procuram capturar a riqueza e dinamismo do
comportamento humano, introduzindo novas possibilidades no meio digital
• Central a este esforço é a simulação de expressão multimodal
• Expressão corporal, baseia-se numa arquitectura em camadas que define um esqueleto que é animado por vários mecanismos de animação
• Expressão facial, baseia-se em modelos pseudo-musculares da face que são controlados para expressão de emoções e sincronização labial
• Expressão vocal, consiste na síntese de voz baseada em regras ou concatenação e na manipulação de parâmetros para conferir emoções
• Adicionalmente, no meio digital, a expressão não precisa de estar limitada ao corpo e é possível explorar as possibilidades das luzes, câmara, som e píxeis para conferir emoções
• Finalmente, o controlo de expressão multimodal baseia-se em linguagens markup integradas e sincronizadas que definem a interface com a mente.
Agentes Antropomórficos 37
Referências (1/3)• [AKM03] - Arafa Y, Kamyab K, Mamdani E. Character Animation Scripting Languages: A
Comparison. In Proceedings of the International Conference on Autonomous Agents 2003, Melbourne, Australia, 2003
• [Arijon76] - Arijon, D.; Grammar of the Film Language; Silman-James Press; 1976
• [Birn00] - Birn, J.; [digital] Lighting & Rendering; New Riders; 2000
• [CM93] - Cohen M, Massaro D. Modeling Coarticulation in Synthetic Visual Speech in N. Magnenat-Thalmann, D. Thalmann (eds.), Models and Techniques in Computer Animation, Springer-Verlag, 1993
• [EFH02] - Ekman P, Friesen W, Hager J. Facial Action Coding System Investigator’s Guide, Consulting Psychologists Press, 2002
• [GRA02] - Gratch J, Rickel J, Andre E, Badler N, Cassell J, Petajan E. Creating Interactive Virtual Humans: Some Assembly Required. In IEEE Intelligent Systems, 17(4):54-63, 2002
• [Han] - H-Anim. H-Anim homepage, http://www.h-anim.org
• [Juslin01] - Juslin, P.; Sloboda, J.; Music and Emotion: theory and research; Oxford UniversityPress; 2001
• [KKW02] - Kranstedt A, Kopp S, Wachsmuth I. MURML: A Multimodal Utterance Representation Markup Language for Conversational Agents. In AAMAS’02 Workshop Embodied conversational agents-let’s specify and evaluate them!, Bologna, Italy, 2002
Agentes Antropomórficos 38
Referências (2/3)• [KN99] - Kühnert B, Nolan F, The origin of coarticulation in W. Hardcastle, N. Hewlett (eds.),
Coarticulation: Theory, Data and Techniques, Cambridge University Press, 1999
• [KKM06] – Kopp S, Krenn B, Marsella S, Marshall A, Pelachaud C, Pirker H, Thórisson K, Vilhjálmsson H – Towards a Common Framework for Multimodal Generation: The BehaviourMarkup Language
• [Lau97] - Laurel B. Interface Agents: Metaphors with Characters. In J. Bradshaw (ed.), An Introduction to Software Agents, The MIT Press, 1997
• [Lie97] – Lieberman H. Autonomous Interface Agents. In Proceedings of the ACM Conference on Computers and Human Interface, CHI-97, 1997
• [MPT88] - Magnenat-Thalmann N, Primeau E, Thalmann D. Abstract muscle actions procedures for human face animation. In Visual Computer, 3(5):290–297, 1988
• [McN92] - McNeill D. Hand and Mind: What gestures reveal about thought, University of Chicago Press, 1992
• [McN00] – McNeill D. Language and Gesture, Cambrige University Press; 2000
• [McN05] – McNeill D. Gesture and Thought, University of Chicago Press, 2005
• [MP06] – de Melo C, Paiva A. Multimodal Expression in Virtual Humans. In Proceedings of CASA 2006 and Computer Animation and Virtual Worlds Journal, John Wiley, 2006
Agentes Antropomórficos 39
Referências (3/3)• [Par72] – Parke F. Computer generated animation of faces. In Proceedings of SIGGRAPH 1972,
pp.451-457, 1972
• [Par74] – Parke F. A Parametric Model for Human Faces, PhD thesis, University of Utah, Salt Lake City, 1974
• [PB81] - Platt S, Badler N. Animating Facial Expressions. In Proceedings of SIGGRAPH 1981, pp.245–252, 1981
• [PVA05] - Paiva, A., Dias, J., Vala, M., Aylett, R., Louchart, S.: FearNot! - An Experiment in Emergent Narrative. In Proceedings of IVA 2005, Springer (2005) 305-316
• [Say07] - Sayre, H.: A World of Art. 5th edn. Prentice Hall, 2007
• [Sch01] – Schroder M. Emotional Speech Synthesis: A Review, 2001
• [SMIL] – SMIL. SMIL: Synchronized Multimedia, http://www.w3.org/AudioVideo/
• [TW90] - Terzopoulos D, Waters K. Physically-based Facial Modeling, Analysis and Animation. In Journal of Visualization and Computer Animation, 1(2):73-80, 1990
• [VHML] – VHML. VHML – Virtual Human Markup Language, www.vhml.org/
• [Wat87] - Waters K. A muscle model for animating three-dimensional facial expression. In Proceedings of the 14th Annual Conference on Computer Graphics and interactive Techniques, pp.17-24, and SIGGRAPH 1987, New York, NY: ACM Press, 1987