View
3
Download
0
Category
Preview:
Citation preview
1
El Proyecto DIME, DCC-IIMAS, UNAM 2006
Luis Pineda
IIMAS, UNAM, México
Octubre, 2005
DIMEDIME--II: Diálogos Inteligentes II: Diálogos Inteligentes
Multimodales en EspañolMultimodales en Español
El Proyecto DIME, DCC-IIMAS, UNAM 2006
ObjetivoObjetivo
� Construcción de sistemas conversacionales
– En español hablado
– Multimodales (e.g. Interfaz gráfica, robots
móviles)
� Modelos de dialógos
� Base empírica:
– Fonética & prosodia
– Inf. léxica, sintáctica & semántica
– Inf. pragmática
El Proyecto DIME, DCC-IIMAS, UNAM 2006
El proyecto DIMEEl proyecto DIME
�Modelos de diálogos
�El Corpus DIME
�El esquema DIME-DAMSL
�Predicción de actos del habla
�El Corpus DIMEx100
�Otros objetivos
�Participantes
El Proyecto DIME, DCC-IIMAS, UNAM 2006
El proyecto DIMEEl proyecto DIME
�Modelos de diálogos
�El Corpus DIME
�El esquema DIME-DAMLS
�Predicción de actos del habla
�El Corpus DIMEx100
�Otros objetivos
�Participantes
El Proyecto DIME, DCC-IIMAS, UNAM 2006
Modelos de diálogosModelos de diálogos
� La situación conversacional
– Estado informacional
– Orientada hacia una modalidad
– Conjunto de intenciones específicas
– Conjunto de actos del habla que expresan
dichas intenciones
– Conjunto de acciones lingüísticas (actos
retóricos) o motoras que las satisfacen
El Proyecto DIME, DCC-IIMAS, UNAM 2006
Situación conversacionalSituación conversacional
sisi-1 si+1
SpAct:RhtAct SpAct:RhtAct
En cada situación sólo un pequeño conjunto
de intenciones es relevante
2
El Proyecto DIME, DCC-IIMAS, UNAM 2006
Situación conversacionalSituación conversacional
sisi-1 si+1
SpAct:RhtAct SpAct:RhtAct
Input SpAct
El Proyecto DIME, DCC-IIMAS, UNAM 2006
Situación conversacionalSituación conversacional
sisi-1 si+1
SpAct:RhtAct SpAct:RhtAct
RhtAct
El Proyecto DIME, DCC-IIMAS, UNAM 2006
El modelo básicoEl modelo básico
� Modelo de la conversación:
– Conjunto de modelos de diálogos
� Modelo de diálogo:
– Conjunto de situaciones
– Conjunto de actos retóricos
� Especificación declarativa a partir del
análisis de la tarea
El Proyecto DIME, DCC-IIMAS, UNAM 2006
MD = Sistema IntérpreteMD = Sistema Intérprete
Modelos de diálogo
(Exp. Reg.)
Intérprete
Acto
del
Habla
Acto
Retórico
Red de transición aumentada
El Proyecto DIME, DCC-IIMAS, UNAM 2006
Generación (acción)Generación (acción)
Actos retóricos básicos
(Específicos a la modalidad)
IntérpreteActo
Retórico
Texto
(acción)
El Proyecto DIME, DCC-IIMAS, UNAM 2006
Okey, vamos a inteligencia artificial
El robot se desplaza a IA
Esta es el área de inteligencia artificial; podemos
hacer la visita por personal académico, ara o
proyectos
¿Cómo quieres hacer la visita?
Confirmación
Acto motor
Introducción
Opción- abierta-
como
s5
Inteligenciau4
El departamento tiene las áreas de inteligencia
artificial, reconocimiento de patrones y lenguajes de
programación
¿Qué área quieres vistar?
Introducción
Opción- abierta- que
s3
Si, por favoru2
Bienvenido
Este es el departamento de ciencias de la
computación
¿Quieres una visita guiada?
Saludo
Presentación
Oferta- S/N
s1
TextoActo RetóricoPart.turno
Platicando con Golem!
3
El Proyecto DIME, DCC-IIMAS, UNAM 2006
Okeyu10
En inteligencia artificial se desarrollan los
proyectos DIME y GOLEM
Las tareas principales son la creación de
prototipos con manejadores de diálogos
inteligentes con entrada y salida hablada en
español, y visión por computadora
Terminamos con proyectos de inteligencia
artificial
¿Quieres seguir visitando inteligencia artificial?
Presentación
Elaboración
Notificación
Opción- s/n
s9
Por proyectosu8
Perdón... No te entendí!
¿Podrías repetirlo?
Error
Solicitud- repetición
s7
Por proysu6
TextoActo RetóricoPart.turno
Platicando con Golem!
El Proyecto DIME, DCC-IIMAS, UNAM 2006
Terminamos con inteligencia artificial
Gracias por visitar inteligencia artificial
¿Quieres seguir visitando el departamento?
Notificación
Agradecimiento
Opción- s/n
s15
nou14
En inteligencia artificial se investiga en sistemas
multimodales inteligentes, gramáticas
computacionales del español, razonamiento
gráfico y creatividad
Y también visión por computadora
Terminamos con área de inteligencia artificial
¿Quieres seguir visitando inteligencia artificial?
Presentación
Elaboración
Notificación
Opción- s/n
s13
Por áreasu12
Inteligencia artificial tiene personal académico y
áreas
Cómo quieres visitar inteligencia artificial
Introducción
Opción- abierta- como
s11
TextoActo RetóricoPart.turno
Platicando con Golem!
El Proyecto DIME, DCC-IIMAS, UNAM 2006
Gracias por el departamento de ciencias de la
computación
Hasta luego
Agradecimiento
Despedida
s17
No, graciasu16
TextoActo RetóricoPart.turno
Platicando con Golem!
El Proyecto DIME, DCC-IIMAS, UNAM 2006
El Proyecto DIME, DCC-IIMAS, UNAM 2006
El proyecto TRIPSEl proyecto TRIPS
(James (James AllenAllen))
El Proyecto DIME, DCC-IIMAS, UNAM 2006
Tipos de Modelos de DiálogoTipos de Modelos de Diálogo
� Proposicional:
– Intenciones concretas
– Interpretación de actos del habla: Claves léxicas &
modelos del lenguaje (e.g. Expresiones Regulares)
� Predicativos:
– Intenciones específicadas paramétricamente
– Interpretación de actos del habla: Claves léxicas,
modelos de lenguaje + entonación
4
El Proyecto DIME, DCC-IIMAS, UNAM 2006
Especificación FuncionalEspecificación Funcional
si
SpAct(H,C):RhtAct(H,C)
f(H,C)
El Proyecto DIME, DCC-IIMAS, UNAM 2006
El proyecto DIMEEl proyecto DIME
�Modelos de diálogos
�El Corpus DIME
�El esquema DIME-DAMLS
�Predicción de actos del habla
�El Corpus DIMEx100
�Otros objetivos
�Participantes
El Proyecto DIME, DCC-IIMAS, UNAM 2006
Interfaz gráficaInterfaz gráfica
Home Designer El Proyecto DIME, DCC-IIMAS, UNAM 2006
Corpus DIMECorpus DIME
� 15 sujetos
� 26 diálogos útiles
� 880 palabras por diálogo
� 185 elocuciones
� 115 turnos
� 14 minutos
� 1120 palabras (tipos)
El Proyecto DIME, DCC-IIMAS, UNAM 2006
Alófonos (T54)
D12, utt3: u: ¿Puedes mover la estufa hacia la izquierda?El Proyecto DIME, DCC-IIMAS, UNAM 2006
Sílabas fonéticas
5
El Proyecto DIME, DCC-IIMAS, UNAM 2006
Palabras (ortográfica)
El Proyecto DIME, DCC-IIMAS, UNAM 2006
Break indices de ToBI
El Proyecto DIME, DCC-IIMAS, UNAM 2006Part of Speech (P.O.S.)
El Proyecto DIME, DCC-IIMAS, UNAM 2006
BTM
LH
L UH
D H
L
H
D12, utt3: u: ¿Puedes mover la estufa hacia la izquierda?
Etiquetación prosódica con INTSINT
El Proyecto DIME, DCC-IIMAS, UNAM 2006
El proyecto DIMEEl proyecto DIME
�Modelos de diálogos
�El Corpus DIME
�El esquema DIME-DAMLS
�Predicción de actos del habla
�El Corpus DIMEx100
�Otros objetivos
�Participantes
El Proyecto DIME, DCC-IIMAS, UNAM 2006
DIMEDIME--DAMSLDAMSL
�DIME:
– Diálogos Inteligentes Multimodales en
Español
�DAMLS:
– Dialog Act Markup in Several Layers
– Se asume que los actos del habla son
independientes del contexto de la
transacción!
6
El Proyecto DIME, DCC-IIMAS, UNAM 2006
DimensionesDimensiones
� Estado de la comunicación
� Nivel de información
� Funciones hacia adelante
� Funciones hacia atrás
� Información multimodal (DIME)
El Proyecto DIME, DCC-IIMAS, UNAM 2006
DIMEDIME--DAMSL DAMSL tagtag setset & & formatformatutt-X = [ edo-com = {uninterp | mono | abandonada},
niv-inf = {tarea | admin-tarea | admin-com | lista-niveles | otros},
func-adelante = [ dec = {afirm | reafirm | otra},
sol-inf = {preg-s/n | preg-pro | preg-imp},
influ-acc-fut-esc = {dir-accion | opcion-abierta},
comp-acc-fut-hab = {oferta | compromiso},
conv = {abre, cierra},
performativo = {gracias | perdon | accion-perf},
exclama,
otra
],
func-atras = [ acuerdo =
[ref-ant, {acepta | acepta-parte | quiza | parte |
espera | rechaza | rechaza-parte}],
ent = [ref-ant, {SNE | ack | back-channel | repeticion | comp |
correccion}],
resp = {ref-ant | lista-ref-ant}
],
mod = [graf = {apt-obj | apt-zona | apt-trayect | apt-objs-coord |
mueve-obj | agrega-obj | quita-obj | plan-graf | visual}]
].
El Proyecto DIME, DCC-IIMAS, UNAM 2006
Estructura del diálogoEstructura del diálogo
�Los diálogos se modelan como una
secuencia de transacciones
�Cada transacción involucra dos planos:
– Obligaciones conversacionales
– Acuerdo entre interlocutores
El Proyecto DIME, DCC-IIMAS, UNAM 2006
Estructura de la transacciónEstructura de la transacción
�Especificación de la intención:
– Usuario expresa intención
– Sistema interpreta intención
�Satisfacción de la intención:
– Sistema proporciona información o
realiza acción
– Sistema solicita confirmación
– Usuario confirma y acepta acción
El Proyecto DIME, DCC-IIMAS, UNAM 2006
Balance de obligacionesBalance de obligaciones� Especificación de intención principal (usuario)
– Crea una obligación (cargo)
� Interpretación de la intención (sistema)
– Transacciones de interpretación (pueden ser varias)
– Compromiso (cargo)
� Acción principal (sistema):
– Acción multimodal (credito, credito)
– Solicitud de confirmación (cargo)
� Interpretación de la acción (usuario)
– Multimodal interpretation (visual)
– Action confirmation (cargo)
El Proyecto DIME, DCC-IIMAS, UNAM 2006
Balance de obligacionesBalance de obligaciones� Especificación de intención principal (usuario)
– Crea una obligación (cargo)
� Interpretación de la intención (sistema)
– Transacciones de interpretación (pueden ser varias)
– Compromiso (cargo)
� Acción principal (sistema):
– Acción multimodal (credito, credito)
– Solicitud de confirmación (cargo)
� Interpretación de la acción (usuario)
– Multimodal interpretation (visual)
– Action confirmation (cargo)
7
El Proyecto DIME, DCC-IIMAS, UNAM 2006
Balance de acuerdoBalance de acuerdo� Especificación de acción principal (subject)
– Crea una obligación (cargo)
� Intention interpretation (wizard)
– Interpretation transactions (may be many)
– Se debe aceptar (credito)
� Main information or action act (wizard):
– Multimodal action (cargo)
– Request action confirmation (cargo)
� Action interpretation (subject):
– Multimodal interpretation (visual)
– Action acceptance (credito)
El Proyecto DIME, DCC-IIMAS, UNAM 2006
Balance de obligacionesBalance de obligaciones� Especificación de intención principal (usuario)
– Crea una obligación (cargo)
� Interpretación de la intención (sistema)
– Transacciones de interpretación (pueden ser varias)
– Se debe aceptar (credito)
� Acción principal (sistema):
– Acción multimodal (cargo)
– Solicitud de confirmación (cargo)
� Interpretación de la acción (usuario)
– Multimodal interpretation (visual)
– Action confirmation (credito)
El Proyecto DIME, DCC-IIMAS, UNAM 2006
La estructura básicaLa estructura básica� Intención principa (usaurio)
– utt25 : después <sil> me puedes poner <sil> [e]l el extractor de aire encima de la <sil> de la estufa
� Interpretación de la intención (sistema)
– utt26 : s: okey
� Satisfacción de la intención (sistema):
– utt27 : s: realiza acción
así está bien ?
� Interpretación de la acción (usuario):
– Multimodal interpretation (visual)
– utt28 : u: sí
– utt29 : así está bien
El Proyecto DIME, DCC-IIMAS, UNAM 2006
La estructura básicaLa estructura básica� Intención principal (usaurio)
– utt25 : después <sil> me puedes poner <sil> [e]l el (cargo)extractor de aire encima de la <sil> de la estufa
� Interpretación de la intención (sistema)
– utt26 : s: okey (cargo)
� Satisfacción de la intención (sistema):
– utt27 : s: realiza acción (credito, credito)
así está bien ? (cargo)
� Interpretación de la acción (usuario):
– Multimodal interpretation (visual)
– utt28 : u: sí
– utt29 : así está bien (credito)
El Proyecto DIME, DCC-IIMAS, UNAM 2006
DIMEDIME--DAMLS DAMLS tagstags� Intención principal (usuario)
– utt25 : después <sil> me puedes poner <sil> [e]l el
extractor de aire encima de la <sil> de la estufa (dir-accion)
� Interpretación de intención (sistema)
– utt26 : s: okey (compromiso)
� Satisfacción de la intención (sistema):
– utt27 : <ruido> <no-vocal> (mueve-obj)
así está bien ? (sol-inf)
� Interpretación de la acción (usuario):
– Multimodal interpretation (visual)
– utt28 : u: sí
– utt29 : así está bien (resp)El Proyecto DIME, DCC-IIMAS, UNAM 2006
Estructura de acuerdoEstructura de acuerdo� Intención principal (usuario)
– utt25 : después <sil> me puedes poner <sil> [e]l el
extractor de aire encima de la <sil> de la estufa (cargo)
� Interpretación de la intención (sistema)
– utt26 : s: okey (credito)
� Satisfacción de la intención (sistema):
– utt27 : <ruido> <no-vocal> (cargo)
así está bien ? (cargo)
� Action interpretation (subject):
– Multimodal interpretation (visual)
– utt28 : u: sí
– utt29 : así está bien (credito (2))
8
El Proyecto DIME, DCC-IIMAS, UNAM 2006
DIMEDIME--DAMSL DAMSL tagstags� Main intention (subject)
– utt25 : después <sil> me puedes poner <sil> [e]l el
extractor de aire encima de la <sil> de la estufa
� Intention interpretation (wizard)
– utt26 : s: okey (acepta 25)
� Action act (wizard):
– utt27 : <ruido> <no-vocal> (afirm)
así está bien ?
� Action interpretation (subject):
– Multimodal interpretation (visual)
– utt28 : u: sí
– utt29 : así está bien (acepta 27, afirm)El Proyecto DIME, DCC-IIMAS, UNAM 2006
DIMEDIME--DAMSL DAMSL tagstags (obligaciones)(obligaciones)
resp 56ahí está bien58
siu57
mueve-obj
sol-inf<s performs action> ahí está bien ? 56
compromisookeys55
resp 53arriba del frigobaru54
sol-infdónde quieres que la ponga ?53
okeys52
resp 49ésta51
siu50
sol-inf<no-vocal> en la pared de la izquierda ? s49
dir-accionme puedes mover la <sil> la alacena que está <sil> en la
pared de la izquierda hacia arriba del refrigerador ?u48
El Proyecto DIME, DCC-IIMAS, UNAM 2006
DIMEDIME--DAMLS DAMLS tagstags (acuerdo)(acuerdo)
afirm/acepta 56ahí está bien58
siu57
afirm<ruido> (s performs action) ahí está bien ? 56
acepta 48okeys55
afirmarriba del frigobaru54
espera 48dónde quieres que la ponga ?53
acepta-parte 48okeys52
afirmésta51
siu50
espera 48<no-vocal> en la pared de la izquierda ? s49
me puedes mover la <sil> la alacena que está <sil> en la
pared de la izquierda hacia arriba del refrigerador ?u48
El Proyecto DIME, DCC-IIMAS, UNAM 2006
Acuerdo entre Acuerdo entre etiquetadoresetiquetadores
�Etiquetas:
– Fronteras de transacciones
– Etiquetas DIME-DAMSL
�Factores de Acuerdo entre etiquetadores
– Cálculo automático de los coeficientes
kappa
El Proyecto DIME, DCC-IIMAS, UNAM 2006
DIMEDIME--DAMSLDAMSL
�DIME-DAMLS
– Estructura de la transacción
– Balance en los planos de obligaciones y
acuerdo
– Marcadores del discurso delimitan las
transacciones (cohesión y alcance)
– Se pueden representar con modelos de
diálogos del tipo predicativo?
El Proyecto DIME, DCC-IIMAS, UNAM 2006
El proyecto DIMEEl proyecto DIME
�Modelos de diálogos
�El Corpus DIME
�El esquema DIME-DAMLS
�Predicción de actos del habla
�El Corpus DIMEx100
�Otros objetivos
�Participantes
9
El Proyecto DIME, DCC-IIMAS, UNAM 2006
¿Cómo identificamos el acto del habla?
si
SpAct(H,C):RhtAct(H,C)
f(H,C)
Input SpAct
El Proyecto DIME, DCC-IIMAS, UNAM 2006
Predicción de actos del hablaPredicción de actos del habla
�Construcción de árboles de decisión
�Predictores:
– Tonos (INTSINT)
– Duraciones (diferentes unidades)
– Fronteras entre unidades (Break Indices)
�Objetivo (Target):
– Etiquetas DIME-DAMSL
�Herramientas: CART-Style (J4)
El Proyecto DIME, DCC-IIMAS, UNAM 2006
Modelos de diálogosModelos de diálogos
� Especificación de situaciones
– Tipos de actos del habla
– Información léxica (parseo superficial)
si
SpAct(H,C):RhtAct(H,C)
f(H,C)
Input SpAct
El Proyecto DIME, DCC-IIMAS, UNAM 2006
El proyecto DIMEEl proyecto DIME
�Modelos de diálogos
�El Corpus DIME
�El esquema DIME-DAMLS
�Predicción de actos del habla
�El Corpus DIMEx100
�Otros objetivos
�Participantes
El Proyecto DIME, DCC-IIMAS, UNAM 2006
Corpus DIMEx100Corpus DIMEx100
�Propósito:
– Creación de modelos acústicos
– Diccionarios de pronunciación
�Estructura:
– 100 hablantes
– 5,010 frases diferentes
–50 específicas por hablantes
–10 comunes a los 100 hablantes
– 6,000 *.wav archivos El Proyecto DIME, DCC-IIMAS, UNAM 2006
Niveles de Niveles de TranscripciónTranscripción
� T22: Fonémas básicos del español (México)
� T44:
– T22
– Cierres de oclusivas y africadas sordas
– Aproximantes
– Acentos y paravocales
– Codas silábicas neutralizantes
� T56: T44 + otros alófonos comunes
10
El Proyecto DIME, DCC-IIMAS, UNAM 2006
T54T54
El Proyecto DIME, DCC-IIMAS, UNAM 2006
T44
El Proyecto DIME, DCC-IIMAS, UNAM 2006
T22El Proyecto DIME, DCC-IIMAS, UNAM 2006
El proyecto DIMEEl proyecto DIME
�Modelos de diálogos
�El Corpus DIME
�El esquema DIME-DAMLS
�Predicción de actos del habla
�El Corpus DIMEx100
�Otros objetivos
�Participantes
El Proyecto DIME, DCC-IIMAS, UNAM 2006
Otros objetivos de DIMEOtros objetivos de DIME
�Detección y reparación de actos del habla
�Análisis de la entonación bajo el esquema
ToBI
El Proyecto DIME, DCC-IIMAS, UNAM 2006
El proyecto DIMEEl proyecto DIME
�Modelos de diálogos
�El Corpus DIME
�El esquema DIME-DAMLS
�Predicción de actos del habla
�El Corpus DIMEx100
�Otros proyectos
�Participantes
11
El Proyecto DIME, DCC-IIMAS, UNAM 2006
ParticipantesParticipantes� Coordinador: Luis Pineda
� Participantes:
– Hayde Castellanos, Sergio Coria, VariniaEstrada, Fernanda López, Ivonne López, Isabel López, Iván Moreno, Patricia Pérez
� Colaboradores UNAM:
– Javier Cuétara, Carlos Rodríguez
� Colaboradores externos:
– James Allen, Joaquím Llisterri, Montserrat Riera, Ivan Meza, Lucian Galescu, Luis Villaseñor
� Financiamiento: NSF/CONACyT 39380-UEl Proyecto DIME, DCC-IIMAS, UNAM 2006
Muchas gracias!Muchas gracias!
Recommended