Objetivos del Proyecto DIME Sistemas Conversacionales enturing.iimas.unam.mx/~luis/DIME/presentaciones/pres-proy-DIME/DIME... · artificial, reconocimiento de patrones y lenguajes

1

El Proyecto DIME, DCC-IIMAS, UNAM 2006

Dr. Luis A. Pineda

IIMAS, UNAM, México

Mayo, 2006

Sistemas Conversacionales en Sistemas Conversacionales en

Español Hablado: Español Hablado: Una reflexión desde el proyecto DIMEUna reflexión desde el proyecto DIME


Objetivos del Proyecto DIMEObjetivos del Proyecto DIME

� Construcción de sistemas conversacionales

– En español hablado

– Multimodales (e.g. Interfaz gráfica, robots

móviles)

� Basados en la definición de Modelos de diálogos

� Base empírica:

– Fonética & prosodia

– Inf. léxica, sintáctica & semántica

– Inf. pragmática


ContenidoContenido

�Modelos de diálogos

�El estado del arte...

�El Corpus DIME

�El esquema DIME-DAMSL

�Predicción de actos del habla

�Reconocimiento de voz

�Participantes


ContenidoContenido



�El Corpus DIME

�El esquema DIME-DAMLS



�Participantes


Modelos de diálogosModelos de diálogos

� La situación conversacional

– Estado informacional

– Orientada hacia una modalidad

– Conjunto de intenciones específicas

– Conjunto de actos del habla que expresan

dichas intenciones

– Conjunto de acciones lingüísticas (actos

retóricos) o motoras que las satisfacen


Situación conversacionalSituación conversacional

sisi-1 si+1

SpAct:RhtAct SpAct:RhtAct

En cada situación sólo un pequeño conjunto

de intenciones es relevante

2



sisi-1 si+1


Input SpAct



sisi-1 si+1


RhtAct


El modelo básicoEl modelo básico

� Modelo de la conversación:

– Conjunto de modelos de diálogos

� Modelo de diálogo:

– Conjunto de situaciones

– Relaciones entre situaciones: pares acto

del habla y acto retórico

� Especificación declarativa a partir del

análisis de la tarea


MD = Sistema IntérpreteMD = Sistema Intérprete

Modelos de diálogo

(Exp. Reg.)

Intérprete

Acto

del

Habla

Acto

Retórico

Red de transición aumentada


Generación (acción)Generación (acción)

Actos retóricos básicos

(Específicos a la modalidad)

IntérpreteActo

Retórico

Texto

(acción)


Okey, vamos a inteligencia artificial

El robot se desplaza a IA

Esta es el área de inteligencia artificial; podemos

hacer la visita por personal académico, ara o

proyectos

¿Cómo quieres hacer la visita?

Confirmación

Acto motor

Introducción

Opción- abierta- como

s5

Inteligenciau4

El departamento tiene las áreas de inteligencia

artificial, reconocimiento de patrones y lenguajes

de programación

¿Qué área quieres vistar?

Introducción

Opción- abierta- que

s3

Si, por favoru2

Bienvenido

Este es el departamento de ciencias de la

computación

¿Quieres una visita guiada?

Saludo

Presentación

Oferta- S/N

s1

TextoActo RetóricoPart.turno

Platicando con Golem!

3


Okeyu10

En inteligencia artificial se desarrollan los

proyectos DIME y GOLEM

Las tareas principales son la creación de

prototipos con manejadores de diálogos

inteligentes con entrada y salida hablada en

español, y visión por computadora

Terminamos con proyectos de inteligencia

artificial

¿Quieres seguir visitando inteligencia artificial?

Presentación

Elaboración

Notificación

Opción- s/n

s9

Por proyectosu8

Perdón... No te entendí!

¿Podrías repetirlo?

Error

Solicitud- repetición

s7

Por proysu6




Terminamos con inteligencia artificial

Gracias por visitar inteligencia artificial

¿Quieres seguir visitando el departamento?

Notificación

Agradecimiento

Opción- s/n

s15

nou14

En inteligencia artificial se investiga en sistemas

multimodales inteligentes, gramáticas

computacionales del español, razonamiento

gráfico y creatividad

Y también visión por computadora

Terminamos con área de inteligencia artificial

¿Quieres seguir visitando inteligencia artificial?

Presentación

Elaboración

Notificación

Opción- s/n

s13

Por áreasu12

Inteligencia artificial tiene personal académico y

áreas

Cómo quieres visitar inteligencia artificial

Introducción

Opción- abierta- como

s11




Gracias por el departamento de ciencias de la

computación

Hasta luego

Agradecimiento

Despedida

s17

No, graciasu16





ContenidoContenido



�El Corpus DIME

�El esquema DIME-DAMSL



�Participantes


El proyecto PLOWEl proyecto PLOW

(James (James AllenAllen & & LucianLucian

GalescuGalescu))

4


Tipos de Modelos de DiálogoTipos de Modelos de Diálogo

� Proposicional:

– Intenciones concretas

– Interpretación de actos del habla: Claves léxicas &

modelos del lenguaje (e.g. Estocásticos y/o

expresiones Regulares)

� Predicativos:

– Intenciones específicadas dinámicamente

– La interpretación de actos del habla depende del

discurso (historia) y del contexto (indexical)


Modelos de diálogos Modelos de diálogos

predicativospredicativos

si

SpAct(H,C):RhtAct(H,C)

f(H,C)


ContenidoContenido



�El Corpus DIME




�Participantes


Interfaz gráficaInterfaz gráfica

Home Designer


Corpus DIMECorpus DIME

� 15 sujetos

� 26 diálogos útiles

� 880 palabras por diálogo

� 185 elocuciones

� 115 turnos

� 14 minutos

� 1120 palabras (tipos)


Alófonos (T54)

D12, utt3: u: ¿Puedes mover la estufa hacia la izquierda?

5


Sílabas fonéticas


Palabras (ortográfica)


Break indices de ToBI


Part of Speech (P.O.S.)


BTM

LH

L UH

D H

L

H

D12, utt3: u: ¿Puedes mover la estufa hacia la izquierda?

Etiquetación prosódica con INTSINT


ContenidoContenido



�El Corpus DIME




�Participantes

6


DIMEDIME--DAMSLDAMSL

�DIME:

– Diálogos Inteligentes Multimodales en

Español

�DAMLS:

– Dialog Act Markup in Several Layers

– Se asume que los actos del habla son

independientes del contexto de la

transacción!


Estructura del diálogoEstructura del diálogo

�Los diálogos se modelan como una

secuencia de transacciones

�Cada transacción involucra dos planos:

– Obligaciones conversacionales

– Conocimiento compartido “Common

ground”:

�Acuerdo

�Entendimiento


Estructura de la transacciónEstructura de la transacción

�Especificación de la intención:

– Usuario expresa intención

– Sistema interpreta intención

�Satisfacción de la intención:

– Sistema proporciona información o

realiza acción

– Sistema solicita confirmación

– Usuario confirma y acepta acción


Balance de obligacionesBalance de obligaciones� Especificación de intención principal (usuario)

– Crea una obligación (cargo)

� Interpretación de la intención (sistema)

– Transacciones de interpretación (pueden ser varias)

– Compromiso (cargo)

� Acción principal (sistema):

– Acción multimodal (crédito, crédito)

– Solicitud de confirmación (cargo)

� Interpretación de la acción (usuario)

– Multimodal interpretation (visual)

– Action confirmation (cargo)






– Compromiso (cargo)


– Acción multimodal (crédito, crédito)




– Action confirmation (cargo)


Balance de acuerdoBalance de acuerdo� Especificación de acción principal (sujeto)


� Intention interpretation (sistema)

– Interpretation transactions (pueden ser muchas)

– Se debe aceptar (crédito)

� Main information or action act (sistema):

– Multimodal action (cargo)

– Request action confirmation (cargo)

� Action interpretation (sujeto):


– Action acceptance (crédito)

7






– Se debe aceptar (crédito)


– Acción multimodal (cargo)




– Action confirmation (crédito)


La estructura básicaLa estructura básica� Intención principa (usaurio)

– utt25 : después <sil> me puedes poner <sil> [e]l el extractor de aire encima de la <sil> de la estufa


– utt26 : s: okey

� Satisfacción de la intención (sistema):

– utt27 : s: realiza acción

así está bien ?

� Interpretación de la acción (usuario):


– utt28 : u: sí

– utt29 : así está bien


La estructura básicaLa estructura básica� Intención principal (usuario)

– utt25 : después <sil> me puedes poner <sil> [e]l el (cargo)extractor de aire encima de la <sil> de la estufa


– utt26 : s: okey (cargo)


– utt27 : s: realiza acción (crédito, crédito)

así está bien ? (cargo)



– utt28 : u: sí

– utt29 : así está bien (crédito)


DIMEDIME--DAMLS DAMLS tagstags� Intención principal (usuario)

– utt25 : después <sil> me puedes poner <sil> [e]l el

extractor de aire encima de la <sil> de la estufa (dir-accion)

� Interpretación de intención (sistema)

– utt26 : s: okey (compromiso)


– utt27 : <ruido> <no-vocal> (mueve-obj)

así está bien ? (sol-inf)



– utt28 : u: sí

– utt29 : así está bien (resp)


Estructura de acuerdoEstructura de acuerdo� Intención principal (usuario)


extractor de aire encima de la <sil> de la estufa (cargo)


– utt26 : s: okey (crédito)


– utt27 : <ruido> <no-vocal> (cargo)

así está bien ? (cargo)

� Action interpretation (subject):


– utt28 : u: sí

– utt29 : así está bien (crédito (2))El Proyecto DIME, DCC-IIMAS, UNAM 2006

DIMEDIME--DAMSL DAMSL tagstags� Intención principal (sujeto)


extractor de aire encima de la <sil> de la estufa

� Intention interpretation (sistema)

– utt26 : s: okey (acepta 25)


– utt27 : <ruido> <no-vocal> (afirm)

así está bien ?

� Action interpretation (subject):

– Interpretación multimodal (visual)

– utt28 : u: sí

– utt29 : así está bien (acepta 27, afirm)

8


DIMEDIME--DAMSL DAMSL tagstags (obligaciones)(obligaciones)

resp 56ahí está bien58

siu57

mueve-obj

sol-inf<s performs action> ahí está bien ? 56

compromisookeys55

resp 53arriba del frigobaru54

sol-infdónde quieres que la ponga ?53

okeys52

resp 49ésta51

siu50

sol-inf<no-vocal> en la pared de la izquierda ? s49

dir-accionme puedes mover la <sil> la alacena que está <sil> en la

pared de la izquierda hacia arriba del refrigerador ?u48


DIMEDIME--DAMLS DAMLS tagstags (acuerdo)(acuerdo)

afirm/acepta 56ahí está bien58

siu57

afirm<ruido> (s performs action) ahí está bien ? 56

acepta 48okeys55

afirmarriba del frigobaru54

espera 48dónde quieres que la ponga ?53

ackokeys52

afirmésta51

siu50

espera 48<no-vocal> en la pared de la izquierda ? s49

me puedes mover la <sil> la alacena que está <sil> en la



DIMEDIME--DAMSLDAMSL

�DIME-DAMLS

– Conversación: secuencia de transacciones

– Estructura de la transacción

�Especificación de la intención

�Satisfacción de la intención

– Balance en los planos de obligaciones y

acuerdo

– Muy metida: Varinia Estrada


ContenidoContenido



�El Corpus DIME



�Sistema de reconocimiento de voz

�Participantes


DIMEDIME--DAMSL DAMSL tagstags (obligaciones)(obligaciones)

resp 56ahí está bien58

siu57

mueve-obj

sol-inf<s performs action> ahí está bien ? 56

compromisookeys55

resp 53arriba del frigobaru54

sol-infdónde quieres que la ponga ?53

okeys52

resp 49ésta51

siu50

sol-inf<no-vocal> en la pared de la izquierda ? s49

dir-accionme puedes mover la <sil> la alacena que está <sil> en la



DIMEDIME--DAMLS DAMLS tagstags (acuerdo)(acuerdo)

afirm/acepta 56ahí está bien58

siu57

afirm<ruido> (s performs action) ahí está bien ? 56

acepta 48okeys55

afirmarriba del frigobaru54

espera 48dónde quieres que la ponga ?53

ackokeys52

afirmésta51

siu50

espera 48<no-vocal> en la pared de la izquierda ? s49

me puedes mover la <sil> la alacena que está <sil> en la


9


¿Cómo identificamos el acto del habla?

si


f(H,C)

Input SpAct


Predicción de actos del hablaPredicción de actos del habla

� Construcción de árboles de decisión

� Predictores:

– Tonos (INTSINT)

– Duraciones (diferentes unidades)

– Fronteras entre unidades (Break Indices)

� Objetivo (Target):

– Etiquetas DIME-DAMSL

� Herramientas: CART-Style (J4)

� Tesis doctoral: Sergio Coria


Modelos de diálogosModelos de diálogos

� Especificación de situaciones:

– Tipos de actos del habla

– Información léxica (parseo superficial)

– La semántica está dada por los roles y funciones

(atributos y valores) de la situación en la que se

realiza la interpretación

si


f(H,C)

Input SpAct


Sistemas conversacionales Sistemas conversacionales

predicativospredicativos

�Definición modelos básicos

�Aprendizaje

� Interpretación


ContenidoContenido



�El Corpus DIME




�Participantes


Reconocimiento de vozReconocimiento de voz

�Es indispensable contar con tecnología de

reconocimiento de voz:

– Abierta

– Adaptable

�Uso de herramientas tecnológicas de punta

�Creación de recursos lingüísticos para cada

lengua

10


Reconocimiento de voz en el Reconocimiento de voz en el

proyecto DIMEproyecto DIME

�El Corpus DIMEx100

– Creación de modelos acústicos

– Creación de diccionarios de pronunciación

– Creación de modelos de lenguaje

�El sistema Sphinx

– Entrenamiento

– Decodificación

– Validación


Corpus DIMEx100Corpus DIMEx100

�Estructura:

– 100 hablantes

– 5,010 frases diferentes

–50 específicas por hablantes

–10 comunes a los 100 hablantes

– 6,000 *.wav archivos

�Coordinación y control de calidad:

– Hayde Castellanos


Niveles de Niveles de TranscripciónTranscripción

� T22: Fonémas básicos del español (México)

� T44:

– T22

– Cierres de oclusivas y africadas sordas

– Aproximantes

– Acentos y paravocales

– Codas silábicas neutralizantes

� T56: T44 + otros alófonos comunes

� Basados en la definición de Mexbet de Javier Cuétara


T54T54


T44


T22

11


El Reconocedor para el El Reconocedor para el

español de México español de México

deldel

Proyecto DIMEProyecto DIME


ContenidoContenido



�El Corpus DIME




�Participantes


ParticipantesParticipantes� Coordinador: Luis Pineda

� Participantes:

– Hayde Castellanos, Sergio Coria, VariniaEstrada, Fernanda López, Ivonne López, Isabel López, Iván Moreno, Patricia Pérez Pavón

� Colaboradores UNAM:

– Javier Cuétara, Carlos Rodríguez

� Colaboradores externos:

– James Allen, Joaquím Llisterri, Montserrat Riera, Ivan Meza, Lucian Galescu, Luis Villaseñor

� Financiamiento: NSF/CONACyT 39380-UEl Proyecto DIME, DCC-IIMAS, UNAM 2006

Muchas gracias!Muchas gracias!

Documents

Objetivos del Proyecto DIME Sistemas Conversacionales enturing.iimas.unam.mx/~luis/DIME/presentaciones/pres-proy-DIME/DIME... · artificial, reconocimiento de patrones y lenguajes