Objetivos del Proyecto DIME Sistemas Conversacionales...

El Proyecto DIME, DCC-IIMAS, UNAM 2006

Dr. Luis A. Pineda

IIMAS, UNAM, México

Mayo, 2006

Sistemas Conversacionales en Sistemas Conversacionales en

Español Hablado: Español Hablado: Una reflexión desde el proyecto DIMEUna reflexión desde el proyecto DIME

Objetivos del Proyecto DIMEObjetivos del Proyecto DIME

� Construcción de sistemas conversacionales

– En español hablado

– Multimodales (e.g. Interfaz gráfica, robots

móviles)

� Basados en la definición de Modelos de diálogos

� Base empírica:

– Fonética & prosodia

– Inf. léxica, sintáctica & semántica

– Inf. pragmática

ContenidoContenido

�Modelos de diálogos

�El estado del arte...

�El Corpus DIME

�El esquema DIME-DAMSL

�Predicción de actos del habla

�Reconocimiento de voz

�Participantes

ContenidoContenido

�El Corpus DIME

�El esquema DIME-DAMLS

�Participantes

Modelos de diálogosModelos de diálogos

� La situación conversacional

– Estado informacional

– Orientada hacia una modalidad

– Conjunto de intenciones específicas

– Conjunto de actos del habla que expresan

dichas intenciones

– Conjunto de acciones lingüísticas (actos

retóricos) o motoras que las satisfacen

Situación conversacionalSituación conversacional

sisi-1 si+1

SpAct:RhtAct SpAct:RhtAct

En cada situación sólo un pequeño conjunto

de intenciones es relevante

sisi-1 si+1

Input SpAct

sisi-1 si+1

RhtAct

El modelo básicoEl modelo básico

� Modelo de la conversación:

– Conjunto de modelos de diálogos

� Modelo de diálogo:

– Conjunto de situaciones

– Relaciones entre situaciones: pares acto

del habla y acto retórico

� Especificación declarativa a partir del

análisis de la tarea

MD = Sistema IntérpreteMD = Sistema Intérprete

Modelos de diálogo

(Exp. Reg.)

Intérprete

Retórico

Red de transición aumentada

Generación (acción)Generación (acción)

Actos retóricos básicos

(Específicos a la modalidad)

IntérpreteActo

Retórico

(acción)

Okey, vamos a inteligencia artificial

El robot se desplaza a IA

Esta es el área de inteligencia artificial; podemos

hacer la visita por personal académico, ara o

proyectos

¿Cómo quieres hacer la visita?

Confirmación

Acto motor

Introducción

Opción- abierta- como

Inteligenciau4

El departamento tiene las áreas de inteligencia

artificial, reconocimiento de patrones y lenguajes

de programación

¿Qué área quieres vistar?

Introducción

Opción- abierta- que

Si, por favoru2

Bienvenido

Este es el departamento de ciencias de la

computación

¿Quieres una visita guiada?

Saludo

Presentación

Oferta- S/N

TextoActo RetóricoPart.turno

Platicando con Golem!

Okeyu10

En inteligencia artificial se desarrollan los

proyectos DIME y GOLEM

Las tareas principales son la creación de

prototipos con manejadores de diálogos

inteligentes con entrada y salida hablada en

español, y visión por computadora

Terminamos con proyectos de inteligencia

artificial

¿Quieres seguir visitando inteligencia artificial?

Presentación

Elaboración

Notificación

Opción- s/n

Por proyectosu8

Perdón... No te entendí!

¿Podrías repetirlo?

Solicitud- repetición

Por proysu6

Terminamos con inteligencia artificial

Gracias por visitar inteligencia artificial

¿Quieres seguir visitando el departamento?

Notificación

Agradecimiento

Opción- s/n

En inteligencia artificial se investiga en sistemas

multimodales inteligentes, gramáticas

computacionales del español, razonamiento

gráfico y creatividad

Y también visión por computadora

Terminamos con área de inteligencia artificial

¿Quieres seguir visitando inteligencia artificial?

Presentación

Elaboración

Notificación

Opción- s/n

Por áreasu12

Inteligencia artificial tiene personal académico y

áreas

Cómo quieres visitar inteligencia artificial

Introducción

Opción- abierta- como

Gracias por el departamento de ciencias de la

computación

Hasta luego

Agradecimiento

Despedida

No, graciasu16

ContenidoContenido

�El Corpus DIME

�El esquema DIME-DAMSL

�Participantes

El proyecto PLOWEl proyecto PLOW

(James (James AllenAllen & & LucianLucian

GalescuGalescu))

Tipos de Modelos de DiálogoTipos de Modelos de Diálogo

� Proposicional:

– Intenciones concretas

– Interpretación de actos del habla: Claves léxicas &

modelos del lenguaje (e.g. Estocásticos y/o

expresiones Regulares)

� Predicativos:

– Intenciones específicadas dinámicamente

– La interpretación de actos del habla depende del

discurso (historia) y del contexto (indexical)

Modelos de diálogos Modelos de diálogos

predicativospredicativos

SpAct(H,C):RhtAct(H,C)

f(H,C)

ContenidoContenido

�El Corpus DIME

�Participantes

Interfaz gráficaInterfaz gráfica

Home Designer

Corpus DIMECorpus DIME

� 15 sujetos

� 26 diálogos útiles

� 880 palabras por diálogo

� 185 elocuciones

� 115 turnos

� 14 minutos

� 1120 palabras (tipos)

Alófonos (T54)

D12, utt3: u: ¿Puedes mover la estufa hacia la izquierda?

Sílabas fonéticas

Palabras (ortográfica)

Break indices de ToBI

Part of Speech (P.O.S.)

D12, utt3: u: ¿Puedes mover la estufa hacia la izquierda?

Etiquetación prosódica con INTSINT

ContenidoContenido

�El Corpus DIME

�Participantes

DIMEDIME--DAMSLDAMSL

�DIME:

– Diálogos Inteligentes Multimodales en

Español

�DAMLS:

– Dialog Act Markup in Several Layers

– Se asume que los actos del habla son

independientes del contexto de la

transacción!

Estructura del diálogoEstructura del diálogo

�Los diálogos se modelan como una

secuencia de transacciones

�Cada transacción involucra dos planos:

– Obligaciones conversacionales

– Conocimiento compartido “Common

ground”:

�Acuerdo

�Entendimiento

Estructura de la transacciónEstructura de la transacción

�Especificación de la intención:

– Usuario expresa intención

– Sistema interpreta intención

�Satisfacción de la intención:

– Sistema proporciona información o

realiza acción

– Sistema solicita confirmación

– Usuario confirma y acepta acción

Balance de obligacionesBalance de obligaciones� Especificación de intención principal (usuario)

– Crea una obligación (cargo)

� Interpretación de la intención (sistema)

– Transacciones de interpretación (pueden ser varias)

– Compromiso (cargo)

� Acción principal (sistema):

– Acción multimodal (crédito, crédito)

– Solicitud de confirmación (cargo)

� Interpretación de la acción (usuario)

– Multimodal interpretation (visual)

– Action confirmation (cargo)

– Compromiso (cargo)

– Acción multimodal (crédito, crédito)

– Action confirmation (cargo)

Balance de acuerdoBalance de acuerdo� Especificación de acción principal (sujeto)

� Intention interpretation (sistema)

– Interpretation transactions (pueden ser muchas)

– Se debe aceptar (crédito)

� Main information or action act (sistema):

– Multimodal action (cargo)

– Request action confirmation (cargo)

� Action interpretation (sujeto):

– Action acceptance (crédito)

– Se debe aceptar (crédito)

– Acción multimodal (cargo)

– Action confirmation (crédito)

La estructura básicaLa estructura básica� Intención principa (usaurio)

– utt25 : después <sil> me puedes poner <sil> [e]l el extractor de aire encima de la <sil> de la estufa

– utt26 : s: okey

� Satisfacción de la intención (sistema):

– utt27 : s: realiza acción

así está bien ?

� Interpretación de la acción (usuario):

– utt28 : u: sí

– utt29 : así está bien

La estructura básicaLa estructura básica� Intención principal (usuario)

– utt25 : después <sil> me puedes poner <sil> [e]l el (cargo)extractor de aire encima de la <sil> de la estufa

– utt26 : s: okey (cargo)

– utt27 : s: realiza acción (crédito, crédito)

así está bien ? (cargo)

– utt28 : u: sí

– utt29 : así está bien (crédito)

DIMEDIME--DAMLS DAMLS tagstags� Intención principal (usuario)

– utt25 : después <sil> me puedes poner <sil> [e]l el

extractor de aire encima de la <sil> de la estufa (dir-accion)

� Interpretación de intención (sistema)

– utt26 : s: okey (compromiso)

– utt27 : <ruido> <no-vocal> (mueve-obj)

así está bien ? (sol-inf)

– utt28 : u: sí

– utt29 : así está bien (resp)

Estructura de acuerdoEstructura de acuerdo� Intención principal (usuario)

extractor de aire encima de la <sil> de la estufa (cargo)

– utt26 : s: okey (crédito)

– utt27 : <ruido> <no-vocal> (cargo)

así está bien ? (cargo)

� Action interpretation (subject):

– utt28 : u: sí

– utt29 : así está bien (crédito (2))El Proyecto DIME, DCC-IIMAS, UNAM 2006

DIMEDIME--DAMSL DAMSL tagstags� Intención principal (sujeto)

extractor de aire encima de la <sil> de la estufa

� Intention interpretation (sistema)

– utt26 : s: okey (acepta 25)

– utt27 : <ruido> <no-vocal> (afirm)

así está bien ?

� Action interpretation (subject):

– Interpretación multimodal (visual)

– utt28 : u: sí

– utt29 : así está bien (acepta 27, afirm)

DIMEDIME--DAMSL DAMSL tagstags (obligaciones)(obligaciones)

resp 56ahí está bien58

mueve-obj

sol-inf<s performs action> ahí está bien ? 56

compromisookeys55

resp 53arriba del frigobaru54

sol-infdónde quieres que la ponga ?53

okeys52

resp 49ésta51

sol-inf<no-vocal> en la pared de la izquierda ? s49

dir-accionme puedes mover la <sil> la alacena que está <sil> en la

pared de la izquierda hacia arriba del refrigerador ?u48

DIMEDIME--DAMLS DAMLS tagstags (acuerdo)(acuerdo)

afirm/acepta 56ahí está bien58

afirm<ruido> (s performs action) ahí está bien ? 56

acepta 48okeys55

afirmarriba del frigobaru54

espera 48dónde quieres que la ponga ?53

ackokeys52

afirmésta51

espera 48<no-vocal> en la pared de la izquierda ? s49

me puedes mover la <sil> la alacena que está <sil> en la

DIMEDIME--DAMSLDAMSL

�DIME-DAMLS

– Conversación: secuencia de transacciones

– Estructura de la transacción

�Especificación de la intención

�Satisfacción de la intención

– Balance en los planos de obligaciones y

acuerdo

– Muy metida: Varinia Estrada

ContenidoContenido

�El Corpus DIME

�Sistema de reconocimiento de voz

�Participantes

DIMEDIME--DAMSL DAMSL tagstags (obligaciones)(obligaciones)

resp 56ahí está bien58

mueve-obj

sol-inf<s performs action> ahí está bien ? 56

compromisookeys55

resp 53arriba del frigobaru54

sol-infdónde quieres que la ponga ?53

okeys52

resp 49ésta51

sol-inf<no-vocal> en la pared de la izquierda ? s49

dir-accionme puedes mover la <sil> la alacena que está <sil> en la

DIMEDIME--DAMLS DAMLS tagstags (acuerdo)(acuerdo)

afirm/acepta 56ahí está bien58

afirm<ruido> (s performs action) ahí está bien ? 56

acepta 48okeys55

afirmarriba del frigobaru54

espera 48dónde quieres que la ponga ?53

ackokeys52

afirmésta51

espera 48<no-vocal> en la pared de la izquierda ? s49

me puedes mover la <sil> la alacena que está <sil> en la

¿Cómo identificamos el acto del habla?

f(H,C)

Input SpAct

Predicción de actos del hablaPredicción de actos del habla

� Construcción de árboles de decisión

� Predictores:

– Tonos (INTSINT)

– Duraciones (diferentes unidades)

– Fronteras entre unidades (Break Indices)

� Objetivo (Target):

– Etiquetas DIME-DAMSL

� Herramientas: CART-Style (J4)

� Tesis doctoral: Sergio Coria

Modelos de diálogosModelos de diálogos

� Especificación de situaciones:

– Tipos de actos del habla

– Información léxica (parseo superficial)

– La semántica está dada por los roles y funciones

(atributos y valores) de la situación en la que se

realiza la interpretación

f(H,C)

Input SpAct

Sistemas conversacionales Sistemas conversacionales

predicativospredicativos

�Definición modelos básicos

�Aprendizaje

� Interpretación

ContenidoContenido

�El Corpus DIME

�Participantes

Reconocimiento de vozReconocimiento de voz

�Es indispensable contar con tecnología de

reconocimiento de voz:

– Abierta

– Adaptable

�Uso de herramientas tecnológicas de punta

�Creación de recursos lingüísticos para cada

lengua

Reconocimiento de voz en el Reconocimiento de voz en el

proyecto DIMEproyecto DIME

�El Corpus DIMEx100

– Creación de modelos acústicos

– Creación de diccionarios de pronunciación

– Creación de modelos de lenguaje

�El sistema Sphinx

– Entrenamiento

– Decodificación

– Validación

Corpus DIMEx100Corpus DIMEx100

�Estructura:

– 100 hablantes

– 5,010 frases diferentes

–50 específicas por hablantes

–10 comunes a los 100 hablantes

– 6,000 *.wav archivos

�Coordinación y control de calidad:

– Hayde Castellanos

Niveles de Niveles de TranscripciónTranscripción

� T22: Fonémas básicos del español (México)

� T44:

– T22

– Cierres de oclusivas y africadas sordas

– Aproximantes

– Acentos y paravocales

– Codas silábicas neutralizantes

� T56: T44 + otros alófonos comunes

� Basados en la definición de Mexbet de Javier Cuétara

T54T54

El Reconocedor para el El Reconocedor para el

español de México español de México

deldel

Proyecto DIMEProyecto DIME

ContenidoContenido

�El Corpus DIME

�Participantes

ParticipantesParticipantes� Coordinador: Luis Pineda

� Participantes:

– Hayde Castellanos, Sergio Coria, VariniaEstrada, Fernanda López, Ivonne López, Isabel López, Iván Moreno, Patricia Pérez Pavón

� Colaboradores UNAM:

– Javier Cuétara, Carlos Rodríguez

� Colaboradores externos:

– James Allen, Joaquím Llisterri, Montserrat Riera, Ivan Meza, Lucian Galescu, Luis Villaseñor

� Financiamiento: NSF/CONACyT 39380-UEl Proyecto DIME, DCC-IIMAS, UNAM 2006

Muchas gracias!Muchas gracias!

Objetivos del Proyecto DIME Sistemas Conversacionales...

Documents

Máximas conversacionales de Paul Grice

Realidades Conversacionales (Primera Parte Cap 1) Shotter

Sentidos opuestos-Dime 1. A.P.G. V Sentidos opuestos-Dime 2

CAPITULO 3 REDES CONVERSACIONALES DE CONFLICTO Y

Competencias Conversacionales de David Walen

Agentes Conversacionales

Realidades Conversacionales (Introduccion) Shotter

RETOS Y PROPUESTAS ANTE LOS ENVEJECIMIENTOS Aging … · proy.2007-alta proy.2007-baja proy.2009 proy.2012 proy.2014 proy.2016-INE proy.2016-EUROSTAT Evolución futura de la población

Organización y estrategias conversacionales en las

Redalyc.CUATRO PRÁCTICAS CONVERSACIONALES PARA …

Administracion de Proy U1 Proy Indexadora 1

Habilidades conversacionales segunda parte

Micromedios y medios conversacionales Rodrigo Guaiquil Rguaiquil@gmail.com

Dime Amigo

Dime Amig@

Consultant Applications Portal NDTP-DIME - HSE.ieHSE National Doctors Training and Planning DIME - Consultant Application Portal 6 Section 2 – CAP/DIME 2.1 Logging onto NDTP-DIME

Redalyc.Marcadores conversacionales: un análisis pragmático

Antal Valdez - Dime Dime - Tango - Band Sheet Music

aportación al estudio de los marcadores conversacionales que

Dime te hame apo dime te ushqehemi ? Anoreksia , bulimia, obeziteti