1BME TTT

E-levél felolvasóesettanulmány

Beszédinformációs rendszerek

előadásNémeth Géza, Zainkó Csaba

[nemeth, zainko]@ttt.bme.hu

Beszédkutatási laboratórium http://speechlab.ttt.bme.hu

2BME TTT

PSTN

Távközlési példaHonnan.....

3BME TTT

PSTNBeszéd -keltés

-szintézis -felismerés -megértés

Dialógus vezérlésCTI

(Mobil, WEB..)

?

LAN

Távközlési példaHova ..... ?

banhof.wav

4BME TTT

Ötlet

• E-levél felolvasó ötlete: Egy reális alkalmazási környezet fejlesztése TTS fejlesztéshez

BME 1994

• Szakiránylabor, Önállólabor, Diplomaterv más projektek keretében kialakult egy bemutatható rendszer 1999-re

5BME TTT

Indok

• TTS értékelés önmagában nehéz• Siemens - Bonni egyetem (1999): nincs

'élesben' elfogadható német TTS6 TTS rendszert 45 diák tesztelt 45 perces ülésekben (1-6)– téma: menetrend, emil/fax olvasás, felhaszn. utasítás, újságolvasás

– legjobb osztályzat: 3 körül, de témától nagyon függ

• KPN holland emil-felolvasó teszt (2 gyártó)– DTMF <-> besz. felism, prompt <-> TTS– vélemény: nem használható

• BME-TTT ???

6BME TTT

Demórendszer

• 4 csatornás

• Formáns szintetizátoros

• Adminisztrációs felület nélküli

• „Kiteszteletlen”

• Nagy erőforrás-igényű (méretéhez képest)

• Speciális működési környezet (csak ftp)

7BME TTT

Igényfelmérés

• Demó bemutatása ipari felhasználó részére– Az adott rendszer ipari felhasználásra

alkalmatlan volt– Nem az adott rendszert bemutatása a fő cél,

hanem a technológiai szint ismertetése

8BME TTT

"Éles" rendszer fejlesztési lépései

• Demo rendszer bemutatása a partnernek

• Ütemek és elfogadási sarokpontok meghatározása

• Tesztrendszer belső használatra

• Tesztrendszer szűkkörű használatra

• Végleges rendszer

9BME TTT

Fejlesztéshez kapcsolódó projektek

• Nyelvdetekció

• Ékezetesítés

• TTS fejlesztés– Formáns– Hullámforma alapú– Hullámforma alapú, adott rendszerre való

optimalizálása

• Telefonos interfész, CTI

10BME TTT

Nyelvdetekció

• Miért kell?• Gyors, hatékony• Statisztikai alapon• 3 nyelv azonosítása

Hungarian English German Word Freq.

[%] Word Freq.

[%] Word Freq.

[%] 1 a 100,0 the 100,0 und 100,0 2 az 35,54 of 49,50 die 72,39 3 hogy 18,20 and 35,15 der 69,97 4 s 16,42 to 29,81 sie 49,16 5 nem 15,76 a 26,21 das 43,09 6 is 12,05 his 21,58 er 42,79 7 és 10,82 in 20,35 es 36,75 8 egy 9,872 he 14,16 in 31,93 9 volt 7,457 that 12,82 war 31,51

10 meg 6,845 was 11,29 den 28,86 11 azt 6,307 with 10,31 ich 24,18 12 csak 5,716 as 9,25 ein 23,92 13 de 5,713 their 8,64 nicht 22,51 14 ez 4,837 it 8,58 zu 22,01 15 van 4,666 had 8,41 aber 20,76 16 ha 4,470 by 7,51 dem 19,63 17 már 4,367 on 6,66 auf 19,42 18 még 4,044 is 6,54 mit 18,52 19 el 3,553 which 6,49 so 18,06 20 mint 3,525 for 6,36 sich 16,66

11BME TTT

Vowels without diacritics

Correct forms of the 14 vowels

No. of versions

a a á 2 e e é 2 i i í 2 o o ó ö ő 4 u u ú ü ű 4

Ékezetesítés

• Miért kell?• Miért nehéz?

|m|e|g|b|i|z|h|a|t|o|s|a|g|a

| |2| | |2| | |2| |4| |2| |2

27 lehetségesalak

agyat ágyat

agyát ágyát

12BME TTT

Adatbázisok

nytud+mek+hvg

nytud+mek+hvg+ mh

nytud+mek+hvg+ mh+mn

nytud+mek nytud mh+hvg+mek

hvg mn

mek mh

0

200,000

400,000

600,000

800,000

1,000,000

1,200,000

1,400,000

0 10,000,000 20,000,000 30,000,000 40,000,000 korpusz mérete

külö

nb

öző

szó

alak

ok

szám

a

Különböző szavak Különböző csonkított szavak Ékezetes szavak Ékezet nélküli

13BME TTT

0%

10%

20%

30%

40%

50%

60%

1 2 3 4 5+

mh

hvg

mek

nytud

nytud+mek

+hvg

Magyar szavak gyakorisága

14BME TTT

Ékezetesítés II.

• Statisztikai alapú• Nyelvtan alapú• Kombinált

Azonos csonkolt alakkal rendelkező szavak száma

2 29076 2,7561% 3 1609 0,1525% 4 285 0,0270% 5 19 0,0018% 6 1 0,0001% 7 1 0,0001% 8 0 0,0000% 9 1 0,0001%

1900

863

39 5131

90,46

95,1894,9294,90

89,75

0

500

1000

1500

2000

Spellchecking

Statisticsbased(MEK)

Combined Statisticsbased

(Nytud)

Statisticsbased

(Nytud+MEK)

[sec

]

8687888990919293949596

[%]

Runtime

Correct words

15BME TTT

Adatbázisok fedései

0%5%

10%15%20%25%30%35%40%45%50%55%60%65%70%75%80%85%90%95%

100%

1 10 100 1000 10000 100000 1000000

Number of the different forms

cove

rag

EnglishGermanHungarianHungarian2

16BME TTT

Dialógus tervezés

• 3 felhasználói kategória szerinti felvett rendszerüzenetek 2 hangon– (kezdő, tapasztalt, szakértő)

• félbeszakítható szöveg és előre beírható kód

• egybillentyűs navigáció, 3x ismétlés

• 'globális' parancsok – 0: környezet függő súgó, *: vissza, 5: szünet/konfig

• azonosítás több típusa

• több nyelv figyelembe vétele

17BME TTT

Mail order

Pause Voice reply

Listen to e-mail(s)

User Settings

Index

Main menu

1

6

8

2

7

#

8

2

One e-mail forward

One e-mail back

Next sentence

One e-mail forward

One e-mail back

1

4 Previous sentence

Voice reply 7 Voice reply

9

3

Five e-mails forward

Five e-mails back

Listen to e-mails from current

8

1

2

Send voice reply

Check voice reply

Record new voice reply

0

* One level back

Help

5 Pause

Global commands

3 Delete voice reply

Listen to current e-mail only

8

2

Decrease the volume

Increase the volume

5 Continue

7 Voice reply

9

3

Five e-mails forward

Five e-mails back

3

1

2

4

3

1

Descending e-mail subject

Ascending sending date

Descending sending date

Set user level “

9

7

6

Ascending e-mail sender

Descending e-mail sender

Ascending e-mail subject

3

Change PIN

Prompt voice “

4

Menü rendszer

18BME TTT

Rendszer felépítése

Private network 266

Email reader

LAN

POP3 mail servers

SMTP

gateway

266

Remote

control and management

Mobile or wireline users

Telephone

exchange

Internet

Hot standby

Development and

upgrade

19BME TTT

Ipari felhasználás

• Távoli adminisztráció

• Távoli felügyelet

• Riasztás

• Önteszt, megbízhatóság növelése

• Robosztus megoldások

• Tartalék rendszer (langyos)

• Rugalmas bővíthetőség

20BME TTT

Belső felépítés

DTMF

Voice

disk

File operations

Message

Download manager

Text processing

Wave generator Text-To-Speech

conversion

Mail sending manager

Program call

Internet

SMTP client

POP3 client and Converter

mailbox processing

Answer Menu control

and telephony interface

GSM & PSTN

USER Private network

Remote control

Start System control

21BME TTT

Tesztelés folyamata

• 2 rendszer – ipari partnernél – saját laborban

• A projekt elején a funkcionális teszten van a hangsúly

• Projekt végén a hibamentes működés

22BME TTT

Kapcsolatok más rendszerekkel

• Email szerver

• Központi felügyelet

• Ügyfélszolgálati rendszer

• Hálózati kapcsolat

• Informatika/Fejlesztés

23BME TTT

Üzemviteli támogatás

• Folytonos monitorozási lehetőség

• Automatikus hibajelentés

equipment_id alarm_severity date time event_type event_description

EREADER1 ALIVE date time HEARTBEAT EREADER1 is alive

EREADER1 MAJOR date time PROC_S RESTART Sendmail process restart

EREADER1 WARNING date time SYS OVERLOADED EREADER1 overloaded

EREADER1 MAJOR date time LOW FREE SPACE Low free space on work disk

EREADER1 MINOR date time SENDMAIL FAILED Lost one sent mail.

EREADER1 CRITICAL date time ISDN ERROR ISDN trunk does not work.

EREADER1 CRITICAL date time DISK FULL Work disk full

24BME TTT

Felhasználás1

2:0

0 A

M

1:0

0 A

M

2:0

0 A

M

3:0

0 A

M

4:0

0 A

M

5:0

0 A

M

6:0

0 A

M

7:0

0 A

M

8:0

0 A

M

9:0

0 A

M

10

:00

AM

11:0

0 A

M

12

:00

PM

1:0

0 P

M

2:0

0 P

M

3:0

0 P

M

4:0

0 P

M

5:0

0 P

M

6:0

0 P

M

7:0

0 P

M

8:0

0 P

M

9:0

0 P

M

10:

00

PM

11

:00

PM

0

5

10

15

20

25

rela

tive

fre

qu

enc

y [

‰]

25BME TTT

Felhasználás II

112 sec34 sec

0

2

4

6

8

10

12

14

16

18

20

hold time [sec]

rela

tive

fre

qu

enc

y [

‰]

26BME TTT

Érintett vállalati osztályok

• Ipari partner:– informatika– üzletfejlesztés– üzemeltetés– ügyfélszolgálat– minőségbiztosítás

Mindegyiknek más volt az érdeke cégen belül.

27BME TTT

Prioritások összetettsége

• Minden osztálynak más a fontos– Ügyfélszolgálat: a problémás esetek számát

kívánja csökkenteni (jobb tájékoztatás, részletes segítség.

– Üzletfejlesztés/Marketing: A cég koncepciójába beilleszteni a rendszert

– Üzemeltetés: Egyszerű rendszer, kevés hibalehetőséggel, nagy fokú automatizmus

– ...

28BME TTT

Szerződéskötés

• Tartalma:– Technikai tartalom– Finanszírozási kérdések– Ütemezés, határidők

• Aláírók:– Megfelelő szintű és jogosultságú személyek

• Jogi osztály beleszólása