高精度音声検索のための音声信号への最良照合キーワード

索引付け方式

1

筑波大学システム情報学系知能機能工学域自然言語処理研究室（宇津呂研究室）

2

音声波形

音声は，計算機の中では，音素の遷移を表した「音素遷移ネットワーク」で表現されている

計算機内部

音素遷移ネットワーク

3

音声波形

a

音素（読みの単位。ローマ字表記したもの）

計算機内部

音素遷移ネットワーク

音声は，計算機の中では，音素の遷移を表した「音素遷移ネットワーク」で表現されている

4

音声波形

計算機内部

r

da

y

j

@a

i

@

ai

e

N

@

m e sh

各箇所は音素のネットワークになっている

音声は，計算機の中では，音素の遷移を表した「音素遷移ネットワーク」で表現されている

音素遷移ネットワーク

5

音声波形

計算機内部

k

r

@

rua

o

ak

w

g@

ur

m

@q

N

@

r

p

bu

@

u

@

r

@

r

q

uu

e

a

@

各箇所は音素のネットワークになっている

音声は，計算機の中では，音素の遷移を表した「音素遷移ネットワーク」で表現されている

音素遷移ネットワーク

6

音声波形

計算機内部

sh

hi o

sh

t

各箇所は音素のネットワークになっている

音声は，計算機の中では，音素の遷移を表した「音素遷移ネットワーク」で表現されている

音素遷移ネットワーク

7

音声波形

計算機内部

どこで何を喋っているのだろう・・・？？

しかし，ネットワークのままでは何を喋っているのかわからない

音声は，計算機の中では，音素の遷移を表した「音素遷移ネットワーク」で表現されている

音素遷移ネットワーク

8

キャンプ

音声波形

音声中に現れそうなキーワードの集合を用意し，ネットワークに貼り付ける（＝索引付け）

計算機内部

話題から話されそうなキーワードを用意し，ネットワークに貼り付けてみよう！！

クアラルンプール

首都

コアラキャンプ

・・・

キーワード集合

マレーシア 西マレーシア

音素遷移ネットワーク

9

k

r

@

rua

o

ak

w

g@

ur

m

@q

N

@

r

p

bu

@

u

@

r

@

r

q

u

a

u

e

@

キーワードを音素列化し，音素遷移ネットワークと照合する

クアラルンプール

首都

コアラ

・・・

ky a N p u

音素列化

ky a N p u

@ua

@@

N

p

@

ピッタリ照合することができないため照合歪（照合のずれ）が大きくなる

キャンプ 照合歪：0.343

マレーシア 西マレーシア

k

r

キャンプ

音素遷移ネットワーク

キーワード集合

10

k

r

@

rua

o

ak

w

g@

ur

m

@q

N

@

r

p

bu

@

u

@

r

@

r

q

u

a

u

e

キーワードを音素列化し，音素遷移ネットワークと照合する

@

首都

コアラキャンプ

・・・

音素列化

uaN

p

キャンプ 照合歪：0.343

「キャンプ」に比べて照合歪が小さい

k u a r a r u N p u u r uk u a r a r u N p u u r u

r

@

ak

ur

@

クアラルンプール 照合歪：0.199

@u

@

r

@

u

マレーシア 西マレーシア

クアラルンプール

音素遷移ネットワーク

キーワード集合

11

k

r

@

rua

o

ak

w

g@

ur

m

@q

N

@

r

p

bu

@

u

@

r

@

r

q

u

a

u

e

キーワードを音素列化し，音素遷移ネットワークと照合する

@

クアラルンプール

首都

キャンプ

・・・

音素列化

uN

キャンプ 照合歪：0.343

同様にすべてのキーワードを照合してみる

@

ur

@

クアラルンプール 照合歪：0.199

k o a r a

コアラ 照合歪：0.243・・・

a

kr

a

o

k o a r aマレーシア 西マレーシア

k

r

コアラ

音素遷移ネットワーク

キーワード集合

12

クアラルンプール

首都

キャンプ

・・・マレーシア 西マレーシア

コアラ

k

r

@

rua

o

ak

w

g@

ur

m

@q

N

@

r

p

bu

@

u

@

r

@

r

q

u

a

u

e

キーワードを音素列化し，音素遷移ネットワークと照合する

@

音素列化

a

キャンプ 照合歪：0.343

最も照合歪が小さいため，貼り付けるキーワードとして採用！

k

クアラルンプール 照合歪：0.199

k o a r a

コアラ 照合歪：0.243・・・

r

a

o

k o a r a

k

r

音素遷移ネットワーク

キーワード集合

13

音声波形

音素遷移ネットワーク全体にキーワードを貼り付ける

計算機内部

キーワードを貼り付けてみよう！！

「マレーシア･･･西マレーシア･･･クアラルンプール･･･首都･･･西マレーシア･･･」と言ってるようだ・・・

音素遷移ネットワーク

西マレーシア 西マレーシア首都マレーシア クアラルンプール

キャンプ クアラルンプール

首都

コアラキャンプ

・・・マレーシア 西マレーシア

キーワード集合

14

音声波形

計算機内部

キーワードを貼り付けてみよう！！

西マレーシア 西マレーシア首都

（マレーシアは，西マレーシア，クアラルンプールという首都がある西マレーシアと，）

正解は・・・

音素遷移ネットワーク全体にキーワードを貼り付ける

マレーシア

音素遷移ネットワーク

「マレーシア･･･西マレーシア･･･クアラルンプール･･･首都･･･西マレーシア･･･」

クアラルンプール

キャンプ クアラルンプール

首都

コアラキャンプ

・・・マレーシア 西マレーシア

キーワード集合

15

キャンプ

音声波形

計算機内部

キーワードを貼り付けてみよう！！

クアラルンプール

首都

コアラキャンプ

・・・

そして，貼り付けられたキーワードの系列を検索することで，音声を検索できる

音素遷移ネットワーク全体にキーワードを貼り付ける

マレーシア 西マレーシア

音素遷移ネットワーク

キーワード集合

西マレーシア 西マレーシア首都マレーシア クアラルンプール