研究題目

讃美歌データベースを用いたベイジアンネットワークによる自動四声体和声付け

の研究

日本大学大学院総合基礎科学研究科

地球情報数理科学専攻北原研究室

鈴木峻平

目次

● 本研究の概要● 既存研究について● モデルの作成● 実験・評価● 今後の課題

本研究の概要

研究の概要１.ソプラノを入力する（１パート）

システム（BN＋讃美歌）

２.読み込み

３.四声体和声完成　　　　　（４パート）

ソプラノ課題

四声体和声における課題

の両立

音楽的同時性

音楽的連続性

音楽的同時性とは

声部間で不協和音を

生み出さないように

すること。

ソ

ファ

シ♭

ド

ド

ミ

ソ

ド

不協和音協和音

音楽的連続性とは

ドレ

ミファ

ソラ

シド

声部内の音を滑らかに繋げること。。

和声付け（四声体和声付け）について

和声には、様々な規則（ルール）があり、それが音楽的な美しさの基礎部分となっている。

ヴォイシング（音の配置）

機能和声（コードの連なり）

ルール

禁則

既存研究について

四声体和声付けの研究について

一般的な二つの方法がある

実際の様々な和声のルールをシステムに書き込む。

（非学習ベース）

自らルールを設定

実際の曲を学習させ曲からルールを学習する。

（機械学習）

実際の曲からルールを学習

既存研究について

非学習ベースの研究

● An Expert System for Harmonizing Chorales in the Style of J.S. Bach(Ebcioglu, 1992)

● Formulating Constraint Satisfaction Problems on Part-Whole Relations: The Case of Automatic Musical Harmonization(F.Pachet , et al., 1998)

● The Four-Part Harmonisation Problem: A comparison between Genetic Algorithms and a Rule-Based System(Phon-Amnuaisuk, et al., 1999)

既存研究について

機械学習の研究

● HARMONET: A Neural Net for Harmonizing Chorales in the Style of J.S.Bach(H.Hild, et al, 1991)

● Harmonising Chorales by Probabilistic Inference(M.Allan, et al., 2004)

● Automatic Generation of Four-part Harmony(L.Yi, et al., 2007)

● Chorale Harmonization with Weighted Finite-state Transducers(J.Buys, et al., 2012)

コードネームの曖昧性

問題点

アルト

テノール

バス

コードネームをノードとして取り入れている。　

作曲する上で、コードネームの考慮は土台を考えるようなもの。

四声体和声メロディ

モデル

既存研究の特徴

HMM : M.Allan, 2004

Neural Net : H.Hild, 1991

C G

コードネーム

F

コードネーム表記の曖昧性

ドミソ ラ

C C6 on GC6

粗い 細かい音配置の情報(ヴォイシング)

ド ミ ソ

コードネームの学習

ヴォイシング情報無

ソ ミ ド ラ

C詳細の区別無

適切なヴォシングがされない

計算ができない（データスパースネス）

つまり... ヴォイシング情報有

要素数が膨大

C

C6 on GC6Am7

Am

詳細の区別有

コードネームの詳細を区別しないモデル

コードネームを含むモデル

コードネームの詳細を区別するモデル

Cドミソ

ソミドラ

CC6 on GC6

Am7Am

ドミソドミソ

ミソド

C ＝ ドミソ C ?

曖昧性の解決策

コードネームを省略

音だけの関係でも適切に学習できるのでは？

コードネームを含めないモデルを作成

コードを含めないモデル

声部内のみの連続性を考慮するため、なめらかな和声が生成される。

本研究のイチオシ

コードあり コードなし比較

モデル

３つの仮説

● コードネームの詳細を区別しないモデル

● コードネームの詳細を区別したモデル

● コードネームを含まないモデル

３つの仮説

ヴォイシング詳細

学習ワンパターンなヴォイシング

しか選ばれない

CC6 on GC6

Am7Am

データスパースネス 適切な和声

コードネーム なめらかな和声

モデルの作成

四声体和声の仕組み

全体の流れ（コード進行）の考慮 各声部の流れ（旋律）の考慮

声部間の関係の考慮

完璧に考慮する 計算量が膨大これらを同時に考慮できるモデルを作成する

モデルの作成

声部間の関係を一部省略

前後の関係のみを考慮

コードモデルについて

各声部に加え、コードも作成する

同時性(縦の関係)：コードから各声部に繋がるように表す。

連続性(横の関係)：前後の音との繋がりで表す。更に、コードも前後の繋がりで表す。

バス

テノール

アルトアルト

テノール

バス

ソプラノソプラノ

コード コード

バス

テノール

アルト

ソプラノソプラノ

コード

コードノード

コードモデルについて

コードモデルは２つ作成

コードネームの区別の有無の違いなので構造は同じモデル

コードモデル１：区別無（要素数２４種類）

コードモデル２：区別有（要素数１１０種類）バス

テノール

アルトアルト

テノール

バス

ソプラノソプラノ

コード コード

バス

テノール

アルト

ソプラノソプラノ

コード

コードノード

ノンコードモデルについて

コードノードを省く。

同時性(縦の関係)：ソプラノから各声部に繋がるように表す。

連続性(横の関係)：前後の音との繋がりで表す。

コードノードを省略しバスからのアークを追加。

バス

テノール

アルトアルト

テノール

バス

ソプラノソプラノ

バス

テノール

アルト

ソプラノソプラノ

学習データについて

讃美歌

基本的なコード進行 現代音楽の母

長調のみ・全ての音符の長さを統一２５４曲を使用

ハ長調に移調して学習

音符の分割

讃美歌の分割を行う 全てのリズムは同じ

×０．４

本来無い音符の連続

実験と評価

● コードネームの詳細を区別しないモデル

● コードネームの詳細を区別したモデル

● コードネームを含まないモデル

３つの仮説

ヴォイシング詳細

学習ワンパターンなヴォイシング

しか選ばれない

CC6 on GC6

Am7Am

データスパースネス 適切な和声

コードネーム なめらかな和声

コードモデル１

コードモデル２

ノンコードモデル

実験● ３つのモデルの結果を比較。

コードモデル１

ノンコードモデル

● ソプラノを３２曲使用した。（演習問題から抜粋）

コードモデル２

出力結果の例

例 その1

PLAY

以下のソプラノに対して、四声体和声付けを行う

コードモデル１の結果

C・F・Gのコードしか現れておらず、単調になっている。

ヴォイシングも似たものが多い。

C F G G G G GC C C C C CF

コードモデル２の結果

ほとんど同じ音の繰り返し

不協和音も多い

ノンコードモデルの結果C F Em G G7 C GC C C Am C CF

より多いコードネームの種類

異なるヴォイシングで単調さが減

コードモデル１の結果

C・F・Gのコードしか現れておらず、単調になっている。

ヴォイシングも似たものが多い。

C F G G G G GC C C C C CF

ノンコードモデルの結果C F Em G G7 C GC C C Am C CF

より多いコードネームの種類

異なるヴォイシングで単調さが減

一例 その2

PLAY

コードモデル１の結果

不協和音はない

同じヴォイシングの繰り返しが多い

C F C C G C GG C C F C CGG

コードモデル２の結果

不協和音が多い

ほとんどが同じ音の繰り返し

ノンコードモデルの結果

不協和音はない

多様なヴォイシング

C G7 CDm C G7

一例 その3

PLAY

以下のソプラノに対して、四声体和声付けを行う

コードモデル１の結果

不協和音はない

同じヴォイシングの繰り返しが多い

コードモデル２の結果

不協和音が多い

ほとんどが同じ音の繰り返し

ノンコードモデルの結果

不協和音はない

多様なヴォイシング

評価方法について

客観評価

主観評価

定量的に結果を評価(６つの基準で評価)

客観評価できない部分を評価（アンケート）

客観評価

C1.不協和音を含む和音の総数

C2.ノンダイアトニックノート（黒鍵）の総数

C3.最後の和音がCになっているか。

多いほど聞こえの悪さに大きく影響する。

ハ長調として、典型的な曲には出にくい。

ハ長調として、Cで終わるのが最も典型的である。

客観評価

多いと曲の単調さにつながる。(例 ドドソド)

特に大事であるバスのなめらかさは重要。

音名の少なさは曲の単調さにつながる。

C４.3声部以上で同じ音名の音が選ばれている総数

C5.バス内で連続する音の跳躍(完全4度以上)の総数

C6.各声部内での音名の総数

-1

0

1

2

3

4

5

6

7

0.16 5.88 1.09Ave0.37 1.04 1.571% 42% 8%

SD%

不協和音の数コードモデル１ コードモデル２ ノンコードモデル

コードトーンを学習

全４４５和音

1%

-1

0

1

2

3

4

5

6

7

0.16 5.88 1.09Ave0.37 1.04 1.571% 42% 8%

SD%

不協和音の数コードモデル１ コードモデル２ ノンコードモデル

要素数が多すぎるためほとんど同じ音の繰り返し

全４４５和音

-1

0

1

2

3

4

5

6

7

0.16 5.88 1.09Ave0.37 1.04 1.571% 42% 8%

SD%

不協和音の数コードモデル１ コードモデル２ ノンコードモデル

声部間の関係を考慮

全４４５和音

-0.5

0

0.5

1

0.03 0 0.290.18 0 0.64

AveSD

0.07% 0% 0.4%%

ノンダイアトニックノートの数コードモデル１ コードモデル２ ノンコードモデル

全１３３５音符

１つ ６つ

0.07% 0.4%

-0.5

0

0.5

1

0.03 0 0.290.18 0 0.64

AveSD

0.07% 0% 0.4%%

ノンダイアトニックノートの数コードモデル１ コードモデル２ ノンコードモデル

全１３３５音符

同じ音の繰り返しのため

0

0.5

1

1.5

1 0.94 10 0.25 0

100% 94% 100%

AveSD%

最後のコードがCコードモデル１ コードモデル２ ノンコードモデル

全３２曲

全曲Cで終わっていた

100% 100%

0

0.5

1

1.5

1 0.94 10 0.25 0

100% 94% 100%

AveSD%

最後のコードがCコードモデル１ コードモデル２ ノンコードモデル

全３２曲

繰り返しが原因

0

1

2

3

4

5

6

7

5.22 3.94 2.781.48 1.76 1.3638% 28% 20%

Ave

%SD

３つ以上同じ音を含む和音の数コードモデル１ コードモデル２ ノンコードモデル

全４４５和音

単調さが減った

0

0.5

1

1.5

2

2.5

3

2.19 0.41 1.691.48 1.76 1.3616% 3% 12%

AveSD%

バスの連続する跳躍の数

ルート音しかない

全４４５和音

0

0.5

1

1.5

2

2.5

3

2.19 0.41 1.691.48 1.76 1.3616% 3% 12%

AveSD%

バスの連続する跳躍の数

なめらかな旋律に。

0

1

2

3

4

5

6

7

0

1

2

3

4

5

6

7

0

1

2

3

4

5

6

7

2.0 2.6 3.3

0 0.95 0.63

5.2 4.9 4.8

1.30 1.19 1.23

2.0 1.6 2.1

0.18 0.83 0.96

アルト テノール バス

ノンコードモデルコードモデル２コードモデル１

SD

Ave

アルト テノール バス アルト テノール バス

各声部の音名の数

同じ音の繰り返しが多いため

0

1

2

3

4

5

6

7

0

1

2

3

4

5

6

7

0

1

2

3

4

5

6

7

2.0 2.6 3.3

0 0.95 0.63

5.2 4.9 4.8

1.30 1.19 1.23

2.0 1.6 2.1

0.18 0.83 0.96

アルト テノール バス

ノンコードモデルコードモデル２コードモデル１

SD

Ave

アルト テノール バス アルト テノール バス

各声部の音名の数

より多い音名で滑らかな旋律に。

主観評価について

結果に対してアンケートを実施。

不協和な響きの少なさ

A1

各声部のなめらかさ

A2

楽譜読み書き可能、作曲経験ありの方３人にアンケートを実施。

５段階評価

主観評価について

結果に対してアンケートを実施。

不協和音の少なさ

A1

各声部のなめらかさ

A2

楽譜読み書き可能、作曲経験ありの方３人にアンケートを実施。

５段階評価和声学的観点で評価してもらうため。

0

1

2

3

4

5

6

4.81 3.28 4.58Ave

SD 0.64 0.73 0.99

0

1

2

3

4

5

6

2.53 1.38 2.91Ave

SD 0.98 0.66 1.20

0

1

2

3

4

5

6

4.75 1.56 3.91Ave

SD 0.57 0.50 1.28

不協和な響きの少なさ

被験者 3被験者 2被験者 1

コ1 コ2 ノン コ1 コ2 ノン コ1 コ2 ノン

５段階評価

４．５以上の評価 一番高い評価 あまり大きな差はない

0

1

2

3

4

5

6

0

1

2

3

4

5

C1 C2 N

4.06 2.97 4.29

0.62 0.82 0.78

2.41 1.44 2.66

0.98 0.72 1.15

0

1

2

3

4

5

6

4.34 1.84 4.09

0.65 0.77 0.89

被験者 1 被験者 2 被験者 3

各声部のなめらかさ

Ave

SD

Ave

SD

Ave

SD

C1 C2 N C1 C2 N

２人でノンコードモデルが一番高い評価

５段階評価

大きな差はない

讃美歌の再生成

● 讃美歌のメロディを入力として、和声付けを行った。

● コードモデル１とノンコードモデルを使用

オリジナル メロディから再生成一致度

オリジナルも全て同じリズムの讃美歌に編集したものを用いる。

音符レベル

コードレベル

0

10

20

30

40

50

60

70

80

90

100

0

10

20

30

40

50

60

70

80

90

100

35% 35%34%Ave

26 22 15Alto Tenor Bass

SDTotal

35%20

49% 46% 36%16 15 12

43%20SD

Ave

Alto Tenor Bass Total

各声部と全体の一致度コードモデル１ ノンコードモデル

アルト・テノールでより高い一致度

0

10

20

30

40

50

60

70

80

90

100

32%Ave

SD33%

コードモデル１ ノンコードモデルコードの一致度

15 15

コードレベルでは差はほぼ無い

ヴォイシングの違い

アルト・テノールの音の配置

２つのモデルの結果においての主な違いは

ノンコードモデルでは、より適切なヴォイシングがされている。

なめらかな和声になる。

● コードネームの詳細を区別しないモデル

● コードネームの詳細を区別したモデル

● コードネームを含まないモデル

３つの仮説

ヴォイシング詳細

学習ワンパターンなヴォイシング

しか選ばれない

CC6 on GC6

Am7Am

データスパースネス 適切な和声

コードネーム なめらかな和声

残された課題

● 装飾音の挿入● 禁則の考慮● 大局的な考慮● コーパスの拡張● 構造学習● 音符の分割しない学習モデル

業績一覧

● 日本音響学会/2012年春季研究発表会[口頭]● 日本音響学会/2013年春季研究発表会[口頭]● 情報処理学会 音楽情報処理研究会（第９５回）[口頭]● 5th Int'l Workshop on Machine Learning and Music[口頭]● Sound and Music Computing Conference 2013[ポスター]● 情報処理学会 音楽情報処理研究会（第99回）[ポスター]● 情報処理学会 第76回全国大会[口頭]（発表予定）

● Journal of New Music ResearchSpecial Issue on Music and Machine Learning（条件付採録）

論文誌

学会発表

まとめ

目的 四声体和声付けを確率モデル（機械学習）で行う。

問題 コードシンボルの曖昧性

解決 コードシンボルを含めないモデルを作成

結果 ノンコードモデルでよりなめらかな和声を生成

ページ 1ページ 2ページ 3ページ 4ページ 5ページ 6ページ 7ページ 8ページ 9ページ 10ページ 11ページ 12ページ 13ページ 14ページ 15ページ 16ページ 17ページ 18ページ 19ページ 20ページ 21ページ 22ページ 23ページ 24ページ 25ページ 26ページ 27ページ 28ページ 29ページ 30ページ 31ページ 32ページ 33ページ 34ページ 35ページ 36ページ 37ページ 38ページ 39ページ 40ページ 41ページ 42ページ 43ページ 44ページ 45ページ 46ページ 47ページ 48ページ 49ページ 50ページ 51ページ 52ページ 53ページ 54ページ 55ページ 56ページ 57ページ 58ページ 59ページ 60ページ 61ページ 62ページ 63ページ 64ページ 65ページ 66ページ 67ページ 68ページ 69ページ 70ページ 71ページ 72ページ 73ページ 74ページ 75