Embed Size (px)
Citation preview
片寄晴弘 関西学院大学理工学部 音楽情報処理 講義資料 2020
自動・作編曲システム
片寄晴弘
関西学院大学理工学部情報科学科
音楽情報処理（第８回）
片寄晴弘 関西学院大学理工学部 音楽情報処理 講義資料 2020
自動作・編曲システム
片寄晴弘 関西学院大学理工学部 音楽情報処理 講義資料 2020
• イリアック組曲(1957) 以来の自動・作編曲研究のパラダイム• ルールの利用• 乱数の利用• 自動作・編曲システムと創造性
• 自動作・編曲システム（事例紹介）• EMI（D. Cope による 90年代初頭からの自動作曲プロジェクト）• ハービー君（ジャズリハーモナイゼーション）• Conkinらの予測モデル（メロディの予測）• Continuator（上記基本コンセプトのリアルタイム版）• Orpheus（「ぞうさん」スタイルのメロディ生成）• DeepBach（深層学習 (LSTM)によるバッハ風作曲）• Jukebox（深層学習系最終形態の先駆け？）• Band in a Box（定番商用システム）
• Max演習にむけての実践的テクニック紹介• uni-gramによる音列生成• スケール制約の適用• 擬似1/f 乱数ジェネレータ
片寄晴弘 関西学院大学理工学部 音楽情報処理 講義資料 2020
第一楽章：音楽的制約（対位法）の導入、第二楽章：音高や強弱を乱数によって制御
イリアック組曲（1957）世界初の自動作曲の試み。計算機の歴史とほぼ同じ！
片寄晴弘 関西学院大学理工学部 音楽情報処理 講義資料 2020
• メロディに対して、複数の旋律を重ねていくための音楽理論（和声学とならぶ伴奏や編曲のための理論）
• 二声対位法を基礎とするが、多声を扱う拡張版がある。• 同時発音での響きも考慮対象となるため、和声学とも密接な関係を持つ
2分でわかる「対位法」 (https://www.youtube.com/watch?v=G49h8qZIlRQ)対位法「対旋律」と「ハモリ」の違い (https://www.youtube.com/watch?v=wqaUrsuFsBk)
対位法
片寄晴弘 関西学院大学理工学部 音楽情報処理 講義資料 2020
イリアック組曲以来のパラダイム(アルゴリズミックコンポジション）
• 音楽規則（ルール）の適用• ルール（とそのもとになった事例）（創作物の性質を考えると「鶏と卵」）
• 乱数の利用（こちらも・・決定的でなない）
ここらをコード進行（Pops系）を例に説明
イリアック組曲（1957）
片寄晴弘 関西学院大学理工学部 音楽情報処理 講義資料 2020
対象は、楽曲構成・メロディ・リズム・和声等、さらには、楽器種等、音楽を構成する全てに及びます。
ここでは、「コード進行」における「置き換え」規則を取り上げて説明します。
規則１：majと三度下のminの交換（できる）規則２：V→ II / Vの分解（できる）規則３：V→I なら、V7→ I（セブンスを追加)できる規則４：パラレルワールド（準固有和音 min/major入れ替え）できる規則５：テンション関連規則 I（Im) のディミニッシュ化できる
変換規則（ルール）適用【コードを例にして】
片寄晴弘 関西学院大学理工学部 音楽情報処理 講義資料 2020
| C | G | Am | Em | F ・・・ （王道カノン進行）置き換えルール 「maj 三度下とminの交換」を二小節、四小節に適用すると| C | Em | Am | G | F ・・・置き換えルール 「V→ II/V」を、二小節、四小節目（前）に適用すると| C | Bm(-5) / Em | Am | G / C | F ・・・置き換えルール 「V→I」→「V7→I」適用で| C | Bm7(-5) / Em7 | Am | G7 / C7 | F ・・・さらに、「準固有和音（パラレルワールドで major, minor 変換）」適用で| C | Bm7(-5) / E7 | Am | Gm7 / C7 | F ・・・
変換規則（ルール）適用【コードを例にして】
王道カノン進行がアイドル・アニソン（王道）進行に？聞く「ハレ晴レユカイ」サビ(key=F）
聞く(key=D)
片寄晴弘 関西学院大学理工学部 音楽情報処理 講義資料 2020
| C | Am | G | C ・・・ （ままある進行）置き換えルール 「V→ II/V」を、一小節（前）、二三小節に適用で| C / F | Em / Am | Dm / G | C ・・・「準固有和音（パラレルワールドで major, minor 変換）」適用で| C / Fm | Em / Am | Dm / G | C ・・・テンションスパイス追加で| C / Fm6 | Em7 / Am | Dm7 / G7 | C ・・・さらに「ディミニッシュ系代理コード」適用で| F#m7(b5) / Fm6 | Em7 / Ebdim | Dm7 / G7 | C ・・・
ままある進行から、F#m7(b5) の説明鉄板事例進行へ
変換規則（ルール）適用【コードを例にして】
聞く
片寄晴弘 関西学院大学理工学部 音楽情報処理 講義資料 2020
対象は、楽曲構成・メロディ・リズム・和声等、さらには、楽器種等、音楽を構成する全てに及びます。
ここでは、「コード進行」における「置き換え」規則を取り上げて説明します。
規則１：majと三度下のminの交換（できる）規則２：V→ II / Vの分解（できる）規則３：V→I なら、V7→ I（セブンスを追加)できる規則４：パラレルワールド（準固有和音 min/major入れ替え）できる規則５：テンション関連規則 I（Im) のディミニッシュ化できる
メタ条件（前後関係文脈等）を考慮、適用確率を制御すれば、それっぽい（その場で作るシーケンス）生成可能
変換規則（ルール）適用【コードを例にして】
片寄晴弘 関西学院大学理工学部 音楽情報処理 講義資料 2020
「種」（この場合、おおもととなるコード進行）はどうすれば良いの？
ここでも乱数の利用・・・その前に推移確率のお話
片寄晴弘 関西学院大学理工学部 音楽情報処理 講義資料 2020
（単純）マルコフ過程：任意の時刻の状態の確率分布が直前の状態のみに依存するような確率過程N階マルコフ過程：任意の時刻の状態の確率分布が直前の連続したN個の状態に依存する確率過程
言語の世界では、n-gram と呼ばれる (n には個数が入る）1(uni)-gramは、単純出現頻度（例えば、コードだと使われた全コードのうち当該のコードが出てきた割合）2(bi)-gram: あるコードが出てきた際に出てくるコード例えば、F→G7: 40%, F→C: 10％ とか
3(tri)-gram: Dm/G→C: 50%, Dm/G→Am:15% とか
「推移確率」は統計処理で
推移確率について【コードを例にして】
片寄晴弘 関西学院大学理工学部 音楽情報処理 講義資料 2020
•言語での事例 https://mieruca-ai.com/ai/bi-gram_markov_model/より
推移確率について【コードを例にして】
片寄晴弘 関西学院大学理工学部 音楽情報処理 講義資料 2020
•言語の場合（ノードを使った表現）単純マルコフモデル事例https://postd.cc/from-what-is-a-markov-model-to-here-is-how-markov-models-work-1/より
“One fish two fish red fish blue fish.”
推移確率について【コードを例にして】
片寄晴弘 関西学院大学理工学部 音楽情報処理 講義資料 2020
• まずは確率テーブルの作成→統計処理（もしくは、制作者の感性で決め打ち）
• 1(uni)-gram：一回一回、独立事象としてサイコロを振る。n(>=2)-gram：それぞれのノードでの統計情報を満たすようサイコロを振る。n が大きくなるとスパースネス問題（事例数不足問題）あり
• Mr.Children 2015年までのシングルでのコード進行調査（bi-gram とあるwebでの調査、信頼性あまり高くないかも）１位： IV→V, Ⅰ→Ⅳ（よくある）３位：Ⅰ→Ⅴ（よくある）４位：Ⅰ→Ⅲ（ままある）５位：Ⅵm→Ⅴ（ままある）６位以下：Ⅰ→Ⅲm, Ⅳ→Ⅰ, Ⅵm→Ⅳ, Ⅰ→Ⅰ7, Ⅰ→Ⅱ, Ⅰ→Ⅱm, Ⅰ→Ⅵm
参考 『「NOT FOUND」収録アルバム「Q」での コード進行はくじ引きで決めた』(桜井和寿談。「口笛」は違うと思う（J-Pop 王道系随所））
推移確率について【コードを例にして】
片寄晴弘 関西学院大学理工学部 音楽情報処理 講義資料 2020
定番コード進行とは＜4-gramコード進行をどこかの時期で頻出順にならべたものとほぼ等価＞（正確にいうと「誰かが試す」→「その時代で引っ掛かりがあればみんな使いだす（この時点で定番コード）」→「あきられる」→「目先を変えてリバイバル」）
名前のついているモノはそれらの中でインパクトをもって記憶されたもの
小悪魔（ユーミン）： | Fmaj7 | GonF | Em7 | Am7 | （Ⅳ-Ⅴ-iii-vi)小悪魔２（Just of the two of us)： | Fmaj7 | E7 | Am7 | Gm7/C7 | （IV-III-vi-I7)小室進行： | Am | F | G | C | (vi-Ⅳ-Ⅴ-I)レット・イット・ビー進行： | C | G | Am | F | （I-V-vi-Ⅳ）
サイコロを振って、Aメロ、Bメロ、サビに、定番コードを割り当てれば、Pops コード進行フレームワークができあがる。ただし、総花にはなってしまうと却って興醒め（なにごとも）
推移確率について【コードを例にして】
片寄晴弘 関西学院大学理工学部 音楽情報処理 講義資料 2020
「音楽用語がわからずとも音楽がわかる」の「音楽用語が（苦手な人にとっては）難しい」の一考察：「小悪魔とか小室とか言われた方が4531, 6451とか言われるよりもわかりやすい。「ヨナ抜き」は東洋の香りとか、フリジアンも「エキゾチック」とかで言われた方がピンとくる。
そもそも音楽ジャンルとかも絶対的なものではない。（クラスタに対する呼び名）
音楽用語：（音楽に限らず「用語」とは）識別可能な対象（たくさん事例があってクラスタリングできたものほど識別しやすい）に与えた便宜的な呼び名。識別可能ということは感覚質（クオリア）を伴うことが前提になるが、それが典型事例や共感覚イメージと離れているが故に理解（イメージ）しがたいことがよく起こっている。
「亀田音楽専門学校」「音楽の正体」は、（with/without）音サンプルを用意してまた、積極的に共感覚イメージを利用しています。初中等音楽教育で参考にすべき点があるように思います。（無理やり共感覚イメージに訴える際の語弊（ズレ）については注意が必要です。）
Coffee Break（ちょっと議論）
片寄晴弘 関西学院大学理工学部 音楽情報処理 講義資料 2020
「種」（この場合、おおもととなるコード進行）はどうすれば良いの？
→
推移確率テーブルを用意しておいてサイコロを振る！（まずは・・の答え）
推移確率について【コードを例にして】
片寄晴弘 関西学院大学理工学部 音楽情報処理 講義資料 2020
乱数を利用するということ：創造性に関連してオリジナルなものを作ろうとすると「サイコロ」をふる必要がある
アート系分野で言われてきた乱数系キーワード（とその関係「しかけサイコロの世界」）
• フラクタル• カオス• 1/f 揺らぎ
乱数の利用と芸術性（創造性）
片寄晴弘 関西学院大学理工学部 音楽情報処理 講義資料 2020
� �� ���
�
��
���
���
���
���������
�
��
��
��
����� �� ���������������
��������������������������
• 数学者ブノワ・マンデルブロが導入した幾何学の概念• ラテン語 fractus が語源。• 自己相似性図形の部分と全体が自己相似（再帰）になっている• フラクタル次元は，縮小数とミニチュアの数： log
コッホ曲線 ＝ 1.26樹木や川では，1.3～1.8
フラクタル
←マンデルブロ集合
片寄晴弘 関西学院大学理工学部 音楽情報処理 講義資料 2020
•力学系に基づく（比較的シンプルな）漸化式で書けるが、初期値に鋭敏性があり、乱数に見えたり、一点に収束したり、周期的軌道を描くことがある。•その性質や制御性から乱数の一つとしてアート系で利用されることが多い。
0 10 20 30 40 50 60-0.1
0
0.1
0.2
0.3
0.4
0.5
0.6
0.7
0.8
0.9X[n]
n
a=
0 10 20 30 40 50 60-0.1
0
0.1
0.2
0.3
0.4
0.5
0.6
0.7
0.8
0.9X[n]
n
a=
0 5 10 15 20 25 30-0.1
0
0.1
0.2
0.3
0.4
0.5
0.6
0.7
0.8
0.9X[n]
n
a= ����
���������
����
��
�
�
����
����
����
↑漸化式でのデータの振る舞い
xn + 1 = a ⋅xn ⋅ (1 –xn)
カオス
ロジスティック写像の分岐図とその拡大フラクタル構造が見える
片寄晴弘 関西学院大学理工学部 音楽情報処理 講義資料 2020
•パワー（スペクトル密度）が周波数 f に反比例するゆらぎ•心地よいとされる自然現象がこの揺らぎを持っているとされる• ろうそくの炎の揺れ方• 台風の強さと頻度の関係
•生体のリズムが1/f揺らぎを持つことが発見されている•時間軸上のフラクタル性を有している•自然なピッチ推移を生成するには有効（Max演習でデモ）（Mozart効果等、拡大解釈は要注意！）
バッハのプレリュードのパワースペクトル
（カオスと複雑系の科学 井上政義著：日本実業出版社より）
1/f 揺らぎ
片寄晴弘 関西学院大学理工学部 音楽情報処理 講義資料 2020
作曲システムは人間に匹敵する能力を示す能力を有するのか？ （片寄 2004）
作曲システムの現状
自動作曲システム
参照事例作品１
作品３
作品２
人間の判断
作品=作品2出力
乱数出力
実情は支援システム
乱数の利用と芸術性（創造性）
片寄晴弘 関西学院大学理工学部 音楽情報処理 講義資料 2020
システムは人間のアシスタントとしてできることをやる！
「事例」の活用！さきがけ、CrestMuseでのキーコンセプト
（基本構造）
（詳細化）
（対象）
（転写後）
支援システムであるならば・・・
片寄晴弘 関西学院大学理工学部 音楽情報処理 講義資料 2020
"&�.$ ����0/�
)%����-#��'��*����/�
(� ������
(� ��������
(� ������
(� �!1�+������-#��'�)%�
)%����-#��'��*����/�
(� ������
(� ������
-#��'��,
.$ ����0/�
乱数の利用と芸術性（創造性）
作曲システムは人間に匹敵する能力を示す能力を有するのか？ →生成系とは 別の「耳」の構築が鍵！ （片寄 2004）
片寄晴弘 関西学院大学理工学部 音楽情報処理 講義資料 2020
耳のモデルの構成
例えば、「おじさんの歌えない歌度」を組み込んで、歌いやすさ一定以上のものが出てきたら、再度、サイコロを振る（作り直す）その基準に基づいて生成系を再構成！ 「乾杯」
「everybody goes 」
乱数の利用と芸術性（創造性）
（青野, 片寄 1998）
片寄晴弘 関西学院大学理工学部 音楽情報処理 講義資料 2020
!&*+����
-7�
-7�
-7�
918')��� ��
-7�
6"���
�����
����453�
����%3� %$�!&
-(�!&#.�/,)�����
� �� ������
02
乱数の利用と芸術性（創造性）
「耳（評価機構/discriminator）の強化まで思い至っていたら、GAN（深層学習）に近いアーキテクチャでした。（2004年当時は「耳」信奉者でした（今も））
（片寄 2004）
片寄晴弘 関西学院大学理工学部 音楽情報処理 講義資料 2020
イリアック組曲 (1957）以来の基本的パラダイムに関する議論はここまで
深層学習の進展でさらに議論が続く答えは出ない・・・
AIと創造性
片寄晴弘 関西学院大学理工学部 音楽情報処理 講義資料 2020
• イリアック組曲 (1957) 以来の自動・作編曲研究のパラダイム• ルールの利用• 乱数の利用• 自動作・編曲システムと創造性
• 自動作・編曲システム（事例紹介）• EMI（D. Cope による 90年代初頭からの自動作曲プロジェクト）• ハービー君（ジャズリハーモナイゼーション）• Conkinらの予測モデル（メロディの予測）• Continuator（上記基本コンセプトのリアルタイム版）• Orpheus（「ぞうさん」スタイルのメロディ生成）• DeepBach（深層学習 (LSTM)によるバッハ風作曲）• Jukebox（深層学習系最終形態の先駆け？）• Band in a Box（定番商用システム）
• Max演習にむけての実践的テクニック紹介• uni-gramによる音列生成• スケール制約の適用• 擬似1/f 乱数ジェネレータ
片寄晴弘 関西学院大学理工学部 音楽情報処理 講義資料 2020
•D.Cope の自動作曲プロジェクト•「今までに作られた作品の事例の解析と再合成によってなされる」という考え方に基づく•作品例
nモーツァルト風（初期）nバッハ風（対位法）nショパン（夜想曲）風nフーガ（対位法/最近？）
EMI (David Cope 1991~)
聞く
片寄晴弘 関西学院大学理工学部 音楽情報処理 講義資料 2020
• 1996年より平田らによって作られた•Deductive Object-Orientation（DOO)を用いたリハーモナイズ（ジャズ風のアレンジ）•ハーモナイズ前後のコード進行の関係を，DOOにおけるオブジェクト間の包摂関係で合理的かつ自然に表現することで，リハーモナイズ後のコード進行を推論
ハービー君（平田圭二ら 1996～）
片寄晴弘 関西学院大学理工学部 音楽情報処理 講義資料 2020
• 音楽を時系列信号ととらえ，後続信号の出現確率・エントロピーを計算するプロセスにより，楽曲様式（Bachのコラール）のモデル化• リズム，メロディ以外の複数の視点を加え，多次元性を考慮した予測の意義の検証• システムの予測と実際の進行を比較することで，システムの有効性を検証
Conklin et al.の予測モデル（1995）
多次元視点への分解
予測
片寄晴弘 関西学院大学理工学部 音楽情報処理 講義資料 2020
Bernard Lubat 子供
•プレイヤの与えたフレーズに対し後続フレーズを生成•マルコフ連鎖により演奏パターンをモデル化•コーパス上の音の推移確率と，直前のプレイヤ演奏の特徴（傾向）に対してのバイアス設定 → ライブ性
Continuator (François Pachet 2002)
片寄晴弘 関西学院大学理工学部 音楽情報処理 講義資料 2020
原理：（木構造）マルコフ遷移モデルを利用コーパス中に {A B C D} と {A B B C}
ユーザ入力：A Bマッチマッチ
B Cマッチ
D
Continuator (François Pachet 2002)
セッションシステムでも取り上げたが、もっと理解できるようになったはず！
片寄晴弘 関西学院大学理工学部 音楽情報処理 講義資料 2020
マッチング（探索）1. pitch * duration * velocity2. small pitch region * velocity3. small pitch regions4. large region
SPARSENESS 問題への対応
だんだん，探索基準を緩和
Continuator (François Pachet 2002)
片寄晴弘 関西学院大学理工学部 音楽情報処理 講義資料 2020
•歌詞からの自動作曲システム• “Orpheus”
n任意の日本語入力→韻律抽出→自動作曲→歌声合成出力
n正統的な歌唱曲作曲法n音声合成技術（GalateaTalkで韻律生成）＋和声構造＋リズム木構造＋伴奏音型＋和声学＋動的計画法(DP)
リズム 和声 伴奏音型
旋律設計（DP）
旋律
韻律
歌詞入力
伴奏つき歌唱信号
リズムライブラリ
和声ライブラリ
伴奏音型ライブラリ
GalateaTalk
MIDI出力
HMM歌声合成
伴奏
Orpheus
• OrpheusBB• Baysian network 利用で、ユーザによるコード・メロディ変更にあわせて実時間修正
Orpheus（嵯峨山ら 2007～)
片寄晴弘 関西学院大学理工学部 音楽情報処理 講義資料 2020
金曜日の昼間は天気が回復し太陽がチラッと顔を出します （天気予報文から）
和声、リズム、伴奏に整合するＤＰ経路問題韻律
Orpheus（嵯峨山ら 2007～)
片寄晴弘 関西学院大学理工学部 音楽情報処理 講義資料 2020
DeepBach
• 四声体和声課題（メロディに対してバス、アルト、テノールパートを生成する課題）を実施
• バッハの賛美歌曲 352曲とそれらを転調させたもの2503曲を元に学習
• 過去と未来の系列にLSTM (Deep-RNN）を適用するのがポイント
• 400名のプロのミュージシャンや音大学生を含む1600人テストで、半数がオリジナルだと間違う精度
聞く
(Gaëtan Hadjeres, François Pachet 2016)
片寄晴弘 関西学院大学理工学部 音楽情報処理 講義資料 2020
RNN(1986~) :• ノードにフィードバックループを設けることで、時系列情報（前後関係）を扱うことを可能としたネットワークモデル• 自然言語や音声情報の処理が応用範囲
LSTM(1997~）:• 基本的にはRNNと同じだが、内部に直前の状態を参照できるチャネルを有する• この仕組みにより現在から離れた情報のコーディングができる
DeepBach (LSTMとRNN)
特に、深層学習ブームとともに LSTM において実用レベル研究が進展！
片寄晴弘 関西学院大学理工学部 音楽情報処理 講義資料 2020
Coffee Break（音楽と深層学習）深層学習• ここ10年すごい勢いで進展しています！ CNN, LSTM, GAN で検索してみよう！
深層学習の音楽応用• 同上（特に！この5年） 全部は紹介しきれないので、勉強先情報です．• オススメ勉強用資料徳井直生 先生のサーベイ deep-learningを用いた音楽生成手法のまとめ-サーベイ (2017)Jean-Pierre Briot, Gaëta Hadjeres, François Pachet: Deep Learning Techniques for Music Generation -- A Survey, [last revised 7 Aug 2019] Jean-Pierre Briot: From Artificial Neural Networks to Deep Learning for Music Generation --History, Concepts and Trends, [Submitted on 7 Apr 2020]
• オススメ事例 「Jukebox」歌手名・ジャンル・歌詞入力で自動作曲（audio）https://openai.com/blog/jukebox/ (2020) ←サイトから音も聞けます。この実装では「歌詞」が変数ですが、システムが「歌詞が何か」わかっているわけではありません。→音楽の表象の一つということで，ほぼ同じアーキテクチャでメロディやコード、テンション等への適用（モデル化）が見込まれます。また、スタイル変換深層学習 やCycleGAN との組み合わせで、さらにすごいことになりそうです。（日本語 Jukebox紹介記事 by 徳井直生 先生）
片寄晴弘 関西学院大学理工学部 音楽情報処理 講義資料 2020
•実用的な使用を目指して開発された編曲（作曲）システム•一般的なコード記号（Ｃ～Fm7b5 などテンション付のコードネーム）を入力•音楽ジャンル（スタイル）を選択することで，ベース，ドラム，ピアノ，ギター，ストリングスなどの編成の伴奏を生成•コンピューター誌で数々の賞を受賞．•バージョン７からはソロパートの生成機能が付加
wave1 wave2
商用システム Band-in-a-Box
片寄晴弘 関西学院大学理工学部 音楽情報処理 講義資料 2020
• イリアック組曲 (1957) 以来の自動・作編曲研究のパラダイム• ルールの利用• 乱数の利用• 自動作・編曲システムと創造性
• 自動作・編曲システム（事例紹介）• EMI（D. Cope による 90年代初頭からの自動作曲プロジェクト）• ハービー君（ジャズリハーモナイゼーション）• Conkinらの予測モデル（メロディの予測）• Continuator（上記基本コンセプトのリアルタイム版）• Orpheus（「ぞうさん」スタイルのメロディ生成）• DeepBach（深層学習 (LSTM)によるバッハ風作曲）• Jukebox（深層学習系最終形態の先駆け？）• Band in a Box（定番商用システム）
• Max演習にむけての実践的テクニック紹介• uni-gramによる音列生成• スケール制約の適用• 擬似1/f 乱数ジェネレータ
片寄晴弘 関西学院大学理工学部 音楽情報処理 講義資料 2020
Max演習にむけての実践的テクニック紹介
•スケールの導入•擬似1/f乱数によるピッチ制御•サンプル（サカナクション「ミュージック」バージョン）
片寄晴弘 関西学院大学理工学部 音楽情報処理 講義資料 2020
擬似 1/f 乱数（uni-gram）によるメロディ生成
片寄晴弘 関西学院大学理工学部 音楽情報処理 講義資料 2020
サンプル（サカナクション「ミュージック」バージョン）
擬似 1/f 乱数（uni-gram）によるメロディ生成
Max利用で、打楽器・バッキング・メロディを順に積み上げていくライブコーディングパフォーマンスも可能です。自由課題として取り上げてみるのも面白いです。
