Upload
takayuki-itoh
View
2.364
Download
1
Embed Size (px)
DESCRIPTION
可視化情報シンポジウム2014での講演資料
Citation preview
ユーザインタフェースとしての音楽情報可視化
伊藤貴之お茶の水女子大学
理学部情報科学科 教授
2014年7月22日 可視化情報シンポジウム
Itoh Laboratory, Ochanomizu University
講演内容
• 講演者の自己紹介
• お茶大伊藤研における音楽情報可視化の事例
– クラシック音楽のスコア情報の可視化
– ポータブル音楽プレイヤーのユーザインタフェース
– 対話型進化計算を用いた音楽推薦インタフェース
• 考察と展望
1
Itoh Laboratory, Ochanomizu University
最近の研究:1ページで要約
3
情報可視化 3次元CG応用
マルチメディアUI
Itoh Laboratory, Ochanomizu University
なぜ音楽情報可視化
• 可視化のチャレンジ性を説明しやすい課題一つ– 鑑賞に時間がかかるコンテンツの俯瞰・概観
– 主観(聴覚)から主観(視覚)への変換
– 多彩なアプリケーション
• 日本ではマイナーかもしれないが海外ではホットな話題– 例えば以下のチュートリアル
http://www.slideshare.net/plamere/using-visualizations-for-music-discovery
• 伊藤自身の学生時代からの趣味– 作曲、指揮、DTM、管楽器、その他の楽器
• 学科学生に人気の高い研究分野
4
Itoh Laboratory, Ochanomizu University
講演内容
• 講演者の自己紹介
• お茶大伊藤研における音楽情報可視化の事例
– クラシック音楽のスコア情報の可視化
– ポータブル音楽プレイヤーのユーザインタフェース
– 対話型進化計算を用いた音楽推薦インタフェース
• 考察と展望
5
Itoh Laboratory, Ochanomizu University
Colorscore:大きな1曲の構造を可視化する
• 何十段もあるクラシック音楽の楽譜(スコア)を色に置き換えて要約表示する
• メロディの種類で小節を色分けする
6
木管楽器
金管楽器
打楽器弦楽器
前半 後半
Itoh Laboratory, Ochanomizu University
事例:チャイコフスキー「花のワルツ」
77
主旋律 伴奏(和音) 伴奏(低音) その他(装飾)
青紫色の主旋律に着目
Itoh Laboratory, Ochanomizu University
シンプルな圧縮表示で要点を読みやすく
• できるだけ重要な色を残しながら段数を減らす
8
Itoh Laboratory, Ochanomizu University
講演内容
• 講演者の自己紹介
• お茶大伊藤研における音楽情報可視化の事例
– クラシック音楽のスコア情報の可視化
– ポータブル音楽プレイヤーのユーザインタフェース
– 対話型進化計算を用いた音楽推薦インタフェース
• 考察と展望
9
Itoh Laboratory, Ochanomizu University
GRAPE: プレイリスト単位の音楽情報可視化
• 数十曲の楽曲群(プレイリスト)を1枚の抽象画像に
• 多数のプレイリストの印象・特徴を1画面に一覧表示
• 色で各楽曲の特徴を表現→プレイリストをグラデーション表現
10
※GRAPE = GRadation Arranged Playlist Environment
Itoh Laboratory, Ochanomizu University
GRAPEにおける楽曲の色づけと配置
• 色づけ:
各曲の音響情報から得られる3つの特徴量をYCbCr色座標の3変数に割り当てる
• 配置:SOM (Self organizing map) によって各曲の2次元座標値を求める
11
Y: 高周波のエネルギー比
Cb: テンポ
Cr: 音量の平均
Itoh Laboratory, Ochanomizu University
GRAPHによる可視化の例
12
Itoh Laboratory, Ochanomizu University
ユーザ(A) のプレイリスト:• 音量の大きいポップス中心• バラード曲にて色彩の差が際立つ
ユーザ(B) のプレイリスト:• ポップスからBGM曲までバラエティ豊富
ユーザ(C) のプレイリスト:• 音量差の大きいクラシック中心• シンプルな編成の曲の色彩が暗い傾向
※曲調をあてさせるクイズ実験においてもおおむね良好な結果を得る
Lyricon: 複数のアイコンによる歌謡曲表現
• 歌詞からキーワード探し → アイコン候補選び
• 曲調の推測 → アイコンを決定
• プレイリストの一部として表示
13
Itoh Laboratory, Ochanomizu University
Lyriconのアイコン選択結果 (1/2)
14
SUMMER TIME / NEWS
空・海・星 …夏全開!
春夏秋冬 / ヒルクライム
花・海・紅葉・雪だるま …四季折々
Itoh Laboratory, Ochanomizu University
Lyriconのアイコン選択結果 (2/2)
15
SAKURA / いきものがかり
故郷を回想 都会に花桜を中心とした情景描写の中のアクセント
Alive / Mr. Children
都会・仕事への怒り
夢・希望・未来
恋人・花
徐々に前向きに展開するストーリー性
Itoh Laboratory, Ochanomizu University
講演内容
• 講演者の自己紹介
• お茶大伊藤研における音楽情報可視化の事例
– クラシック音楽のスコア情報の可視化
– ポータブル音楽プレイヤーのユーザインタフェース
– 対話型進化計算を用いた音楽推薦インタフェース
• 考察と展望
16
Itoh Laboratory, Ochanomizu University
MusiCube: 音楽推薦結果の可視化
17
Itoh Laboratory, Ochanomizu University
音楽特徴のうち2軸を選んで楽曲をプロット
自動生成したプレイリスト
音楽特徴の選択タブ
未評価
提示中 反対
賛成
再生、停止、賛成、反対、などの各種ボタン
https://www.youtube.com/watch?v=ILqP4O3T0Yk
MusiCubeによる推薦結果パターン
• 被験者A・Bは嗜好がよく似ている– 音量平均が小 → 音量変化のあるアコースティック系?
– 高音/低音比が小 → キラキラ音の少ないシンプルな編成?
• 被験者Cは大きく異なる– 不協和音比が小 → オーソドックスな作曲技法?
18
Itoh Laboratory, Ochanomizu University
音量平均
音量平均
音量平均
高音/低音比 高音/低音比 不協和音比
被験者A 被験者B 被験者C
講演内容
• 講演者の自己紹介
• お茶大伊藤研における音楽情報可視化の事例
– クラシック音楽のスコア情報の可視化
– ポータブル音楽プレイヤーのユーザインタフェース
– 対話型進化計算を用いた音楽推薦インタフェース
• 考察と展望
19
Itoh Laboratory, Ochanomizu University
お茶大伊藤研における音楽情報可視化
• 原則として「合奏情報可視化」– 音楽的に完成した情報 (楽譜 or 録音物) を対象
– 2種類の入力情報
• 楽譜情報(MIDI)からの音楽構造分析
• 音響情報(WAV,MP3)からの特徴量算出
• 可視化すること自体はゴールではない– 独習、選曲、推薦などのためのユーザインタフェース
– 「能動的音楽鑑賞」 (産総研 後藤先生の提唱)の一種
• 実用シナリオに基づく分類– 一般人か専門家か、曲数は多いか少ないか、
20
Itoh Laboratory, Ochanomizu University
お茶大伊藤研における音楽情報可視化
21
Itoh Laboratory, Ochanomizu University
曲数
一般人向け専門家向け
音楽群の傾向分析
スコアの俯瞰
音楽推薦
ポータブルインタフェース
写真と音楽のマッチング
今後の展望
• ユーザの感性へのアプローチを拡げる– 心理学的に客観性のある理論の導入
– Deep Learning などによる大局的な学習計算
• 音楽鑑賞定額化がもたらす展開– 本当の意味でのスケーラブルな手法の必要性
– 新たなアプリへの展開…例えば:推薦結果や可視化結果の友人間での共有
• 音楽生成との連動– ボーカロイド、n次創作…
• そのほか、現実的なこと– 誰もが納得するユーザ評価手法の確立
– 実用化 (企業共同研究やダウンロードアプリ) への展開
22
Itoh Laboratory, Ochanomizu University
参考文献
• 本発表で紹介した事例
– A. Hayashi, T. Itoh, M. Matsubara, Colorscore - Visualization and Condensation of Structure of Classical Music, Knowledge Visualization Currents: from Text to Art to Culture, Springer Edit Volume, ISBN-978-1-4471-4302-4, 2012.
– W. Machida, T. Itoh, Lyricon: A Visual Music Selection Interface Featuring Multiple Icons, International Conference on Information Visualization, pp. 145-150, 2011.
– T. Uota, T. Itoh, GRAPE: A Gradation Based Portable Visual Playlist, International Conference on Information Visualization, 2014.
– Y. Saito, T. Itoh, MusiCube: A Visual Music Recommendation System featuring Interactive Evolutionary Computing, International Symposium on Visual Information Communication & Interaction, 2011.
• 本発表で紹介していない事例
– K. Ohyama, T. Itoh, DIVA: An Automatic Music Arrangement Technique Based on Impressions of Images, Lecture Notes in Computer Science, Vol. 4569 (Smart Graphics 2007), pp. 178-181, 2007.
– K. Kusama, T. Itoh, Abstract Picture Generation and Zooming User Interface for Intuitive Music Browsing, Springer Multimedia Tools and Applications, DOI 10.1007/s11042-012-1108-y, 2012.
– A. Uno, T. Itoh, MALL: A Life Log Based Music Recommendation System and Portable Music Player, ACM Symposium on Applied Computing, Multimedia Visualization, 2014.
23
Itoh Laboratory, Ochanomizu University