Loupe study 3

LOUPE STUDY #3

メディアプログラミング on Processing

2014/09/22 Daichi Harada

今日の話

• 音と映像のカンケイ

• Processingで映像を扱う

• Processingで音を扱う

音と映像

音楽は多感覚体験

　私たちが音楽に触れるとき、聴覚以外の感覚が完全に遮断されてしまうことは、まずない。強いて言えば暗闇の中にじっとしてヘッドフォンで音楽を聴く、といった時くらいで、そうした状況はありえなくはないとしても、極めて稀なことと言わざるを得ない。それにかなり近い状況として、というよりそうした状態を理想とするかのように諸条件を整えてきたものとしてクラシックの演奏会があるが、それでも演奏者の姿や身振りは音とともに目に入ってくるし、会場全体の空気というか雰囲気のようなものも、身体全体に(恐らく触覚を主な経路として)伝わってくるものである。演奏する側に回れば、一切の身体運動なしに音を出すことは不可能であり、楽器演奏であれ歌であれ、指の動きや喉のふるえといった音を出す行為に伴う身体運動を視覚や触覚を通じて感じ、それと音とをフィードバックさせながら演奏行為は行われるものである。

　今挙げたような音楽に伴う視覚的要素や身体的＝触覚的要素は、所詮音楽にとって付随的なものであり、捨象されて差し支えのないものだ、という反論もあるかもしれない。だが、身体的要素や視覚的要素が、聴覚的要素と同等かそれ以上の関係で、より不可分に結びつき合っている音楽の例は、極めて多い。というよりも、近代西洋音楽の通念から離れ、音楽のあり方を歴史的にも地域的にもより広い視野から眺めた場合、むしろそうした例の方が一般的であるとさえ言えよう。

音楽のマルチメディア性 http://homepage3.nifty.com/jy/essays/media_multi.htm

Rez

音楽の未来｜水口哲也×kz（livetune） 7:16～

https://www.youtube.com/watch?v=KVXHLxWI9E4

音楽を軸とした マルチメディア体験

先日これのリリースパーティ いってきました笑

音/映像/プログラミング

Processing・JAVAベース ・画像、映像処理が得意 ・音も扱える ・アート系プログラミングによく使われる ・学生や、ノンプログラマーのアーティストデザイナーにも使いやすい(やさしい)

・Processing JS(HTML 5とJavaScriptで手軽に扱える) ・OpenCVやMax/MSP等との連携 ・Arduinoとの連携

サンプル

http://processing.org/exhibition/works/withouttitle/index_link.html

http://processing.org/exhibition/works/base26/index_link.html

フラクタル図形

Kinectと連携

キネクトを使ったVJ https://www.youtube.com/watch?v=d0L7rxEJVw8

円を描いてみようellipse(x座標,y座標,幅,高さ)

円を描いてみようsize(x,y)でキャンバスのサイズを指定

for文など制御構造は JAVAそのまま

Processingで 音を扱う

音って何？

→「波」

どんな波形も三角関数の和で 表す事ができるんだ！

https://www.youtube.com/watch?v=qB0cffZpw-A

画像のフーリエ変換

オーディオ スペクトログラム

http://macromarionette.com/computergraphics/cg9.html

周波数成分を 解析、

可視化する！

FFT (高速フーリエ変換)

サイン波を 合成してみる

(シンセサイザー)

http://r-dimension.xsrv.jp/classes_j/minim/

振幅と波長が変わるsine1を sine2に混ぜるとどうなる？？

音を 視覚化

振幅(音の大きさ)をテキトーに映像のパラメータに入れるとそれっぽくなる

draw() 毎フレーム呼び出され、

画面を更新

setup() プログラム開始前の準備

fileSelected() setup()内のselectInput で選択した後呼ばれる

mousePressed() マウスクリックした時

Animal クラス ・□一個一個が これのインスタンス。 ・衝突した/しないを 判定する ・目的地へ移動 ・inputされた音の大きさ に応じてサイズが変わる

ご清聴ありがとう ございました