プログラムで映像をつくるとは?? ~超入門編~

プログラムで映像をつくるとは？？ 超入門編！！神田 竜

目次• 自己紹介• 作例紹介• 触ってみよう

自己紹介• 神田竜• Kezzardrix 名義で活動• フリーランスのプログラマ• VJ• SjQ++• VMO• HEXPIXELS• 展示の手伝いとか

自己紹介• LINE スタンプなども出しました• ケザドリ

自己紹介• クリエイターケザドリ

自己紹介• ヒップホップケザドリ

自己紹介• ケザジジケザババ

本日よろしくお願い致します !!!

作例紹介

映像仕事多い

ほぼ全てプログラミングして作る

プログラミング映像の利点• レンダリング待ちがない！• リアルタイムに色々出来る！　→　何かに反応　→　パラメータを変更可• かゆいところに手が届く！　→　便利な機能を思いついたら自分で作る　→　デバイスと組み合わせるとか　

オーディオリアクティブ VJ

• https://www.youtube.com/watch?v=eryQb3e77r8

• http://www.creativeapplications.net/maxmsp/hexpixels-c-punks-a-unit-for-realtime-visual-expression/

• パラメータやシーンをリアルタイムで操作• ミキサーをプログラミング

SjQ++

• https://vimeo.com/77019029

• オーディオビジュアルな即興演奏バンド• 楽器を個別にセンシング• 演奏を聞いて映像を変える• 映像を見て演奏を変える→ 　お互いにフィードバックする

SDKezzardrix

• https://vimeo.com/160073609

• レーザー担当の Motoi Shimizu 君とのユニット• レーザーと PJ をキャリブレーションして使う

パフォーマンス• Dividual Plays• 安藤洋子 + YCAM によるプロジェクト• http://special.ycam.jp/ram/

• 自作モーションキャプチャを利用• https://vimeo.com/121890356→ 客ではなくダンサーに見せる映像　→ダンスの動きのアイデアになる情報を作る

展示案件• 天吊のセンサーカメラ (KinectV2) で人を検知• ネットに出せません案件

映像制作• LITE の MV• https://www.youtube.com/watch?v=

tTVs1MoR2kA

• 事前に楽器のファイルをバラで貰って解析• リアルタイムで動かしてキャプチャ• Take20 くらい撮った• 初回のを未編集で採用。。。

まとめ• 普通の映像制作じゃ無理なこと→ 　インタラクティブ、他セクションとの連携• 普通の映像制作じゃめんどいこと→ 事前解析、データベース、ランダマイズ

んじゃ、実際どんな感じで作るの？

何使うの？&どんな流れで作るの？

プログラミング環境の種類• 色々あります• ビジュアルプログラミング• コードをガリガリ書くもの• ゲームエンジン　　　　　　　　　　　　　　↓　　　　　　　　それぞれ特性が違う！

ビジュアルプログラミング

ビジュアルのプログラミング？

ビジュアルでプログラミング！

ビジュアルプログラミング• GUI を使って開発• 多くの環境が、箱と箱を線で繋いで開発→ 　パッチング→ 　動かしながら開発できる• プログラミング初心者でも参入しやすい

Max7• Cycling74 が開発　→ https://cycling74.com/

• 音楽と映像を同時に扱える• 業界標準• 元々は音楽用のソフト　→　音響処理が超得意

Max7• 有料• 昔は高かったけど、今は安い

Pure data• https://puredata.info/• Max にも関わっていた音楽家が立ち上げ• 無料• 音響処理は強い• 映像も扱える• 編集のこなれ具合でいうと Max には劣る　→ パッチの整理とか

VVVV

• https://vvvv.org/documentation/jp.propaganda

• Windows のみ• 有志が開発したプラグインが凄い• DirectX によるレンダリング

Touch Designer

• http://www.derivative.ca/

• Windows のみ• GUI が独特• 照明の制御などにも使われる

まとめ• プログラミングの入門にはかなり良い• Max がオススメ• かゆいところに手が届かないことがある→ 自分で箱自体を作ることも可能　→ ソースが公開されてるので頑張って書く• GUI を描画しているので、少し重い

２、コードベース

コードベース• エディタを使ってコードを書く• コードからアプリケーションを生成

コードベース• 利点• （ほぼ）なんでも好きなように出来る　→　足りない機能は自分で開発可能• 欠点• 全部自分で書かないといけない　→　カメラの設定、物体の質感　→　設定を保存したかったら保存機能を開発

コードベース• 多くの環境が開発と実行が分かれている　→ 動かしながらコードを変えられない　→ コードがアプリケーションを吐くまで待つ　　→　コンピュータがコードを解釈　　→　アプリに固める処理をやる　　　→ コンパイル

閑話休題

プログラミング言語の話

言語は色々あります• C言語• C++• C#• Java• JavaScript　→　全部文法が違う　→　文法は違うけど、基本は同じ　→　英語とか日本語と同じ

今日紹介するのは• それらの言語で書かれた便利なコード集• アートとかデザイン向けの機能• ツールキット• ライブラリ→ 　便利な機能は先人が作ってくれている　→　ウィンドウを作るとか誰が開発しても同じ　　→　その上で中身のネタを作る• 言語そのものがわかれば拡張可能

クリエイティブコーディング• oF とか Processing とかをまとめてこう呼ぶ• Cinder がカンヌをとったくらいから？• バズワード

Processing

• https://processing.org/• 教育向け• Java ベースの言語

Processing

• 難易度は比較的低め• 開発環境の導入がしやすい　→ 落としたらすぐに動く• Java で動いているのでちょっと重い

openFrameworks• http://openframeworks.cc/ja/• 通称 oF• 日本では恐らく一番人気

openFrameworks• 様々なオープンソースのコードを利用→ 映像生成→ 動画再生→ サウンド→ デバイスなど• これらを繋ぐ「糊」のようなもの• アドオンと呼ばれる拡張機能を有志が開発→ http://ofxaddons.com/

openFrameworks

• 利点• C++ ベースなので速い• 日本のユーザー多めでコミュニティもある　→ 質問がしやすい• C++ が難しい• C++ は果てしない

Cinder

• https://libcinder.org/about• oF と同じく C++• モダン OpenGL など、新しい機能を積極的に取り入れる

Cinder

• 映像のかなり深いところまで開発しやすい• oF よりもエンジニア向けに色々設計されてる• 初心者向けではない　→　 example も難しめ　→　映像プログラミングの深いところを知らないと意味不明なコードが多い

Three.js

• http://threejs.org/

• Javascirpt ベースのツールキット• WebGL が動く　→　スマホでも３ D が表示できる　

ちょっと oF 書いてみます？

openFrameworks

• void 〜 () というブロック• 関数と呼ぶ　→　仕事毎に役割分担するようなもの• それぞれの関数に処理を分けて書く

openFrameworks

• setup→ アプリ全体で使う設定　→　アプリ起動時に一度だけ呼ばれる• update→ 毎フレームの更新処理• draw→ 描画処理

まとめ• 細かいことは色々出来る• リッチな表現などをやろうとすると大変そう

ゲームエンジン• ゲームを開発する用途に作られたもの• GUI で操作• コードもかける• 便利な機能が盛りだくさん• デザイナーでも作業できる• 自分で拡張するのも可能• 出来ないことは出来ない　

ゲームエンジン• 昔はゲーム会社だけが大金払って使用• モバイルゲームなどの普及でゲーム開発も個人へ• 個人でも使えるようにライセンス緩和• 売り上げが少なければタダで使える

ゲームエンジン• ゲーム作んないけどアートとか展示に便利そう• oF で全部作ると→ 　最新のレンダリングテクニックの実装大変

Unity

• http://japan.unity3d.com/• 最新バージョンは 5• 昔は有料だった機能もタダで使えるように• デスクトップアプリ、モバイルアプリ、 web 開発など幅広く対応• アセットストアが充実　→　金の力で解決だ

Unreal Engine

• https://www.unrealengine.com/ja/what-is-unreal-engine-4

• ゲーム業界での実績が凄い• 立ち上げた瞬間から絵が綺麗　→ハイスペックの PC でないと動かない

Unity を体験してみる• GUI で操作• マテリアルの設定とかすぐ• コードも書ける　→ 外部エディタで書く　　→ 言語は C# か JavaScript

• draw がないので描画は Unity任せ　→　拡張しようとすると色々めんどい　　→ でも、僕ら的にはそこが一番楽しい