Dynamic Effect ChangerBy using Kinect

CPSF新人B1 Shochan 親 kyopanさん

概要

ギターのエフェクトチェンジをジェスチャーで行うことができるシステムを作る

背景

ロックといえばダイナミックな演奏

コンパクトエフェクターの需要が常に高い

Kinectを用いた研究が盛ん

※コンパクト・エフェクター→後ほどイメージ有り

エフェクター

問題意識

・移動できる範囲が制限される→エフェクトボードの位置が固定されている

・エフェクトチェンジの動作が地味→足でボタンを押さなければいけないので、目線が落ちる

目的

エフェクトチェンジをかっこ良く

遠隔操作でのエフェクトチェンジ

機能要件

・体の動きを用いる

・エフェクトチェンジをコントロール

アプローチ

・動作解析モジュールKinectを用いてユーザーの動きを検知

・シリアル送受信モジュールKinectの情報を Arduinoに送信

Human Input & Robotic Operating Power ON System

動作解析モジュール

シリアル送受信モジュール

アクション検出：、ジャンプを検出

状態検出：エフェクターの状態を監視し、最適なスイッチングを実行

Arduino接続 : Kinectを用い、 processingでつま先と膝・肩の座標を取り、mac経由で　　　　　　　 Arduinoに情報を送る

使用するハードウェア

・動作読み込みのために使用する機材→Kinect

・エフェクターの電源の ON/OFFを制御する→Arduino

・ Kinectの情報を処理して Arduinoに送る→Mac

・ Kinectを用いて動作を読み取る→動作：ジャンプ

・Macから USBケーブルを介して Arduinoに転送することで、コンパクトエフェクターを ON/OFFさせる

詳細

・ハードウェア→Kinect/コンパクト・エフェクター

・使用言語Processing/Arduino

想定環境

評価　

・想定環境→300人程度収容できるライブハウス

・システムの正確性を検証→誤作動を起こさないかどうかを、指定した動作に類似した動作（例えばジャンプとステップなど）をすることによって確認

実装結果

途中までだが、本システムのコアの部分ができた！

わかったこと

　・ Kinectによってパフォーマンスが制限されてしまう

・ギターを持っているとセンシングが難しい

今後

・研究テーマを変更→dynamicから smartパフォーマンスでチェンジ→パフォーマンスがし易いシステム（遠隔操作）

・使用機材の吟味→Kinect以外のセンシング方法を再考人感センサー、光センサー

ご清聴ありがとうございました