Flex 勉強会第 166 回＠仙台「AIRKinectについて」 by tokufxug

AIRKinect について

FxUG 勉強会第166回 in 仙台

2012年 04月21日 (水) 徳山禎男

アジェンダ

自己紹介

Kinectとは

Kinectの開発環境について

AIRKinectとは

AIRKinect2.1による開発

AIRKinect事例（動画）

AIRKinectをはじめる人は…

自己紹介

自己紹介

tokufxug

http://twitter.com/tokufxug/

徳山禎男

業務システムWEBアプリ開発者

http://twitter.com/tokufxug/

自己紹介

よく使用しているテクノロジー

Java （Servlet, JSP, Struts）

Flex 3, AIR 1.5

FxUG東京勉強会運営メンバー

Kinectとは

Kinectとは

マイクロソフト社の家庭用ゲーム機。 XBOX360用のモーションセンサーコントローラ。

Kinectとは

マイクロソフト社の家庭用ゲーム機。 XBOX360用のモーションセンサーコントローラ。

体の動きやジェスチャー、音声を認識して遊ぶことが可能。

Kinectとは

KinectはUSBで接続します。

Kinectとは

USB接続が可能なことから、 PCやMacに接続して…

Kinectとは

USB接続が可能なことから、 PCやMacに接続して

Kinect用ライブラリを使ったアプリケーションが開発されました。

Kinectとは

この現象を「Kinectハック」と呼ばれるようになります。

Kinectとは

この現象を「Kinectハック」と呼ばれるようになります。

Kinectハックをきっかけに、マイクロソフトから、 Windows用ドライバがリリースされます。

Kinect 開発環境について

Kinect SDK Beta2

対応OS:Windows7 ～（詳細な要件はこちら）

Kinect for XBOX ¥14,800-

http://www.microsoft.com/en-us/kinectforwindows/develop/beta.aspx

http://www.atmarkit.co.jp/fdotnet/kinectsdkbeta/kinectsdkbeta01/kinectsdkbeta01_02.html


Kinect SDK Beta2

対応OS:Windows7 ～（詳細な要件はこちら）

商用利用不可非商用可（2016年6月16日まで）


http://www.microsoft.com/en-us/kinectforwindows/develop/beta.aspx

http://www.atmarkit.co.jp/fdotnet/kinectsdkbeta/kinectsdkbeta01/kinectsdkbeta01_02.html


OpenNI（OpenNI, Nite, SensorDriver）

対応OS:Windows7 ～

SimpleOpenNIプロジェクトで全て揃うようです。


http://code.google.com/p/simple-openni/wiki/Installation


商用利用版もあります。


Windows に対応した Kinect for Window が必要です。

http://www.microsoftstore.jp/Form/Product/ProductDetail.aspx?shop=0&cat&swrd&pid=GME0000142



価格は¥24,800- マイクロソフトオンラインショップで販売しています。




Kinect SDK Version 1

対応OS:Windows7 ～


http://www.microsoft.com/en-us/kinectforwindows/develop/overview.aspx



Kinect for Windows と Kinect SDK

バージョン1によるアプリは商用可｡




Kinect for XBOX と Kinect SDK

バージョン1によるアプリは､

商用/非商用どちらとも不可｡




Kinect for XBOX と Kinect SDK

バージョン1によるアプリは､

商用/非商用共に不可｡



Mac（ Lion, Snow, Leopard ）の場合






OpenNI, Nite,

SensorKinect が必要。



Windows に対応した Kinect for Window は…




Macでは認識しませんでした…｡




Kinect for XBOX でないと､

動作しないようです｡



AIRアプリからKinectセンサーに

アクセスするには…？


AIRKinect

http://www.as3nui.com/air-kinect/

AIRKinectとは

AIRKinectとは

AIRアプリケーションから

Kinectセンサーを利用する為の

ライブラリ。

AIRKinectとは

AIRアプリケーションから

Kinectセンサーを利用する為の

ライブラリ。

開発元：as3NUI

http://www.as3nui.com/air-kinect/

AIRKinectとは

AIR 3 の新機能、

ネイティブ拡張 for AIR で開発。

AIRKinectとは



ライブラリだけでなく、

Windows なら Kinect SDK、

OpenNIが必要。

Mac は、OpenNIのみ。

AIRKinectとは



ネイティブの実装は意識せず、

ActionScriptだけで、

Kinectアプリが、作れます。

AIRKinectとは

AIRKinectのバージョンについて

AIRKinectとは


AIRKinect version 1.x

AIRKibect version 2.x

AIRKinectとは



AIRKibect version 2.x

バージョンが2つ存在します。

AIRKinectとは


AIRKinectとは


最新版：version 1.7.1

はじめにリリースしたバージョン

機能：

RGBカメラ, 深度カメラ,

骨格追跡

AIRKinectとは



機能拡張用ライブラリも別途提供。

AIRKinectとは



機能拡張：

ヒストリー、骨格追跡の保存と再生、

ジェスチャー, 領域判定…etc

AIRKinectとは

AIRKinect version 2

最新版：version 2.1

AIRKinectとは

AIRKinect version 2


実装方法が簡単になりました。

機能：

RGBカメラ, 深度カメラ,

骨格追跡, PointCloud

AIRKinectとは

AIRKinect version 2


実装方法が簡単になりました。

機能：

OpenNI for Windowsの対応、

ニアモードの対応（MSオンリー）

AIRKinectとは

AIRKinectには、

オーディオ機能が

搭載されていません。

AIRKinectとは

今回は、

AIRKinect2.1を使用した

AIRアプリ開発に

ついて解説します。


今回使用する開発環境：



Windows 7 搭載 PC

Kinect SDK version 1.0

Flash Builder 4.6

AIR 3.1



Windows 7 搭載 PC

Kinect SDK version 1.0

Flash Builder 4.6

AIR 3.1 AIRKinectがSWFバージョン14な為、

作成するアプリはAIR3.1以上が必須条件。


準備

http://as3nui.github.com/airkinect-2-core/


準備

airkinect-2-coreページに

アクセス。








準備

airkinect-2-coreページに

アクセス。

Download の zip をクリック。








準備

ZIPフォルダを解凍後、binフォルダにあるairkinect-2-xx.aneを取り出します。

Kinect SDKの方

OpenNIの方


準備

ANEファイルがネイティブ拡張 for AIR のライブラリファイルです。 Kinect SDKの方

OpenNIの方


準備

AIRプロジェクトの作成を

行った後、

airkinect-2-xx.aneを

ネイティブ拡張ライブラリと

して登録します。


準備リソース→ActionScriptビルドパス→ネイティブエクステンションで「ANEを追加」

準備リソース→ActionScriptビルドのパッケージ→ネイティブエクステンションでパッケージの箇所のチェックボックスに

チェックを入れます。


開発


開発

AIRKinect2.1のコアクラス


開発


RGBカメラの実装


開発



深度カメラの実装


開発




骨格追跡の実装


開発





マスクモードの実装


開発






ポイントクラウドの実装


開発



開発


com.as3nuinativeExtensions.air.kinect

Kinectクラス

KinectSettingクラス


開発

Kinectクラス


開発

Kinectクラス

Kinectセンサーの設定、実行開始、

実行終了、カメラやセンサーから

取得した情報を管理するクラス。


開発

Kinectクラス

実装例

var kinect:Kinect = Kinect.getDevice();

… … … … … …

kinect.addEventListener(…

kinect.start(kinectSetting);


開発



開発


Kinectセンサーの各種モードを

設定する為のクラス。


開発


実装例（RGBカメラ - 320x240）

var setting:KinectSetting =

new KinectSetting();

setting.rgbEnabled = true;

setting.rgbResolution = CameraResolution_320_240;


開発

実装の流れ


開発

実装の流れ

if (Kinect.isSupported()) {

…

}


開発

実装の流れ

// Kinectセンサーの接続有無


…

}


開発

実装の流れ

// Kinectセンサーの接続有無


// Kinectの処理を記述…

}


開発

実装の流れ

// Kinectの処理を記述


開発

実装の流れ

// Kinectの処理を記述 var kinect:Kinect = Kinect.getDevice();


開発

実装の流れ

// Kinectの処理を記述 var kinect:Kinect = Kinect.getDevice();

kinect.addEventListener(

DeviceEvent.STARTED, onStart);

kinect.addEventListener(

DeviceEvent.STOPPED, onStop);


開発

実装の流れ var kinectSetting:KinectSetting =


// kinectSettingで設定処理を行う。


開発

実装の流れ var kinectSetting:KinectSetting =


// kinectSettingで設定処理を行う。

// 必要なイベントを登録後、

// kinect開始。

kinect.start(kinectSetting);


開発

RGBカメラとは？


Kinectの映像カメラから BitmapDataに変換したデータを取得する機能。解像度： 160x120, 320x240, 640x480

開発



開発


Kinectクラスの取得。

KinectSettingにRGBカメラモードを

設定。解像度も設定する。


開発


KinectクラスにRGBカメラ更新

イベントを登録。


開発


KinectクラスにRGBカメラ更新


CameraImageEvent.RGB_IMAGE_UPDATE


開発


Kinectをスタート。


開発



RGBカメラのデモを行います


開発

深度カメラとは？


Kinectの近赤外線カメラから BitmapDataに変換したデータを取得する機能。奥行情報をモノクロ階調で表現。ユーザー認識やニアモードにも対応。

開発



開発



KinectSettingに深度カメラモードを

設定。解像度も設定する。


開発


Kinectクラスに深度カメラ更新



開発


Kinectクラスに深度カメラ更新


CameraImageEvent.DEPTH_IMAGE_UPDATE


開発




開発



深度カメラのデモを行います


開発

骨格追跡とは？


Kinectセンサーが認識した身体の関節部位を推定し、骨格情報を構築する機能。 AIRKinectが提供する独自クラスで取得する。

開発



開発



KinectSettingに骨格追跡モード

を設定する。


開発



ENTER_FRAMEでイベント登録後、



開発


ENTER_FRAME毎に骨格追跡の情報を持つ

ユーザー情報を取得。（Vectorで

人数分を一括取得。）


開発


ENTER_FRAME毎に骨格追跡の情報を持つ

ユーザー情報を取得。（Vectorで

人数分を一括取得。）

Kinect.getDevice().userWithSkeletion


開発


ユーザー情報 = Userクラス


開発


com.as3nui.nativeExtensions

.air.kinect.data.User


開発



.air.kinect.data.User

骨格追跡や位置情報などを

保持するクラス。


開発



.air.kinect.data.SkeletonJoint


開発



.air.kinect.data.SkeletonJoint

骨格部位の名前、位置情報を

保持するクラス。


開発


Userクラスから骨格情報を繰り返し取得。

for each(var user:User in Kinect.getDevice().usersWithSkeleton) {

// ユーザー情報にある骨格情報を繰り返し取得

for each(var joint:SkeletonJoint in user.skeletonJoints) {

// 描画処理を行う。

}

}


開発


Userクラスから骨格の各部位を

取得することも可能。

頭：user.head, 左足：user.leftFoot…


開発


骨格追跡のデモを行います


開発

マスクモードとは？


RGBカメラで取得した画像に、ユーザー認識した画像だけを、切り抜く機能。ニアモードにも対応。

開発



開発



KinectSettingにユーザーマスク

モードを設定。解像度も設定する。


開発


KinectクラスにUserのマスク

イメージ更新イベントを登録。


開発


KinectクラスにUserのマスク

イメージ更新イベントを登録。

UserEvent.USER_MASK_IMAGE_UPDATE


開発




開発



マスクモードのデモを行います


開発

ポイントクラウドとは？


ポイントクラウドとは点群とも呼ばれ、3次元座標の集合です。 Kinectから得たRGBカメラと深度カメラ情報から解析して、ByteArrayで返却されます。

開発



開発



KinectSettingにポイントクラウド

使用可とする。解像度も設定する。


開発


KinectクラスにPointCloudの

更新イベントを登録。


開発


KinectクラスにPointCloudの

更新イベントを登録。

PointCloudEvent.POINT_CLOUD_UPDATE


開発




開発



ポイントクラウドのデモを

行います


開発



ポイントクラウドのデモを

行います


AIRKinect作品

ペイントするアプリ

Kinect + Flash + Natzke

Ribbons


http://www.youtube.com/watch?v=dw7J6zAVw-4




AIRKinect作品

ゲームアプリ

羽を動かして遊ぶゲームアプリ

料理するゲームアプリ

ボクシングゲームアプリ

ヒーローアプリ


http://vimeo.com/34264122




AIRKinect作品

as3NUIチームのデモ

サンタなりきり

モンスターなりきり





参考ページ

as3NUI

http://www.as3nui.com/

airkinect-2-core












参考ページ

airkinect-2-examples(source) github

https://github.com/AS3NUI/airkinect-2-

examples

ANE-LAB (Google Code）デモアプリはここにあります。

http://goo.gl/hi8OM


https://github.com/AS3NUI/airkinect-2-examples





http://goo.gl/hi8OM


ご清聴ありがとうございました。

Technology

Flex 勉強会 第 166 回＠仙台 「AIRKinectについて」 by tokufxug

Flex 勉強会第 166 回＠仙台「AIRKinectについて」 by tokufxug