人間行動理解のための装着型センサによる

大規模データベース構築に向けて

～ HASC Challenge 2010～

運営委員会

背景

• 人間行動の理解に基づくサービスの実現

– 情報システムの究極の目標

• 近年のセンサの小型化・低価格化により多様なデバイスへのセンサ搭載

• 多数のセンサ情報処理、行動認識研究

人間行動センシングに関する現状

• 多数の研究機関で加速度センサ等を用いた応用研究が実施されている

• 現時点では、特定目的、小規模な研究が個別になされている

• 体系的な研究なくしては、人間行動理解の認識は難しいのでは？

UbiCompとしての試練

• 研究室環境での実現可能性は示した(Lab. Feasibility)

• 実環境・大規模実ユーザではどうか？

この壁を超えなければ、実用化は困難→ 音声認識、画像処理は超えてきた

大きな壁・ギャップ

人間が行う情報処理

• 音声信号処理

• 画像処理

• 言語処理

• 行動情報処理

コーパス、アルゴリズム、ツールキットが重要

人間情報処理の共通点

音声 画像 言語 行動・動作 ロボット

コーパスPASL-DSR,UT-

ML,ATR,TMW,RWCP,P

ASD,CIAIR-DB

顔、歩行者、放送映像、ＴＲＥC.ＰＡＳＣＡＬ，

文字

日本語話し言葉コーパス/ KOTONOHA

？？？

アルゴリズム HMM/DP

顔認識オプティカルフロー

圧縮・伸張

形態素解析係り受け解析

個別研究

ツールキットHTK (HMM ToolKit) /

JuliusOpenCV / mist Chasen/Cabocha 個別研究

関連国内研究会 SP/SLP IE/CVIM/PRMU NL/SLP UBI

国際会議 ICASSP・InterSpeech ICCV / ICPR NAACL/ ACL /

COLINGUbiComp

２００９年７月９日DICOMO2009

• ２日目：セッション 6G

– 複数の行動センシングの研究発表

– 問題意識の共有 → ナイトセッションで発表

人間行動センシングコンソーシアム

・装着型センサを用いた

人間行動センシング技術の開発・普及

・加速度センサによる人間行動の大規模データベースの構築

（大学関係者40名、企業関係者30名の賛同）

目的

活動

http://hasc.jp

2009年10月7日

第１回人間行動センシングシンポジウムを

名古屋大学にて開催（参加者１２１名）2010年3月 情報処理学会全国大会（東

HASC 運営メンバ

– 立命館大 西尾信彦

– 東大 南正輝、川原圭博

– 東京農工大 藤波香織

– 名古屋大 河口信夫

– 京都大 角康之

– 大阪大 神崎映光、義久智樹

– 神戸大 寺田努

– 九州工業大 井上創造

HASCのコンセプト

• 人間行動認識は、非常に幅広い応用範囲

• 音声認識・画像認識といった分野の知見

• 異分野の人々が協調して違う規模の結果を生み出す

（タコつぼ化しない研究方法論）

• インターネット技術の応用 (CGM / WiKi )

データベースの重要性

• 認識アルゴリズムの基礎は学習データ

• 大規模な学習データが認識技術を進展

– 音声や言語処理では常識

• 人間・実環境の多様性を知ることが重要

データベースを集める前に

• どのようなセンサ？

– センサの種別の決定が重要

– 異なるセンサでも同じデータが取れるのか？

• どこに何個、どんなふうに計測？

– 汎用的なデータ？ 特定目的のデータ？

– 実環境？サンプリングレートは？

• どんな解析が可能？

– センサデータ処理の基盤技術が必要

ターゲットを定めるのが困難

ＨＡＳＣとしての取り組み

• 大規模データを集める前に、可能な限りの検討が必要– 議論を進めてきたが、まとめるのが困難

• ある程度のメンバ・経験・知恵が必要– 参加者が限られてしまう

• データ収集のための推進エンジンが必要– 参加者の意欲を高める工夫が大事

HASC Challenge の提案

• データ収集とアルゴリズム検討のための技術チャレンジ

• 互いにデータ、アルゴリズムを持ち寄って互いに評価、情報共有

目的

• データ収集・管理・利用の経験収集• センサ種別やセンサ利用の方法論検討• ツールの開発、共有• 行動情報処理の研究者人口の増大• イベント、締切り効果によるHASCの進捗

HASC Challenge2010 (HC2010)

• HC2010 はコンテストではない。技術チャレンジ

• 今回は加速度センサ １式のみを対象

– センサ種別は指定しない（入手可能なもの）

– データ収集の形態も任意（参考情報は提供）

• 対象とする行動は以下の６種類

「静止」「歩く」「ジョギング」「階段登る」「降りる」

「スキップ」（初回は誰もが収集がしやすい行動）

• 参加者は、自分でデータ収集、ラベル付けを

HASC Challenge について

• 賛否両論あるのは理解してます

– 単なるイベントでは？

– 行動が単純すぎる

– いまさら単独センサ？

• 運営メンバは長時間の議論を実施

– 多様な研究目的、研究対象

• 個々のメンバーの研究目的には合致しない

– 広報・教育目的としては良い

– とりあえずやってみる！

他の分野でも

• 音声情報処理分野

– 複数の拠点が集まってデータベース収集

– 雑音環境下の認識技術に関するコンテスト

（AURORA-2J)

• 画像処理分野

– PRMU アルゴリズム・コンテスト

• すでに１４回のコンテスト

コンテスト等によりデータ収集研究分野の底上げが実現

HASC Toolデータ収集、分析、認識等を簡易に行うためのツールEclipse Plugin で開発簡単なコーディングで新しいフィルタを作成可能

HC2010 標準ファイル形式

• 加速度センサ 生データ形式 ( .csv )[時刻(sec)], [X軸(g)], [Y軸(g)], [Z軸(g)]サンプリングレート 10Hz ～ 100Hz

• ラベル形式 ( .label )“#”で始まる行は、情報行“#targetfile: XXXX.csv” は、ラベル対象データファ

イル“#version: 1”

[開始時刻(sec)] , [終了時刻(sec)], [ラベルテキスト]

• メタデータ形式 ( .xml )仕様センサ種別、センサデバイス情報(OS等)、

サンプリングレート、センサ取り付け位置

HASC Challenge2010

• 最優秀賞には 「 iPad 」 を贈呈!– 実行委員会で厳正に審査（性能のみでない）

• 全データを自由に利用可能– データの一般公開は次回 HASC Challenge以降

エントリは複数レベル可能(予定)– レベル０： データ提供のみ

– レベル１： センサ位置・方向固定で行動識別

– レベル２： 歩行歩数、階段高さなどを推定

– レベル３： センサ位置・方向も自由

参加メリット：

HC2010 スケジュール

• 2010/08/01 HC2010 募集開始– Webページにて正式募集。データ、ツール準備

• 2010/10/22(金） HASC Challenge2010 申込締切

• 2010/11/12 (金) 提出締め切り時期の狙い→ 後期の講義の課題にも！

• 2010/12/8 (水) HASC Challenge シンポジウム会場：名古屋大

– 審査経過発表、内容講評

– 参加者による ポスターセッション

センサは決めないの？

• 標準的なセンサは決めますが、必須ではありません。

• センサが良いために認識率が良い、という結果もあり得ると思います。

• 市販されているものであれば、何でもOK,ということが重要

設置場所は決めないの？

• 標準的な場所の候補– 胸ポケット

– 腰

– 尻ポケット

– 首からぶら下げ

– 腕

• 設置場所の良さも考慮すべき– 自由度もあっても良い

エントリの種類

• レベル０– ラベル付きセンサデータの提供のみ

• レベル１– センサ位置・方向固定で行動識別

• レベル２– 歩行歩数、階段高さなどを推定

• レベル３– センサ位置・方向も自由

– エクストラの認識処理（提案型）もあり

提供するデータ

• 全参加者は最低限以下の情報が必要

• セグメント済みデータ– 各行動で１ファイル– 行動毎に２０秒ｘ５セット ｘ ５人

• シーケンスデータ– 全行動が含まれた行動データ– 120秒程度 ｘ ５人– ラベル付けを行う

– 可能ならシーケンスの様子のビデオ（後ろ姿でもOK）

HASC Challenge2010スポンサー提供(参加者に）

• ATR Promotions 様：– ロギングツール SyncPlay のご提供（希望者全員）

• (予定)ワイヤレステクノロジ株式会社– Bluetooth 加速度/角速度センサ WAA-006（若干数）

HASC Challenge2010 データ提供

• データは 100Mbyte 程度になる

• ファイル転送サービスを活用します。

– ギガファイル便v2 を使いましょう。

– http://www.gigafile.nu/v2/

• URLを HC2010-entry@hasc.jp までお知らせください

– 民間の場合、各社提供のものを利用してもらってもOK

– もしくは、各自のWebサーバ経由でもOK。

まとめ

• HASC Challenge を提案

– 技術チャレンジを通じて、人、経験、データを収集

– 研究分野としての盛り上がりを目指す

• いよいよ HASC Challenge2010 申込締切

• スポンサー様もまだまだ募集してます。ご連絡ください