1

感性擬人化エージェントのための顔情報処理システム

顔認識システム操作マニュアル

1998 年 10 月

情報処理振興事業協会

2

概要...................................................................................................................... 3システムの概要........................................................................................................... 3動作環境 ..................................................................................................................... 3実行時に必要なファイル ............................................................................................ 3開発に当たって........................................................................................................... 3

アプリケーションの機能 ..................................................................................... 4起動・オプション ....................................................................................................... 4メニュー ..................................................................................................................... 4

ファイル..............................................................................................................................5ツール .................................................................................................................................8

コントロールパネル ................................................................................................... 9表示画像............................................................................................................................10描画...................................................................................................................................10モード選択 ........................................................................................................................10選択項目............................................................................................................................10手法選択............................................................................................................................10詳細設定............................................................................................................................ 11

ステータスバー ........................................................................................................ 15実際に使ってみよう........................................................................................... 16

標準手法での認識 ..................................................................................................... 16詳細手法での認識 ..................................................................................................... 17

3

概要

システムの概要　本システムは 1 つの顔画像を入力とし、その画像から顔の輪郭や目、鼻、口など

の顔器官の輪郭を検出して画面に表示し、その位置情報を出力する。

　本システムは、顔画像処理のための標準ライブラリ並びにグラフィカルユーザイ

ンタフェース（GUI）からなる。標準ライブラリには、顔の発見、その輪郭抽出並

びに、眉・目・鼻・口といった顔器官の検出とそれらの輪郭抽出のための各種関数

が用意されている。本システムは、画像処理研究者のような基礎研究者から自動的

に顔の特徴が計測できれば良いという応用・開発研究者に至るまで、幅広いユーザ

を想定し、各ユーザののレベルに応じた開発環境をインタラクティブに操作できる

GUI 上で実現している。

動作環境本システムは、SGI 社のワークステーション「O2」上で動作します。

その他の UNIX 環境(Linux,FreeBSD,Solaris など）における動作は保証していま

せん。

実行時に必要なファイル本システムは実行時に以下のファイルを必要とします。

• AADefsリンク関係記述ファイル(関数名、ボタン名も含む)実行ファイルと同一ディレクトリに置いて下さい。

• AAIODefs出力管理番号と名前の対応

実行ファイルと同一ディレクトリに置いて下さい。

• UserDefs(オプション)ユーザ定義させるリンク関係記述ファイル

実行ファイルと同一ディレクトリに置いて下さい。

• UserIODefs(オプション)ユーザの定義した出力管理番号と名前の対応

実行ファイルと同一ディレクトリに置いて下さい。

• 画像ファイル

認識を行う顔画像のファイル。

開発に当たって　なお、このソフトウェアは情報処理振興事業協会「独創的情報技術育成事業」の

一環として作成された。本システムの開発は原島　博（東京大学教授）の指導の基

に東京大学工学部原島・金子研究室、東京理科大学原研究室、東京工科大学永田研

究室、成蹊大学森島研究室、早稲田大学橋本研究室、大阪大学谷内田研究室、財団

法人イメージ情報科学研究所で検討し、主に大阪大学谷内田研究室、東京理科大学

原研究室、早稲田大学橋本研究室、財団法人イメージ情報科学研究所で実施した。

＜使用したフリーソフトウェア＞

　本システムは、イメージ処理のライブラリとして、ImageMagick 4.0.5 を利用し

ています。（ImageMagick 4.0.5 の権利者は E. I. du Pont de Nemours and Company　です。）

4

アプリケーションの機能ここでは、システムの機能をメニュー、コントロールパネル、ステータスバーの順

に解説します。

起動・オプション

オプションは以下の通りです。

• -o 結果ファイル名

• -p パラメータファイル名

• -f 画像ファイル名

例) % aarec -o face.aadata -p face.aaenv注意 排他的なパラメータを指定した場合は先にあるものが優先されます。次の例の

ように、結果ファイルと画像ファイルをオプションとして与えた場合、結果ファイ

ル中に指定された画像ファイルが読み込まれます。

例) % aarec -o face.aadata -f face.pnmオプションなしでアプリケーションを起動すると以下のようなウィンドウが開き

ます。

メインウィンドウ

メニュー

メニューバー

ファイル読み込み、保存などを行うファイルメニューと、拡張機能を提供するツー

ルメニューがあります。

5

ファイル

ファイルメニュー

画像読み込み

認識する顔画像ファイルを読み込みます。サポートする画像フォーマットは

• PNM• PPM• PGM• IRIS RGB

です。

メニューから画像読み込みを選択すると、ファイル選択ダイアログが表示され、フ

ァイル選択ダイアログ内でファイルを選択すると、メイン画面にイメージが読み込

まれます。

ファイル選択ダイアログ

6

メイン画面に画像を読み込む

このとき、既に認識を実行している場合には、以下の確認ダイアログが画面に表示

されます。

結果保存確認ダイアログ

ユーザーが「はい」を選択した場合には、結果情報を保存するために、保存用のダ

イアログを表示します。

「いいえ」を選択した場合には、現在の結果データを初期化し、選択された画像デ

ータを読み込みます。

同様に、ユーザ独自のパラメータを設定している場合には、以下の確認ダイアログ

が画面に表示されます。

手法保存確認ダイアログ

ユーザーが「はい」を選択した場合には、手法情報保存用のダイアログを表示しま

す。

「いいえ」を選択した場合には、現在の手法データを初期化し、選択された画像デ

ータを読み込みます。

7

画像保存

認識実行後に表示される画像を保存します。サポートする画像フォーマットは

• PNM• PPM• PGM• IRIS RGB

です。

手法設定読み込み

各大学で開発された、認識アルゴリズムで利用する設定値を読み込みます。

メニューを選択すると、ファイル選択ダイアログが表示され、ファイル選択ダイア

ログ内でファイルを選択することにより、各アルゴリズムの初期値が更新されま

す。

このとき、既に手法設定を読み込んで有る場合、もしくは、手法保存がおこなわれ

てから手法データに変更が有った場合に、以下の「現在の手法設定は、保存されて

いません。保存しますか？」と書かれた確認ダイアログが画面に表示されます。

ユーザーが「はい」を選択した場合には、手法設定を保存するために、保存用のダ

イアログを表示します。

「いいえ」を選択した場合には、現在の手法設定を初期化し、選択された手法設定

データを読み込みます。

手法設定保存

各大学で開発された、認識アルゴリズムで利用する設定値を保存します。

メニューを選択すると、ファイル選択ダイアログが表示され、保存するファイル名

を入力し、保存ボタンを選択することにより、設定値がファイルに保存されます。

同一ファイル名のファイルが存在する場合は、上書きを行うかどうかを確認するた

めのダイアログを表示し、ユーザーに確認をもとめます。上書きを選択した場合に

は、既存のファイル名でファイルを出力します。取消を選んだ場合には、データ出

力はされません。

結果読み込み

以前に認識した結果データを読み込み、読み込んだデータを画面に再描画します。

メニューを選択すると、ファイル選択ダイアログが表示され、ファイル選択ダイア

ログ内でファイルを選択することにより、結果データが更新される。

このとき、既に結果データを読み込んである場合、もしくは、結果保存がおこなわ

れてから結果データに変更が有った場合に、以下の「現在の結果データは、保存さ

れていません。保存しますか？」と書かれた確認ダイアログが画面に表示されま

す。

ユーザーが「はい」を選択した場合には、結果保存用のダイアログを表示します。

ファイル名を入力し保存ボタンを押すと結果が保存されます。

「いいえ」を選択した場合には、現在の結果データを初期化し、指定された手法設

定データを読み込みます。

結果保存

認識した結果を AADATA 形式で保存します。

メニューを選択すると、ファイル選択ダイアログが表示され、保存するファイル名

を入力し、保存ボタンを選択すると、設定値がファイルに保存されます。

同一ファイル名のファイルが存在する場合は、上書きを行うかどうかを確認するた

めのダイアログを表示し、ユーザーに確認をもとめます。上書きを選択した場合に

8

は、既存のファイル名でファイルを出力します。取消を選んだ場合には、保存はさ

れません。

認識値書き出し

認識結果をカンマ区切り(CSV)形式で保存します。メニュー選択後の操作は結果保

存と同じです。

ツール

ツールメニュー

メイン画面の画像に対してエフェクトをかけます。

拡大

メイン画面に読み込まれた画像を拡大/縮小します。

サブメニューもしくは、「任意...」で表示されるズームダイアログで倍率を選びま

す。

ズームダイアログ

キャプチャ

SGI のカメラからの映像をキャプチャする機能です。

以下のダイアログが表示され、OK を押すと画像がメインウィンドウに取り込まれ

ます。

キャプチャダイアログ

9

コントロールパネル

メイン画面の左側にあるボタン群のことです。

ここで入力画像と結果画像の切り替えや標準の認識実行、詳細設定を行ないます。

コントロールパネル

表 示 画 像

画像表示領域に表示する画像を切り替えます。

モ ー ド 選 択

選択項目を切替えます。

手 法 選 択

認識手法を選択します。

描 画

認 識 実 行 後 に 最 終 結 果 の み を 表 示 す る か 、

認識の途中で実行した結果も表示するのかを選択しま

選 択 項 目

認識する部位を選びます。

詳 細 設 定 表 示 ボ タ ン

手法を詳細に設定することができます。

実 行 ボ タ ン

認識を実行します。

10

表示画像

メインウィンドウ内の画像表示領域に表示する画像を切り替えます。

「入力」をクリックすると読み込んだ元画像を、「結果」をクリックすると認識後の

結果画像を表示します。

描画

実行が終了したときに表示される結果の種類を選択します。

• メインウィンドウで最終結果を選んだ場合

選択項目で選択した部位の結果のみが表示されます。

• メインウィンドウで経過表示を選んだ場合

選択された部位に加え、認識途中で認識したすべての部位を表示します。

• 詳細設定画面で実行した場合

この場合は経過表示のみとなります。

「ステップ実行」では現在認識している部位までに認識した部位、「実行」では経

過表示エリアに表示されている部位が表示されます。

モード選択

認識できる部位は全部で 15 箇所あり、「選択項目」のトグルボタンで認識するかど

うかを選択します。トグルボタンは輪郭と領域に分けて表示されますので、「モー

ド選択」のトグルボタンで切り替えます

選択項目

認識する部位を選択します。「モード選択」で「輪郭」を選択した場合は輪郭を認

識できる部位が、「領域」を選択した場合は領域を認識できる部位が表示されま

す。認識したい部位を選択してください。

手法選択

本アプリケーションで実行できる認識は 2 種類あります。あらかじめ決められた手

法を実行する「標準」と、手法を細かく設定できる「詳細」です。「詳細」はカラ

ー画像のみ実行できます。

「標準」をクリックして部位を選択し、「実行」を押すとあらかじめ設定された手法

で認識を実行します。

手法を細かく設定するには「詳細」をクリックして「詳細設定表示」ボタンをクリ

ックします。

図の詳細設定ウィンドウで経路と手法を設定することができます。

手法を切り替える際には引き継げない設定もあります。

「標準」から「詳細」に切り替える際には以下のダイアログが表示されます。「Yes」

を押した場合には認識部位のみが引き継がれ、詳細設定ダイアログの「ページ処

理」リストに表示されます。「No」を押した場合には認識部位は引き継がれません。

「Cancel」を押すと「標準」に戻ります。

11

設定確認ダイアログ

「詳細」から「標準」に切り替える際には以下のダイアログが表示されます。「OK」

を押すと詳細設定ダイアログで行った設定は全て無効になりますので注意して下

さい。「Cancel」を押すと「詳細」に戻ります。

設定確認ダイアログ

詳細設定

詳細設定はカラー画像に対してのみ行うことが出来ます。

コントロールバーの「手法選択」で「詳細」をクリックすると「詳細設定表示」の

ボタンがアクティブになります。ボタンを押すと、以下の詳細設定ダイアログがオ

ープンします。

詳細設定ダイアログ

12

ページ処理と認識パーツ

「ページ処理」コントロール

メインウィンドウで選択した部位を引き継いだ場合には、「ページ処理」リストに

部位があらかじめ入れられています。

• 認識部位追加ボタン 認識したい部位を追加します。ボタンを押すと以下の認識

部位追加ダイアログがオープンします。追加する部位を選んで「追加」ボタンを

押すと「ページ処理」のリストに追加されます。

認識部位追加ダイアログ

• 認識部位削除ボタン 「ページ処理」のリスト内で削除する部位を選択し「認識

部位削除」ボタンを押すとリストから部位が削除されます。

• 経路設定ボタン 一つの部位に対して複数の認識経路を設定することができます

が、認識は一つの部位に対して同時に一つの認識経路のみ実行できます。複数経

路を設定した際には、「ページ処理」のリストで認識を実行したい部位を選択

し、「経路設定」を押してください。部位が選択され、部位名の先頭に”*”が表示

されます。認識は”*”のついた部位に対してのみ実行されます。

• 表示ボタン 「表示」を押すと認識経路が「認識経路」エリアに表示されます。

認識に必要な認識部位とアルゴリズムが「認識パーツ」リストに表示されますの

で、選択して「経路へ追加」を押してください。「認識経路」エリアに追加され

ます。

「認識パーツ」コントロール

13

経路設定

「認識経路」コントロール

「認識経路」エリアで認識パーツを選択するとパーツの枠が赤く表示されます。

この状態で経路設定エリア右側のボタンを操作することにより詳細な手法設定を

行うことが出来ます。

「認識経路」ボタン群

• 属性設定ボタン 選択した部位の属性を設定することが出来ます。

属性設定ボタンを押すと属性設定ダイアログがオープンします。

属性設定ダイアログ

− Default ボタン すべての設定値がデフォルトの値に設定されます。

− Apply ボタン ユーザが設定した値が反映されます。

− Cancel ボタン 設定した値は反映されず最後に Apply ボタンを押したときの値が

反映されます。

認識手法として”HandInput”を選択した場合には以下のダイアログがオープンし

ます。

領域あるいは座標を指定して「閉じる」ボタンを押して下さい。

14

「手入力」ダイアログ

• 削除ボタン 選択したパーツ以下を削除します。

• ページクリアボタン ページ先頭のパーツ以下を削除します。

• 標準設定ボタン メインウィンドウと同じ設定を表示します。

• ステップ実行ボタン パーツごとに認識を実行します。

• 実行ボタン 表示されているページを実行します。

• 閉じるボタン ダイアログを閉じます。

実行

コントロールパネルで実行ボタンを押すと(詳細設定ダイアログを閉じた状態)認識

が実行され、認識が終了すると自動的に結果が表示されます。

• 手法選択が「標準」の場合 選択項目で選択された部位を、あらかじめ決められ

た手法で認識します。

• 手法設定が「詳細」の場合 選択項目で選択された部位を、詳細設定ダイアログ

で設定した手法で認識します。

15

認識された画像

ステータスバー

メイン画面下部にアプリケーションの状態を示すステータスバーがあります。

左端のものがアプリケーション全般の状態を、右端の二つが手法と結果の状態を示

します。

ステータスバー

• 全般のステータス アプリケーション全般の状態を示します。

ファイル読み込み、保存、認識中のモジュール番号などが表示されます。

• 手法のステータス 最後に保存されてから手法が変更されたかを表示します。

• 結果のステータス 最後に保存されてから結果が変更されたかを表示します。

16

実際に使ってみようここでは、認識の実行方法を具体的な例をあげながら解説します。

標準手法での認識

まず、ファイルダイアログからファイルを選び、メイン画面に画像を読み込みま

す。

メイン画面に画像を読み込む

認識したい部位を選びます。ここでは領域の目、口、眉、顔、輪郭の目、口を選び

ます。

部位を選択する

「実行」ボタンを押すと認識が実行され、結果が表示されます。

17

認識された画像

詳細手法での認識

画像を読み込み、コントロールパネルの手法選択で「詳細」を選択します。図の確

認ダイアログが表示されますので、「Yes」を押します。

設定確認ダイアログ

詳細設定表示ボタンがアクティブになる

詳細設定ボタンがアクティブになるので、これを押すと詳細設定ダイアログがオー

プンします。

（図は次ページ）

メインウィンドウから設定を引き継いでいるので、コントロールパネルで選択した

部位がページ処理のリストに表示されています。図では目の領域が選択されていま

す。経路は標準設定(メイン画面で実行を押したときと同じ経路)になっています。

ここで右端の「実行」ボタンを押します。認識が終了すると目の領域の認識経路の

結果が画面に表示されます。

18

詳細設定ダイアログ

目の領域の認識経路実行結果

19

詳細設定では一つの部位に対して複数の認識経路を設定することが出来ます。「ペ

ージ処理」コントロールの「認識部位追加」ボタンを押し、「eye_area」を選択し

て「追加」を押します。

「ページ処理」コントロール

認識部位追加ダイアログ

「ページ処理」リストに「eye_area」が追加され、部位名の末尾に追加した順に番

号が振られます。

目の領域がもう一つ追加される

「認識パーツ」リストに、目の領域を認識するために必要な部位とアルゴリズムが

表示されています。適切なものを選び、「経路へ追加」ボタンを押します。追加さ

れた部位は「認識経路」エリアに追加されてゆきます。これを「認識パーツ」リス

トに「color_image」または「gray_image」が表示されるまで繰り返します。終端

のイメージは黒い半円で表されます。

20

独自の認識経路を設定する

属性設定ダイアログ

部位を選択している(部位の枠が赤く表示されている)状態で「属性設定」ボタンを

押すと、属性設定ダイアログが表示されます。適切な値に設定して「Apply」ボタ

ンを押します。

「ステップ実行」を押すと終端から順に部位を認識してゆきます。認識が終了して

いる部位は黄色の枠で表示されます。

ステップ実行

認識結果はその都度メインウィンドウに表示されます。

21

ステップ実行の結果(瞳中心)

先頭の部位(目の領域)まで認識が完了すると、目の領域および目の領域の認識に必

要なすべての部位の認識結果が表示されます。

認識完了

22

本操作マニュアルは、情報処理振興事業協会から発注を受け、平成 9 年度に実施した独創

的情報技術育成事業に係わる「感性擬人化エージェントのための顔情報処理システムの開

発」の研究成果であるソフトウェアの操作マニュアルであり、転載･引用に当たっては、情

報処理振興事業協会の承認を得ることが必要です。

感性擬人化エージェントのための顔情報処理システム

表情と印象による顔合成システム操作マニュアル

平成 10 年 10 月

財団法人イメージ情報科学研究所