2016.12.13千葉大学大学院融合科学研究科

津村 徳道

顔画像のヘモグロビン色素分離による非接触心拍変動計測と

ストレスモニタリングへの応用

先生の圧力

研究背景

1

ストレスの増加 体への影響

山積みの仕事 上司の圧力 蕁麻疹，鬱など

ストレスゲージ

ストレスの計測 対処法

ストレスの計測によって体調不良への事前対処が可能となる．

研究背景

2

ポリグラフ

<日本光電>

心電図0.85s 0.79s 0.72s

心拍変動

血圧変動

呼吸変動

0.15 ～ 0.4

交感神経活性

副交感神経活性

心拍変動スペクトログラム

0

0.2

0.40

0.2

0.4

0.05 ～ 0.15

(Hz)

(Hz)変動周波数

時間0 60(H

z)(s)

呼吸

血圧

血圧

時間 (s)

電圧

(mV

)

先行研究

3

通常のRGBカメラにシアンとオレンジの周波数帯域センサを追加

5バンドカメラ

ポリグラフ

5バンドカメラによる心拍計測 700400波長(nm)

感度

0

500

3m

RB

GC O

[McDuff , D et al., 2014]

0

0.2

0.4

5バンドカメラ(GCO)

変動周波数

(Hz)

0 60(s)時間

RGBの3バンドのみでは十分な精度を得られていない.

0

0.2

0.4

0 60(s)時間

変動周波数

(Hz)

RGBカメラ

0

0.2

0.4

0 60

ポリグラフ(正解値)

(s)時間

変動周波数

(Hz)

研究目的

4

RGBカメラを用いた新たな心拍変動検出手法の提案

5バンドカメラを用いた脈波検出 RGBカメラを用いた脈波検出

G C O

時間軸の独立成分分析 色素成分分離

RGB画像

従来手法 提案手法

Skin color analysis and synthesis(Tsumura et al., SIGGRAPH2003)

Surface reflection

Body reflection

AnalysisProcess

Original image

Synthesis

Synthesized image

Shading

Hemoglobin

Melanin

can be used for skin appearance control: Colour, Texture, Translucency

Bias

-log(B)

-log(G)

C log1

C log２

-log(R)

C log

q2

q1

melanin

hemoglobin

Image based skin color analysis/synthesis

C (x,y)

Clog(x,y)

=log{C (x,y) }

Independent component analysis

(Tsumura et al. , 1999)

Melanin

Hem

oglo

bin

Original image Melanin Hemoglobin

Influence of shading in analysis

C log1

-log(B)

-log(G)

C log２

-log(R)

New imaging model and color vector space analysis

1=(1,1,1)

Cs (x,y)=s(x,y)C(x,y)

log{Cs (x,y) }=log{s(x,y)C(x,y)}

=log{ｓ(x,y)}1+Clog(x,y)

Density space

Shading factor

Cs log

C log

Original image Melanin HemoglobinConventional technique

Original image Melanin HemoglobinProposed technique

研究目的

11

RGBカメラを用いた新たな心拍変動検出手法の提案

5バンドカメラを用いた脈波検出 RGBカメラを用いた脈波検出

G C O

時間軸の独立成分分析 色素成分分離

RGB画像

従来手法 提案手法

実験方法

12

対象：20代男子学生4名撮影：120秒 (30枚/秒)

RGBカメラを用いて顔画像を連続撮影し，ポリグラフと同時に計測を行った．

照明：人工太陽灯

カメラ：RGBデジタル一眼レフカメラ実験環境

1回目：安静状態

各被験者に対して計測は 2 回行った．

2回目：ストレス状態

リラックスして静止暗算(4000, 3993, 3986, …)

偏光板

－7 －7 －7

色素成分分離

13

カメラで撮影されたRGBカラー画像をヘモグロビン成分，メラニン成分，陰影成分に分離する.

元画像 ヘモグロビン メラニン 陰影

特徴点抽出 ヘモグロビン平均画素値の時間変化

0 30(s)時間

平均画素値

5840

5940

[Tsumura , N et al., 2003]

脈波検出

14

画素平均値の時間変化

心拍を45bpm～180bpmと仮定

傾き除去後

バンドパスフィルタ適用後

0.75Hz ～ 3Hz

30(s)時間

平均

画素値

5840

5940

0

30(s)時間平均画素値

(正規化

)

－100

100

0

30(s)時間

フィルタ

処理後の値

－100

100

0

0

0.2

0.4

0

0.2

0.4

0

0.4

0

0.4

0 60 600

ポリグラフ(正解値)

時間時間

変動周波数

(Hz)

変動周波数

(Hz)

(s)(s)

0 60 600 時間時間 (s)(s)

変動周波数

(Hz)

変動周波数

(Hz)

カメラ計測(RGBカメラ)

提案手法とポリグラフの比較

心拍変動スペクトログラムの比較

15

従来手法とポリグラフの比較

RGBカメラを用いてポリグラフに近い精度を得られた．

0.2

0.2

心拍変動スペクトログラムの比較

0

0.2

0.4

0

0.2

0.4

0

0.2

0.4

0

0.2

0.4

0 60 600

ヘモグロビン色素分離による心拍変動計測によりストレス計測ができた．

時間時間

変動周波数

(Hz)

変動周波数

(Hz)

(s)(s)

0 60 600 時間時間 (s)(s)

変動周波数

(Hz)

変動周波数

(Hz)

ポリグラフ(正解値)

カメラ計測(RGBカメラ)

ಯ૾ଙ

५ॺঞ५૾ଙ

血圧

呼吸血圧

実験結果1 実験結果2

まとめ（途中）と今後の課題

まとめ

今後の課題

ヘモグロビン色素の分離によって脈波を取得することが出来た．

RGBカメラを用いてポリグラフに近い精度で心拍変動スペクトログラムを再現できた．

リアルタイム処理を目指し，プログラムの高速化を行う．

室内照明や，屋外でも同様の精度を得られるようにする．

0

0.2

0.4

0 60時間変動周波数

(Hz)

少子化対策のための魅力研究への応用を検討する．

撮影手法

被験者

20代男性7名

どのような情動を感じたか，どの場面で最も感じたか評価

撮影環境

カメラ顎台

蛍光灯下

撮影手順

映像刺激6つの情動を喚起

[Gross & Levenson, 1995]

×6情動映像視聴前

40秒間

映像視聴中

80～260秒間

情動を感じた前後から特徴量の変化量を取得する．

楽しさ

怒り

嫌悪

恐怖 驚き

悲しみ

0時間 (s) 12010 20 40

特徴量～血流量～

30700

ヘモグロビン画像の平均画素値の時間変化

額と頬の血流量を特徴量として取得

ヘモグロビン

原画像

30450色素成分分離

：視聴開始

：情動のピーク (最も強く情動を感じた瞬間)

：平常状態 ：情動状態

平均画素値

10秒間の平均画素値の平均値＝血流量

特徴量～脈波間隔～

31060

ヘモグロビン

0時間 (s) 12010 20 40

平均画素値の時間変化

平均画素値

：視聴開始 ：情動のピーク ：平常状態 ：情動状態

0 30時間 (s)

フィルタ処理

ピーク検出0 30時間 (s)

31260

平常状態

特徴量～脈波間隔～

額と頬の血流量を加えた計27種類の特徴量の変化量を取得

ピーク検出後

脈波間隔

．．．

時間 (s)300

ピーク間の

長さ

(s)

0.8

1.20.83 0.94 1.00

時間領域解析9種類

周波数領域解析14種類

非線形解析2種類

25種類の特徴量を取得

0 7時間 (s)

実験手法の流れ

分類特徴量選択

撮影 特徴量取得

個別最適化法

全データの7割を教師データにランダム設定27種類 9種類

特徴量の数

k近傍法

1 2

3 4

0 時間 (s) 120

平均画素値

分類結果

100

0

分類精度

(%)

楽しさ

怒り嫌悪恐怖悲しみ

驚き

6情動

全特徴量による分類精度

特徴選択により恐怖を除く5情動を94％の精度で分類できた．

10回分類した際の平均分類成功率を分類精度として算出

50

特徴選択後の分類精度（恐怖を除外）

楽しさ

怒り

嫌悪

悲しみ

驚き

5情動

100

0

50

分類精度

(%)

ご清聴ありがとうございました．

まとめと今後の課題

まとめ

今後の課題

・リアルタイム処理を目指す．

・異なる分類器や情動喚起刺激を用いて恐怖の分類精度を向上させる．

・被験者が6つの情動を感じた際の顔動画像を解析して特徴量を取得した．

・選択された特徴量を用いて情動分類を行った．

・個別最適化法により特徴量を選択した．

ヘモグロビン色素画像

分類精度

(%)

特徴選択後の分類精度（恐怖を除外）

楽しさ

怒り

嫌悪

悲しみ

驚き

5情動

100

0

50

企業への期待

• 本発明の応用分野は多岐にわたるため，各応用分野において，各企業との共同研究を希望。

• 既に接触型による計測方法を開発中の企業が非接触型の分野への展開を考えている企業には、本技術の導入が有効と思われる。

本技術に関する知的財産権

• 発明の名称：ストレスモニタリング用

画像処理方法及びそのプログラム

• 出願番号 ：特願2015-151245• 出願人 ：千葉大学

• 発明者 ：津村徳道，栗田幸樹,米澤拓

お問い合わせ先

千葉大学学術研究推進機構 産業連携研究推進ステーション特任教授 小柏 猛（コーディネーター）

ＴＥＬ：０４３－２９０－３５６５ＦＡＸ：０４３－２９０－３５１９Ｅ-mail：ccrcu@faculty.chiba-u.jp