2004 年度 卒業研究

肌色抽出について

岡山理科大学

総合情報学部

情報科学科

澤見研究室

I01I013 犬飼芳久

1

目次 1 はじめに 2 色空間に注目した肌色抽出手法

2.1 肌色抽出の手法について 2.2 色空間について

2.2.1 RGB 2.2.2 XYZ 2.2.3 L*a*b* 2.2.4 YCbCr 2.2.5 YIQ 2.2.6 HSV 2.2.7 修正 HSV

2.3 画素分布における検討 2.4 YCbCr を用いた肌色抽出 2.5 修正 HSV を用いた肌色抽出 2.6 YCbCr と修正 HSV を併用した肌色抽出

2.6.1 抽出処理の流れ 2.6.2 YCbCr と修正 HSV を併用した肌色抽出結果

3 輪郭を利用した肌色抽出手法

3.1 輪郭抽出処理 3.1.1 Sobel フィルタ 3.1.2 肌色領域のノイズ軽減 3.1.3 輪郭補償処理

3.2 肌色領域着色，着色領域抽出 3.3 輪郭を利用した肌色抽出結果

4 まとめ 5 謝辞 6 参考文献

2

22333455567

1415161617

18181920212223

25

26

27

2

1 はじめに 今日，バイオメトリクス（biometrics：計量生物学，生物測定学）認証は，入退室管理，

カードの偽造防止など様々な目的に応じて開発され普及しつつある．バイオメトリクスは，

特定の機関だけでなく，一般家庭においても不可欠なものとなりうる技術である．バイオ

メトリクス認証には，指紋模様，顔の輪郭や色，目や鼻の位置や形，手の形や大きさ，掌

紋，虹彩，網膜にある毛細血管の模様，静脈パターン，手の甲の血管，筆跡，声紋，DNAなどを利用した多くの手法が存在する．そして，各手法にはそれぞれの特徴があり，応用

分野も異なっていて，認証精度にも差がある．ところで，認証の前段階である前処理の精

度向上が，認証全体の精度向上に大きな意味を持っている．本研究では，このような多く

の手法の中から，静止画像を用いた認証を行う際に行う前処理部分に注目し，その中でも

肌色領域抽出についての研究を行ったので報告する． 2 色空間に注目した肌色抽出手法 2.1 肌色抽出の手法について 肌色抽出にはいくつもの異なった手法が存在している．例えば，背景の処理をできるだ

け単純なものとするために，ブルーバックなどを利用し，肌色領域を特定し易くしてから

抽出するものがある．一方，肌色領域の抽出が容易になるよう，肌色領域が存在しない背

景だけの画像をあらかじめ作成しておき，元の画像と背景のみの画像との差分を求め，そ

の差分を利用して抽出する手法などが存在する．また，動画像においては，ある程度まで

肌色に近い色の領域を求め，一定時間動かない部分を背景と考え，肌色領域を抽出するも

のなど様々である．しかし，こういった手法は，背景がブルーバックなどの単純な色であ

ることや，あらかじめ作成した背景画像が必要であるとか，動画像であるといった制約を

伴う．本研究では，抽出対象を静止画像に絞り，このような制約の少ない抽出手法の実現

を目指す．まず始めに，参考文献[14]と同様，色空間に着目し元画像と肌色画像と背景画像

との色分布の差を比較することにより，より肌色抽出に適した色空間を選び出すことにし

た．その際に用いた画像を以下に示す（図 1，図 2，図 3）．

図 1:元画像 図 2:肌色画像 図 3:背景画像

3

2.2 色空間について 色空間とは，それぞれの色を空間の中の一点として表現することにより色を組織化し画

像を表す際に用いる空間システムでカラースペースともいう．カラースペースの形状は，

円柱状，六角錐，円錐，球など様々なものがある． 2.2.1 RGB BMP やコンピュータのモニタなどで用いられている色空間である．RGB は，それぞれ

赤（red）緑（green）青（blue）の頭文字を表している．全ての色が加法混色で表現され，

光の三原色を元としているので，RGB 値が同じ場合には，数値が増加するごとに白に近づ

き，反対に，数値が減少するほど黒に近づく． 2.2.2 XYZ 三原色仮説にもとづき CIE（国際照明委員会）が 1931 年に定めた表色系を用いた場合，

RGB においては，特定の波長域でマイナスの係数が存在するなどの計算に不便な箇所が生

じる．これを単純な一次変換によって解決したものが XYZ である．数値と色彩との関連が

わかりにくい色空間になっている．Y が明度，Z はおおむね青みの度合い，X はそれら以外

の要素を含むものと考えられる．RGB から XYZ への変換式は以下の通りである．

BGRX 180.0358.0412.0 ++= BGRY 720.0715.0213.0 ++= （式 1） BGRZ 950.0119.0019.0 ++=

4

2.2.3 L*a*b* XYZ から，知覚装置の違いによる色差を測定するために派生した均等色空間の一つであ

る．1976 年に勧告され，日本では JIS-Z-8729 に規定されている．XYZ から L*a*b*への変

換式は以下のようになる．

16116* −= yfL

( )yx ffa −= 500*

( )zy ffb −= 200*

⎪⎩

⎪⎨⎧

≤+

>=

ε

ε

rr

rr

x xkx

xxf

11616

3

⎪⎩

⎪⎨⎧

≤+

>=

ε

ε

rr

rr

y yky

yyf

11616

3

⎪⎩

⎪⎨⎧

≤+

>=

ε

ε

rr

rr

z zkz

zzf

11616

3

（式 2）

rr X

Xx = （ rX は，D65 光源下における完全拡散反射面の三刺激）

rr YYy = （ rY は，D65 光源下における完全拡散反射面の三刺激）

rr Z

Zz = （ rZ は，D65 光源下における完全拡散反射面の三刺激）

⎪⎩

⎪⎨⎧

=24389216008856.0

ε

⎪⎩

⎪⎨⎧

=2724389

3.903k

Actual CIE Standard

Intent of the CIE Standard

Actual CIE Standard

Intent of the CIE Standard

5

2.2.4 YCbCr PAL 方式テレビや JPEG 画像，MPEG などで用いられている色空間である．Y は輝度，

Cb は青の差分，Cr は赤の差分を表す．RGB から YCbCr への変換式は以下のようになる．

BGRY 114.0587.0299.0 ++= BGRCb 511.0339.0172.0 +−−= （式 3）

BGRCr 083.0428.0511.0 −−= 2.2.5 YIQ NTSC テレビ放送などで使用されている色空間である．1950 年代当時のカラー表示ブラ

ウン管の性能に基づき定められているため，当時青の発色が悪かったという影響を受けて

おり，青の表現力に欠ける面がある．RGB から YIQ への変換式は以下のようになる．

BGRY 1145.05866.0289.0 ++= BGRI 3210.02750.05959.0 −−= （式 4） BGRQ 2904.04969.02065.0 +−=

2.2.6 HSV 色を色相と彩度という観点から考えると，加法混色や減法混色よりも色空間の表現とし

ては，自然であると言える．この理由から，コンピュータで絵を描く場合や色見本として

使われている色空間である．H は色相，S は彩度，V は輝度を表す．RGB から HSV への

変換式は以下のようになる．

( ) ( )BGRBGR ,,minmin,,,maxmax == とすると

( )( )

( ) ( )

( )( ) ( )

( )( ) ( )⎪

⎪⎪⎪

⎩

⎪⎪⎪⎪

⎨

⎧

=×⎟⎟⎠

⎞⎜⎜⎝

⎛−−

+=

=×⎟⎟⎠

⎞⎜⎜⎝

⎛−−

+=

=×⎟⎟⎠

⎞⎜⎜⎝

⎛−−

=

==

の場合

の場合

の場合

の場合

max60minmax

4

max60minmax

2

max60minmax

minmax0

BGRH

GRBH

RBGH

H

( ) ( )( )⎪⎩

⎪⎨⎧

≠=

⎟⎠⎞

⎜⎝⎛ −

=

=

の場合

の場合

minmaxminmax

maxminmax0

S

S

max=V

（式 5）

6

2.2.7 修正 HSV 松橋らによって，参考文献[12]で提案されている色空間である．肌色領域の分離に有効と

されている．I は強度，H は色相，Qc は修正彩度を表す．RGB から修正 HSV への変換式

は以下のようになる．

( ) ( )( )

⎪⎪⎪

⎭

⎪⎪⎪

⎬

⎫

⎪⎪⎪

⎩

⎪⎪⎪

⎨

⎧

⎟⎟⎠

⎞⎜⎜⎝

⎛ −+⎟

⎠⎞

⎜⎝⎛ −−

−+−= −

22

1

23

222

cosBGBGR

BRGRH

( ) 22

23

22

⎟⎟⎠

⎞⎜⎜⎝

⎛ −+⎟

⎠⎞

⎜⎝⎛ −−

=BGBGRQc （式 6）

3BGRI ++

=

7

2.3 画素分布における検討 これまでに述べた各種色空間について，元画像（図 1）と肌色画像（図 2）と背景画像（図

3）を用いて画素分布の違い以下に示す．これら画素分布は，色空間を三次元座標空間に対

応させ，画像を構成している各画素を，その色空間内の座標値に対応させて表した分布を

二次元座標で表現したものである．座標軸は，水平方向-垂直方向という記述方式であり，

例えば RGB による元画像の画素分布（図 4）の左端の図では G-R となっているが，これは

画素の G 値が水平方向の座標軸を，画素の R 値が垂直方向の座標軸を表していることにな

る．

G-R G-B R-B

図 4: RGB による元画像の画素分布

G-R G-B R-B

図 5: RGB による肌色画像の画素分布

G-R G-B R-B

図 6: RGB による背景画像の画素分布

8

Y-X Y-Z X-Z

図 7:XYZ による元画像の画素分布

Y-X Y-Z X-Z

図 8:XYZ による肌色画像の画素分布

Y-X Y-Z X-Z

図 9:XYZ による背景画像の画素分布

9

a*-L* a*-b* L*-b*

図 10:L*a*b*による元画像の画素分布

a*-L* a*-b* L*-b*

図 11:L*a*b*による肌色画像の画素分布

a*-L* a*-b* L*-b*

図 12:L*a*b*による背景画像の画素分布

10

Cb-Y Cb-Cr Y-Cr

図 13:YCbCr による元画像の画素分布

Cb-Y Cb-Cr Y-Cr

図 14:YCbCr による肌色画像の画素分布

Cb-Y Cb-Cr Y-Cr

図 15:YCbCr による背景画像の画素分布

11

I-Y I-Q Y-Q

図 16:YIQ による元画像の画素分布

I-Y I-Q Y-Q

図 17:YIQ による肌色画像の画素分布

I-Y I-Q Y-Q

図 18:YIQ による背景画像の画素分布

12

S-H S-V H-V

図 19:HSV による元画像の画素分布

S-H S-V H-V

図 20: HSV による肌色画像の画素分布

S-H S-V H-V

図 21: HSV による背景画像の画素分布

13

Qc-H Qc-I H-I

図 22: 修正 HSV による元画像の画素分布

Qc-H Qc-I H-I

図 23: 修正 HSV による肌色画像の画素分布

Qc-H Qc-I H-I

図 24: 修正 HSV による背景画像の画素分布 以上の画素分布図を基に比較・検討した結果，肌色画像と背景画像に対応したクラスタ

分布が分離してくるような，肌色抽出に大きな効力を期待できる色空間は見出せなかった．

そこで，肌色抽出に関して比較的多くの使用例がある YCbCr と，実験の結果より，画素分

布（図 23）が比較的コンパクトと考えられた修正 HSV を組み合わせることにより肌色抽

出を行うことにした．

14

2.4 YCbCr を用いた肌色抽出 RGB から YCbCr への変換式（式 3）を用いて色空間の変換を行い，この色空間における

画素分布から閾値を決定し抽出処理を行う．画像を用いて実験した結果（図 26），YCbCrを用いて肌色抽出を行うと，画素分布（図 13，図 14，図 15）から予測することができる

ように，完全に肌色領域と背景領域を分離することができず，肌色に近い色が残ってしま

っていることがわかる．

図 25:元画像 1

図 26:YCbCr を用いた肌色抽出画像

15

2.5 修正 HSV を用いた肌色抽出 YCbCr での肌色抽出と同様の処理を行う．RGB から修正 HSV への変換式（式 6）を用

いて色空間の変換を行った後，この色空間における画素分布から閾値を決定し抽出処理を

行う．修正 HSV を用いた肌色抽出画像（図 28）から分かるように，肌色領域と背景領域

の完全な分離という結果が得られるまでにはいかなかった．

図 27:元画像 1

図 28:修正 HSV を用いた肌色抽出画像

16

2.6 YCbCr と修正 HSV を併用した肌色抽出 YCbCr と修正 HSV での肌色抽出の精度は，あまり良いものではなかった．そこで精度

の向上を図るため，YCbCr と修正 HSV による肌色抽出画像における背景領域の違いに注

目し，調べてみた．その結果，YCbCr を用いた肌色抽出では除去されにくかった背景領域

と，修正 HSV での肌色抽出で除去されにくかった背景領域が，ほぼ逆の関係になっている

ことがわかった．このことから，YCbCr と修正 HSV とを併用すれば精度が向上するので

はないかということが考えられる．そこで，YCbCr と修正 HSV を併用した肌色抽出を試

みることにした． 2.6.1 抽出処理の流れ 図 29 は，YCbCr と修正 HSV での抽出を併用した抽出処理の流れである．始めに，元画

像に対し YCbCr により抽出処理を行う．そして，生成された画像中にある除去されなかっ

た画素に対して，修正 HSV による抽出処理を適用することにより，YCbCr と修正 HSV を

併用した抽出画像を得る．

図 29:YCbCr と修正 HSV を併用した抽出処理

元画像

YCbCr での抽出画像

YCbCr と修正 HSV での抽出画像

YCbCr で抽出処理

修正 HSV で抽出処理

17

2.6.2 YCbCr と修正 HSV を併用した肌色抽出結果 YCbCr と修正 HSV を併用して得た肌色画像（図 31）から，単独の色空間による抽出よ

りは，二つの色空間を併用した場合の方が，精度の向上することが分かる．しかし，肌色

領域の誤った除去が目立つ結果となった．

図 30:元画像 1

図 31:YCbCr と修正 HSV を併用した肌色抽出画像

18

3 輪郭を利用した肌色抽出手法 色空間のみに注目した抽出手法では，肌色領域の抽出精度が良いとは言えなかった．そ

こで，色空間だけでなく肌色領域の輪郭にも注目することで，抽出精度の向上を目指すこ

とにする． 3.1 輪郭抽出処理

全ての画像において，画像の対象物に応じ，それぞれ独自の二次元的特徴が存在する．

二次元的特徴とは，濃度値や色，模様（テクスチャ）などのことである．輪郭抽出処理で

は，この二次元的特徴を用いている．濃度値や色，模様（テクスチャ）などの特徴が似て

いる部分は一つの領域として扱い，これらの特徴が急激に変化するところを，ある領域と

ある領域の境界とすることで，輪郭抽出が実現する．本研究を用いた輪郭抽出処理は以下

のようになる（図 32）．

図 32:輪郭を利用した肌色抽出処理

エッジ画像生成 （Sobel フィルタ）

（肌色領域ノイズ軽減）

（輪郭補償処理） （水平方向画素連結）

YCbCr と 修正 HSV 併用

抽出画像

元画像

肌色領域着色画像 輪郭利用肌色抽出画像

19

3.1.1 Sobel フィルタ Prewitt フィルタにおいて，中央の重みを大きくしたものが Sobel フィルタである．Sobelフィルタのオペレータ（図 33）を用いて演算を行うことにより方向ごとの勾配が得られる．

また，方向性に依存するということを防ぐために，勾配の大きさ（式 6）を利用する．Sobelフィルタを適用した画像は，以下のようになる（図 34）．

水平方向 垂直方向 図 33:Sobel フィルタのオペレータ

図 34:Sobel フィルタを適用した画像

1 0 1−

2 0 2−

1 0 1−

1 2 1

0 0 0

1− 2− 1−

[ ] ( ) ( )22, ffjig yx ∇+∇=

（式 6）

20

3.1.2 肌色領域のノイズ軽減 Sobel フィルタを適用すると，肌色領域にノイズが発生する．このノイズを軽減するため

に，先に述べた YCbCr と修正 HSV を併用した抽出画像を利用する．Sobel フィルタを適

用し，生成された画像に関する輪郭画素と YCbCr と修正 HSV を併用した場合に肌色とし

て抽出された画素が重なっていれば，重なっている輪郭画素を除去する．Sobel フィルタを

適用し，生成された画像に YCbCr と修正 HSV を併用した肌色画像を重ねた画像を以下に

示す（図 35）．この画像において，除去する輪郭画素は，濃い黒の部分の画素である．濃い

黒の部分の画素は，YCbCr と修正 HSV を併用した肌色画像と Sobel フィルタを適用し，

生成された画像の輪郭がそとの重なりを表している．

図 35:輪郭画素と肌色領域の比較

21

3.1.3 輪郭補償処理 Sobel フィルタを用いて輪郭抽出処理を行い，YCbCr と修正 HSV を併用した肌色領域抽

出画像を用いて肌色領域内のノイズを軽減することができた．しかし，肌色領域の輪郭近

傍において画素の連続性が低下している．よって，輪郭補償処理を行い，この画素の連続

性の低下を軽減することにする． 画素の拡大図（図 36）を以下に示す．黒いマスが，輪郭として扱われている画素であり，

白いマスが，輪郭として扱われていない画素である．輪郭補償補処理として，始めに補償

対象となる輪郭として扱われていない画素（図 36 の赤い円）の 8 近傍（図 36 の青い円）

について，輪郭として扱われている画素数を調べる．そして，その画素数が定めた値以上

であれば，補償対象画素を輪郭とする． また，水平方向について不連続な輪郭として扱われている 2 画素間（図 36 の青い四角）

の距離が，定めた距離以内であれば，それら 2 画素間の領域（図 36 の赤い四角）を輪郭と

して扱う．

図 36:画素の拡大図

22

3.2 肌色領域着色，着色領域抽出 肌色領域であることを最終的に判定する際のフラグとして，ここまでの処理によって生

成された輪郭画像に関連して肌色領域と考えられる部分を一定色で着色したものを以下に

示す（図 37）．そして，元画像と肌色領域着色画像を比較し，着色されている画素と同位置

の元画像の画素を抽出することにより，輪郭を利用した肌色抽出画像を得ることにする．

図 37:肌色領域着色画像

23

3.3 輪郭を利用した肌色抽出結果 元画像 1（図 38）に対して，輪郭を利用した肌色抽出処理を行う．次に，生成した肌色

抽出画像と元画像 2（図 40）に対して，輪郭を利用した肌色抽出処理を行う．その結果，

生成した肌色抽出画像は，以下のようになる（図 39，図 41）．

図 38:元画像 1

図 39:輪郭を利用した肌色抽出画像 1

24

図 40:元画像 2

図 41:輪郭を利用した肌色抽出画像 2

25

4 まとめ 一般的な画像に対して肌色抽出を行う場合，色空間を利用するだけでは，肌色領域の分

離は困難である．複数の色空間を併用したとしても，著しい抽出精度の向上は期待できな

い．一方，輪郭情報は，肌色抽出において大変有益なものであることがわかった．この輪

郭情報を利用して肌色抽出を行う場合，輪郭情報の精度が肌色抽出の精度に直結するため，

いかに輪郭情報を正確に取り出すかが重要である．今回，輪郭補償処理として 8 近傍と水

平方向の輪郭補償を行っているが，近傍領域の拡張，斜め方向の輪郭補償など，輪郭補償

処理を変更，改善することでさらなる抽出精度の向上が望めると思われる．

26

5 謝辞 1 年間を通して，ご指導賜りました澤見英男先生に心より感謝いたします．ならびに，多

くの助言を頂いた情報科学科の諸先生方に感謝いたします．本当に，ありがとうございま

した．

27

6 参考文献 [1]JOOchan.com:

http://www.joochan.com/index.html [2]Q-Link Online index:

http://www.q-link.jp/index.shtml [3]大日精化工業株式会社:

http://www.daicolor.co.jp/index.html [4]Wikipedia:

http://ja.wikipedia.org/wiki/ [5]色色雑学コニカミノルタ:

http://konicaminolta.jp/entertainment/colorknowledge/index.html [6]色のお話:

http://anipeg.yks.ne.jp/color.html [7]色表示値の相互変換:

http://www005.upp.so-net.ne.jp/fumoto/linkp25.htm [8]Useful Color Equations:

http://www.brucelindbloom.com/index.html?Equations.html [9]表色系変換:

http://www.eonet.ne.jp/~s-inoue/CO_sikisa/index_C_DIF_b.html [10]伊賀，和泉，林，深野，大谷，横河電機株式会社: 人物顔画像による性別・年齢推定システム http://www.media.eng.hokudai.ac.jp/~liuxj/bak/pdf/G-3.pdf

[11]富永，内村，脇阪，熊本大学工学部，株式会社ゼンリン: 動画像解析による道路案内標識の自動位置推定 http://navi.cs.kumamoto-u.ac.jp/english/publications/pdf/material/2001-04.pdf

[12]松橋，藤本他:顔領域抽出に有効な修正 HSV 表色系の提案，テレビジョン学会誌，Vol. 49 Num.6 (1995/06)

[13]平野晃昭，中村納:顔の回転にロバストは個人識別方式，電気学会論文誌 C，Vol.120-C No.6 (2000/06)

[14]足達義則，今井昭宏，尾崎正弘，石井直弘:肌色領域抽出手法の検討，電気学会論文誌 C，

Vol120-C No.12 (2000/12) [15]酒井幸市 著，CQ 出版 発行:ディジタル画像処理の基礎と応用-基本概念から顔画像認

証まで-(2003/9)