26
独立成分分析による顔色変化予測に 基づく顔画像の評価 * 植月啓次,津村徳道,小島伸俊 ,三宅洋一 千葉大学工学部情報画像工学科 〒263-8522 千葉市稲毛区弥生町 1 - 3 3 花王(株)スキンケア研美容センター第3研究室 〒131-8501 墨田区文花 2 - 1 - 3 P rediction of facial b y u s in g In d e p e n d e n t A nalysis and evalu o n fa c ia l im ages K e iji U E T S U K I, N o rim ic h i T SUMURA, * a n d Y o ic h i MIYAKE D e p a rtm e n t o f In fo rm a tio n a n d Im versity 1 - 3 3 , Y a y o i- c h o , In a g e - k u , C h ib a * K a o C o r p o r a t io n 2 - 1 - 3 , B u n k a , S u m id a - k u , T o k y o 1

Prediction of facial color variation by using …tsumura/Tsumura/papers/JSPST01_skin...facial color images and amount of melanin and hemoglobin components in the facial skin. From

  • Upload
    others

  • View
    3

  • Download
    0

Embed Size (px)

Citation preview

Page 1: Prediction of facial color variation by using …tsumura/Tsumura/papers/JSPST01_skin...facial color images and amount of melanin and hemoglobin components in the facial skin. From

独立成分分析による顔色変化予測に

基づく顔画像の評価*

植月啓次,津村徳道,小島伸俊*,三宅洋一

千葉大学工学部情報画像工学科

〒 2 6 3 - 8 5 2 2 千葉市稲毛区弥生町 1 - 3 3

*花王(株)スキンケア研美容センター第3研究室

〒 1 3 1 - 8 5 0 1 墨田区文花 2 - 1 - 3

P r e d ic t io n o f f a c ia l c o lo r v a r ia t io n

b y u s in g In d e p e n d e n t C o m p o n e n t

A n a ly s is a n d e v a lu a t io n

o n f a c ia l im a g e s

K e iji U E T S U K I, N o rim ic h i T S U M U R A , N o b u to s h i O J IM A* a n d Y o ic h i

M IY A K E

D e p a r t m e n t o f In fo r m a t io n a n d Im a g e S c ie n c e s , C h ib a U n i-

v e r s it y

1 - 3 3 , Y a y o i- c h o , In a g e - k u , C h ib a 2 6 3 - 8 5 2 2 J a p a n

*K a o C o r p o r a t io n

2 - 1 - 3 , B u n k a , S u m id a - k u , T o k y o 1 3 1 - 8 5 0 1 , J a p a n

Page 2: Prediction of facial color variation by using …tsumura/Tsumura/papers/JSPST01_skin...facial color images and amount of melanin and hemoglobin components in the facial skin. From

要旨

 近年,マルチメディア,CG,遠隔医療などの技術の発展に伴っ

て,顔色再現がますます重要視されている.人間の肌は複数の層を

形成する複雑な構造であり,各層にはメラニン,ヘモグロビンなど

の色素が存在する.肌の構造や色素成分の変化によって,肌の見え

は様々に変化する.本研究では,顔画像よりメラニンとヘモグロビ

ンの成分量を分離抽出し,それぞれの成分量を変化させ再び合成す

ることで,様々な肌色の顔画像を予測する.さらに各色素成分量と

顔色の見えとの関係を,主観評価実験により解析する.

キーワード

独立成分分析,顔色,メラニン,ヘモグロビン,主観評価 ,

見え

Page 3: Prediction of facial color variation by using …tsumura/Tsumura/papers/JSPST01_skin...facial color images and amount of melanin and hemoglobin components in the facial skin. From

A b s tra c t

With the recent progress in various imaging systems, facial skin color

reproduction becomes increasingly important. Human skin is a very turbid

medium with multilayered structure. Various pigments such as melanin and

hemoglobin are contained in the skin. Slight changes in structure and pig-

ment construction produce rich skin color appearance. In this research, we

reproduce various facial skin color by changing amount of melanin and he-

moglobin components. The spatial distributions of melanin and hemoglobin

components in the skin are separated by independent component analysis

of skin color. The separated components are synthesized to reproduce the

various facial color images by changing amount of separated pigments. The

synthesized images are evaluated subjectively by comparing with the origi-

nal facial image. Correlation maps are analyzed between appearance of

facial color images and amount of melanin and hemoglobin components in

the facial skin. From these analysis, we could find that how changes of

melanin or hemoglobin components influence the appearance of facial color

image.

Keywords

Independent Component Analysis, Facial color, Melanin, Hemoglobin, Sub-

jective evaluation, appearance

Page 4: Prediction of facial color variation by using …tsumura/Tsumura/papers/JSPST01_skin...facial color images and amount of melanin and hemoglobin components in the facial skin. From

1 は じ め に

 昔からカラーフィルムの色再現やカラーテレビジョン

システムにおいて,顔色の再現は最も重要である.近年

のマルチメディア,C G,遠隔医療などの画像システムの

発展に伴って,通信,ハード・ソフトコピー上の画像再

現,医療診断や化粧品開発などに対して,顔色再現は一

層重要となっている.

  人 の 肌 は い く つ か の 層 か ら な る 複 雑 な 構 造 を し て い

る.肌にはヘモグロビンやメラニンといった様々な色素

が含まれている.肌の構造や色素含有量のわずかな変化

によって,肌の色は様々に変化する.従って,化粧品開

発や医療診断において,その構造と色素成分量に基づい

た解析が必要である.すなわち,物理量としての肌の色

素成分量と,感性量としての顔色の見えとの関係の解析

が重要と考えられる.

 独立成分分析を用いてカラー画像を分析する手法が近年注目され

ている.独立成分分析は,互いに独立な信号が混合した観測信号か

ら,信号の独立性以外の先見的知識なしにもとの信号を抽出する手

法である 1 - 3 ).多重音声分離,脳波データの解析,移動体通信にお

ける信号処理,画像の特徴抽出などへの応用が試みられている.井

上らは,混合物を撮影したカラー画像からその成分を独立成分分析

により抽出する手法を提案している 4 ,5 ).津村らは,井上ら手法に

基づき,カラー画像として人間の肌を対象とした場合に,ヘモグロ

ビンとメラニンの色素分布を分離することに成功している 6 ,7 ).ま

た,分離された成分量を変化させた後,再び合成することにより,

様々な顔色を合成できることを示している.

 本研究では,色素量を変化させて合成された複数の顔画像に

対して,2 5個の形容詞対を用いた主観評価実験を行う.そ

の結果に基づき,顔画像の見えと,肌に存在するメラニン・

ヘモグロビンの色素成分量との関係を解析する.次節で

Page 5: Prediction of facial color variation by using …tsumura/Tsumura/papers/JSPST01_skin...facial color images and amount of melanin and hemoglobin components in the facial skin. From

は独立成分分析の解説とその色素分離への応用について説

明する.第 3 節では,肌色をモデル化し,独立成分分析を適

用する方法について説明する.第 4 節で,第3節までの方法を用

いて合成した複数の顔色変化画像の作成結果とその主観評価実

験について述べる.また,主観評価実験の結果について考察す

る.最後に第 5 節で本論文のまとめと考察を行う.

2 独 立 成 分 分 析 と そ の 色 素 分 離 へ の 応 用

複数の信号が混在した信号から,単一の信号を分離す

る問題は,信号源分離問題と呼ばれる.この問題の解法

の 1つとして,独立成分分析(I n d e p e n d e n t C o m p o n e n t

A n a l y s i s)がある.独立成分分析は,1 )信号源が互いに

統計的に独立な信号を発信している,2 )信号源の線形和

で混合信号が表される,という仮定のもとで,信号源を

分 離 す る 統 計 的 手 法 で あ る 1 - 3 ).

井上らは,ある複数の色素で構成される試料を撮影した

画 像 に 独 立 成 分 分 析 を 適 用 す る 場 合 を 考 えた 4 - 5 ).簡単

のため,試料が2つの色素で構成され, 2 チャンネルの

撮影システムで撮影されると仮定する.いま,s sl m l m1 2, ,, を画

像の座標 (l , m)での2つの色素量,a a1 2, を 2 色素の単位色

ベクトルとする.ここで合成された色ベクトル v l m, を,2

つ の 色 素 の 単 位 色 ベ ク ト ル が 色 素 量 s sl m l m1 2, ,, で 線 形 に 混 合

されたものであると仮定すれば,v l m, は次式で表される.

v a al m l m l ms s, , ,? ?1 1 2 2 ( 1 )

色ベクトル v l m, の各要素は,各チャンネルでの画素値を表

している.列要素に単位色ベクトルをもつ2×2の混合

行 列 A ? a a1 2, と , 座 標 ( l , m ) に お け る 色 素 量 ベ ク ト ル

Page 6: Prediction of facial color variation by using …tsumura/Tsumura/papers/JSPST01_skin...facial color images and amount of melanin and hemoglobin components in the facial skin. From

s l m l m l ms s, , ,[ , ]? 1 2T で式 ( 1 )を 書 き 直 す と , 次 式 と な る .

v sl m l m, ,? A ( 2 )

こ こ で s sl m l m1 2, ,, は 座 標 (l , m)に お い て 互 い に 独 立 で あ る と

仮 定 す る . F i g . 1は 混 合 の プ ロ セ ス を 表 し た も の で あ

る.我々が既知の信号は観測信号 v l m, のみである.

 各色素量が互いに独立であるという条件のもとで,独

立 成 分 分 析 を 画 像 の 混 合 色 ベ ク ト ル に 適 用 す る こ と で ,

色素量と色ベクトルについての先見的知識なしに,相対

的な色素量とその単位色ベクトルを推定することができ

る. F i g . 1に 示 し た よ う に , 分 離 ベ ク ト ル h h1 2, を 列 要 素

に も つ 分 離 行 列 H ? h h1 2, と 分 離 さ れ た ベ ク ト ル

[ , ], , ,s l m l m l ms s? 1 2T を定義すれば,その関係は次式となる.

, ,s vl m l m? H ( 3 )

適当な分離行列 H を推定することで,混合された色ベク

ト ル よ り ,互 い に 独 立 な 信 号 ,, ,s sl m l m1 2 を 求 め る こ と が で き

る .

 分離された独立信号 ,, ,s sl m l m1 2 はそれぞれ s sl m l m

1 2, ,, に対応する

ものであるが,絶対的な色素量ではない.従って推定さ

れる独立ベクトル ,s l m は次のように表すことができる.

, ,s sl m l m? ?R ( 4 )

R はベクトルの要素を置き換える置換行列であり,? は絶

対量と相対量とを関連付ける対角行列を表している.式

( 2 )と 式 ( 3 )よ り , 式 ( 4 )は 次 の よ う に 書 き 表 さ れ る .

F ig .1挿入

Page 7: Prediction of facial color variation by using …tsumura/Tsumura/papers/JSPST01_skin...facial color images and amount of melanin and hemoglobin components in the facial skin. From

HA Rs sl m l m, ,? ? ( 5 )

任 意 の 色 素 量 ベ ク ト ル に つ い て 式 ( 5 )が 成 り 立 つ に は ,

行列 HA と R? が等しくなければならない.よって A は次

式によって計算できる.

A H R? ? 1 ? ( 6 )

すなわち独立成分分析によって得られるのは,相対的な

色素量と色ベクトルの方向のみである.分離行列 H の推

定法には様々な手法1 - 3 )が提案されているが,本研究では

固 定 点 ア ル ゴ リ ズ ム 3 )( F i x e d P o i n t A l g o r i t h m) を

用いる.

3 肌 色 へ の 独 立 成 分 分 析 の 適 用 7 )

3 . 1 肌 色 の モ デ ル 化

 人間の肌の構造を F i g . 2に示す.表皮層と真皮層には

様々な色素が存在する.特に表皮層にはメラニンが,真

皮層には血液に含まれるヘモグロビンが多く存在してい

る .

肌色画像は,R G Bカラー C C Dカメラによって取得され

る . 座 標 ( l , m ) に お け る 各 チ ャ ン ネ ル の 画 素 値 を

r g bl m l m l m, , ,, , で表す.

  肌 色 の モ デ ル 化 に あ た り , 以 下 の 4つ の 仮 定 を 行 う .

1 )肌からの反射光に対して, L a m b e r t - B e e r則または巨

視的 L a m b e r t - B e e r則 6 )が成り立つ. 2 )肌から反射される

分光分布は,カメラのカラーフィルターの感度域内で大きく変化し

ない.3)肌色の空間的変化は,メラニンとヘモグロビンの

F ig .2挿入

Page 8: Prediction of facial color variation by using …tsumura/Tsumura/papers/JSPST01_skin...facial color images and amount of melanin and hemoglobin components in the facial skin. From

色素量の変化による. 4)各色素量は,互いに空間的に独

立である.

 これらの仮定により,各チャンネルの画素値の逆数の

対数:? ? ?log( ), log( ), log( ), , ,r g bl m l m l m をとった濃度空間において,

単一色素の色信号と観測信号との間に線形関係が仮定され

る 7 ).従って,肌色は F i g . 3のようにモデル化することが

できる.濃度空間上では,観測される肌色はベースの色

に加えて,ヘモグロビンとメラニンの色ベクトルによっ

て張られる 2 次元平面上に分布する.

3 . 2 肌 色 の 独 立 成 分 分 析

 肌色のモデルに従って,独立成分分析を適用する.メ

ラニンとヘモグロビンの色素量を独立成分ベクトル s l m, の

要 素 s sl m l m1 2, ,, と み な す こ と が で き る . ま た , 観 測 さ れ る 3

チ ャ ン ネ ル の 色 信 号 の 濃 度 を ,観 測 ベ ク ト ル v l m, の 要 素

v v vl m l m l m1 2 3

, , ,, , と す れ ば , 式 ( 2 )の 線 形 関 係 が 成 り 立 つ .こ こ

で混合行列 A の 要 素 a a1 2, は,メラニン,ヘモグロビンの

単一色ベクトルである. 3 チャンネルの観測信号は主成

分分析によって独立成分と同じ 2 次元に削減され,固定

点 ア ル ゴ リ ズ ム に よ っ て 単 一 色 ベ ク ト ル が 推 定 さ れ る .

参考文献7に示すように,ニキビがヘモグロビン成分として分離さ

れていることや本論文の後で示す様々な顔色画像の合成結果から,

前小節の4つの仮定に基づく肌色のモデル化と独立成分分析による

分離,合成結果は,色再現という応用分野では,色素成分に基づい

た新しい概念のカラー画像処理法であると考えている.しかし,色

素成分に基づく医療診断など応用する際には,光散乱の影響などに

より上記の線形性の仮定による誤差が無視できず,光散乱を考慮し

た肌の分光反射率の非線形独立成分分析を行う必要がある 8 ).

F ig .3挿入

Page 9: Prediction of facial color variation by using …tsumura/Tsumura/papers/JSPST01_skin...facial color images and amount of melanin and hemoglobin components in the facial skin. From

4 顔 色 変 化 に 対 す る 主 観 評 価 実 験

4 . 1 顔 色 変 化 画 像 の 推 定

 実験に使用する顔画像は,市販の C C Dカメラ( N i k o n

D 1 )によって撮影した,2 0 0 0× 1 3 1 2ピクセルの R G Bカ

ラー画像である.濃度空間における観測信号の線形性を

保つため,撮影時に照明とカメラの前面に偏光フィルタ

を設置し,観測信号から被写体の表面反射成分を取り除

く 9 ).また,できるだけ拡散照明を行うことにより,抽出される成

分量に照明ムラに起因したバイアスがのるのを防いだ.F i g . 4は

顔 色 変 化 画 像 の 再 現 プ ロ セ ス を 示 し た も の で あ る . 3

チ ャ ン ネ ル で 撮 影 さ れ た 内 部 反 射 成 分 の み の 顔 画 像 よ

り,肌色サンプルとして使用する画像を切り出し,その

画素値の逆数の対数をとることで,メラニン色素とヘモ

グロビン色素の分離を行う.さらに各色素の濃度を変化

させ,再び合成することで,様々な顔色再現を行う.普

段 我 々 が 見 る 顔 に は 表 面 反 射 成 分 が 含 ま れ て い る た め ,

合成後の顔画像に再び表面反射成分を加えて最終的な顔

色 変 化 画 像 と な る .

4 . 2 主 観 評 価 実 験

 実験のために,推定された各色素量をそれぞれ 5 段階

( 0 . 7倍,1 倍,1 . 3倍,1 . 6倍,1 . 9倍)変化させて合成

し,計 2 5枚の顔色変化画像を作成した.F i g . 5 ( a ) , ( b )に

再現された男女各 2 5枚の顔画像を示す.横軸がヘモグロ

ビン色素量の変化,縦軸がメラニン色素量の変化を表わ

し,右上に行くほど肌の色素濃度が濃くなる.これらの

画像を用いて,次のような主観評価実験を行う.F i g . 6に

実験用 G U Iを示す.評価者には,C R Tディスプレイ上に

原画像と色素成分変化後の画像を 2 枚提示し,原画像と

F ig .6挿入

F ig .4挿入

F ig .5挿入

Page 10: Prediction of facial color variation by using …tsumura/Tsumura/papers/JSPST01_skin...facial color images and amount of melanin and hemoglobin components in the facial skin. From

比べて変化後の画像がどのような印象をもつか,2 5組の

形容詞対について 5 段階の評価をしてもらった.評価者

は 2 0代前半の研究室内の学生 1 0名である.F i g . 7に使用

した形容詞対を示す.

 使用した顔画像は,2 0代前半の男女各 1 名の顔色変化

画像各 2 5枚,計 5 0枚である.5 段階評価の最高点を + 2,

最低点を - 2として,実験より得られたデータを顔画像毎

に整理した.各顔色再現画像に対して得られた,各形容

詞対に対する評価値は,1 0名の評価者の平均値とした.

このデータをもとに,各形容詞対のメラニン・ヘモグロ

ビ ン 色 素 量 の 変 化 と , 評 価 値 の 相 関 図 を 作 成 し た .

F i g . 8に各形容詞対ごとの相関図を示す.縦 軸 ,横 軸 は

メ ラ ニ ン・ヘ モ グ ロ ビ ン の 色 素 量 変 化 の 度 合 い を 示 し ,

対応する評価値を等高線によって表した.例えば,F i g . 8

右上は,形容詞対である「不健康そうな-健康そうな」に対する主観

評価実験の結果である.図中で黒いほど,すなわち評価値が低いほ

ど,不健康そうに評価された顔色変化画像であったことを示す.オ

リジナル画像に対して,ヘモグロビン色素量1.3倍,メラニン色

素量1.2倍付近で最も白い色,すなわち高い評価値を示してお

り,最も健康そうな顔色変化画像として評価されている.

  得 ら れ た 相 関 図 を 4 つ の カ テ ゴ リ に 分 類 し た . 1 つ

は,メラニンの色素量のみに相関をもつものである.例

えば F i g . 8中の「澄んだ - 濁った」はこのカテゴリに分

類できる. 2 つ目は,ヘモグロビンの色素量のみに相関

をもつものである.例えば F i g . 8中の「赤味が強い - 黄

味が強い」がこのカテゴリに分類できる.3 つ目は,メラ

ニ ン と ヘ モ グ ロ ビ ン の 両 色 素 量 に 相 関 を も つ も の で あ

る.例えば F i g . 8中の「上品な - 下品な」がこのカテゴ

リに分類される.最後は,ある色素量のときにピークを

F ig .7挿入

F ig .8挿入

Page 11: Prediction of facial color variation by using …tsumura/Tsumura/papers/JSPST01_skin...facial color images and amount of melanin and hemoglobin components in the facial skin. From

もつような形容詞である.例えば F i g . 8中の「健康そう

な - 不健康そうな」がこのカテゴリに分類される.2 5個

すべての形容詞対をカテゴリ分けすると,T a b l e 1のよ

うに分類できる.

 ここで,「透き通った - 不透明な」「きめの細かい - き

めの粗い」「濁った - 澄んだ」といった,メラニン色素に

ついて相関が強い形容詞対群の傾向から,メラニン色素

の 変 化 は 肌 の 質 感 の 印 象 に 大 き く 影 響 す る と 考 え ら れ

る.また,「地味な - 派手な」「活気のない - 活気のある」

「暗い - 明るい」といった,ヘモグロビン色素に相関が強

い形容詞対群の傾向より,ヘモグロビン色素の変化は顔

全体から感じる見えの印象に影響が強いことがいえる.

 すなわち,以上の解析よりヘモグロビンとメラニンの

成分変化と高い相関をもつ視覚的,心理的な形容詞があ

ることが確認された.また,ヘモグロビンとメラニンの

成分変化と顔色画像の見えの関係が分かった.

5 ま と め と 考 察

 市販のディジタルカメラを用いて撮影した顔画像に対して,独

立成分分析を適用することにより,メラニン・ヘモグロビ

ン色素量を変化させた様々な顔色画像の合成ができた.合成

された画像を用いて,顔色の見えと各色素量の変化との関係

を,2 5種類の形容詞対によって評価した.その結果,メ

ラニン色素量と相関をもつ形容詞,ヘモグロビン色素量

と相関をもつ形容詞,両色素量と相関のある形容詞,あ

る 色 素 量 の と き 評 価 値 が ピ ー ク を も つ 形 容 詞 に分類され

た.これによりメラニン,ヘモグロビンの色素量が顔色

の見えに与える影響を解析できた.今回,色素量は相対的に

変化させたため,顔色の見えと絶対的な色素量に関係については

T a b le 1挿入

Page 12: Prediction of facial color variation by using …tsumura/Tsumura/papers/JSPST01_skin...facial color images and amount of melanin and hemoglobin components in the facial skin. From

分からないが,相対的な変化が顔 色 の 見 え に 与 え る 影 響が分

かった.この結果は化粧品開発などに有効な方針を与えるものと思

う.

  独 立 成 分 分 析 に よ っ て 分 離 さ れ た 各 色 素 は , 今回顔全

体に対して一様に変化させたが,実際には頬の部分だけ

が赤くなるなど,色素の変化にむらがあることが考えら

れる.このような生理学的知見を考慮して色素量を変化

させることで,よりリアルな顔色変化の再現が可能と考

えられる.また,今回は評価に使用する被写体や,評価

者の男女差・個人差について考慮していない.今後はこ

のような点も含めて,人間の感性と2つの色素量との関

連をより深く解析し,望みの条件に最適な肌色を実現す

るための物理的指標を確立することが必要である.

*本研究の一部はカラーフォーラムJ A P A N 2 0 0 0(平成1 2年1 2月1 7

日)に発表した

Page 13: Prediction of facial color variation by using …tsumura/Tsumura/papers/JSPST01_skin...facial color images and amount of melanin and hemoglobin components in the facial skin. From

参考文献

1) C. Jutten and J. Hearult,Signal Processing, 24 (1991)1-

10.

2 ) G .B u r e l, N e u r a l N e t w o r k s, 5, 9 3 7 ( 1 9 9 2 ) .

3 ) A .H y v a r in e n , E .O ja , N e u r a l c o m p u t a t io n, 9, 1 4 8 3 ( 1 9 9 7 )

4) 井上卓, 藤井勇作, 伊東一良, 一岡芳樹:"多次元少数要素独

立成分分析法," 光学連合シンポジウム東京 '9 5 講演予稿集

(1995) 105-106.

5) 白崎宏一, 井上卓 , 伊東一良, 一岡芳樹,光学 25,9 (1996)

537-543.

6)M. Hiraoka, M. Firbank, M. Essenpreis, M. Cope, S. R.

Arridge,P. v. d. Zee, and D. T. Delpy, Phys. Med. Biol.

38, 1859 ・ 876 (1993).

7) N. Tsumura, H. Haneishi, Y. Miyake, Journal of Optical

Society of America A Vol. 16 No.9 (1999) 2169-2176.

8)津村徳道,羽石秀昭,三宅洋一,光学 30巻 6号(2001)

400-406.

9 ) 小島伸俊,羽石秀昭,三宅洋一,日本写真学会誌 5 6巻4号(1

993) 2 6 3 - 2 6 9 .

1 0 ) 矢野 , 橋本 , 照明学会誌 , V o l.7 9 N o .1 1, 6 6 5 ( 1 9 9 5 ) .

1 1 ) 太田 , 足立 , 松木 , 長谷川 , 日本色彩学会誌 , V o l.1 9 N o .1,

4 ( 1 9 9 5 ) .

Page 14: Prediction of facial color variation by using …tsumura/Tsumura/papers/JSPST01_skin...facial color images and amount of melanin and hemoglobin components in the facial skin. From

F ig u r e C a p t io n s

Figure 1 M ix t u r e a n d s e p a r a t io n o f in d e p e n d e n t s ig n a ls

F ig u r e 2 S c h e m a t ic m o d e l o f h u m a n s k in s t r u c t u r e

F ig u r e 3S k in c o lo r m o d e l in t h e o p t ic a l d e n s it y d o m a in o f

t h r e e c h a n n e ls

F ig u r e 4P r e d ic t io n p r o c e d u r e o f f a c ia l c o lo r v a r ia t io n

F ig u r e 5 ( a )P r e d ic t e d f a c ia l im a g e s u s e d in t h e s u b je c -

t iv e e v a lu a t io n s ( M a n )

F ig u r e 5 ( b )P r e d ic t e d f a c ia l im a g e s u s e d in t h e s u b je c -

t iv e e v a lu a t io n s (W o m a n )

F ig u r e 6In t e r f a c e u s e d in t h e s u b je c t iv e e v a lu a t io n s

F ig u r e 7P a ir s o f a d je c t iv e s t o d e s c r iv e t h e a p p e a r a n c e1 0 )

, 1 1 )

F ig u r e 8C o r r e la t io n m a p s

Page 15: Prediction of facial color variation by using …tsumura/Tsumura/papers/JSPST01_skin...facial color images and amount of melanin and hemoglobin components in the facial skin. From

F ig u re 1M ix tu re a n d s e p a ra tio n o f in d e p e n d e n t s ig n a ls

1v

2s

1s

2v2

s

1s

Mixture Independent ComponentAnalysis

Inde

pend

ent

Inde

pend

ent

Sepa

rate

d Si

gnal

s

Sour

ce S

igna

ls

Obs

erve

d Si

gnal

s

A H

Page 16: Prediction of facial color variation by using …tsumura/Tsumura/papers/JSPST01_skin...facial color images and amount of melanin and hemoglobin components in the facial skin. From

F ig u re 2S c h e m a tic m o d e l o f h u m a n s k in s tru c tu re

Epidermis    Melanin

Dermis  Hemoglobin

Subcutis

Page 17: Prediction of facial color variation by using …tsumura/Tsumura/papers/JSPST01_skin...facial color images and amount of melanin and hemoglobin components in the facial skin. From

)log(b?)log(g?

)log(r?

Base color vector

Melanin color vector

Hemoglobin color vector

Distribution of skin color signals

1a

2a

F ig u re 3S k in c o lo r m o d e l in th e o p tic a l d e n s ity d o m a in o f th re e c h a n n e ls

Page 18: Prediction of facial color variation by using …tsumura/Tsumura/papers/JSPST01_skin...facial color images and amount of melanin and hemoglobin components in the facial skin. From

F ig u re 4P re d ic tio n p ro c e d u re o f fa c ia l c o lo r v a ria tio n

Sepa

rati

on Melanin componentof original image

Hemoglobin componentof original image

Original facial image Predicted image of facial color variation

Sample of skin signals

Synt

hesi

s

Specular componentof facial image

Page 19: Prediction of facial color variation by using …tsumura/Tsumura/papers/JSPST01_skin...facial color images and amount of melanin and hemoglobin components in the facial skin. From

F ig u re 5 (a )P re d ic te d fa c ia l im a g e s u s e d in th e s u b je c tiv e e v a lu a tio n s (M a n )

Page 20: Prediction of facial color variation by using …tsumura/Tsumura/papers/JSPST01_skin...facial color images and amount of melanin and hemoglobin components in the facial skin. From

F ig u re 5 (b )P re d ic te d fa c ia l im a g e s u s e d in th e s u b je c tiv e e v a lu a tio n s (W o m a n )

Page 21: Prediction of facial color variation by using …tsumura/Tsumura/papers/JSPST01_skin...facial color images and amount of melanin and hemoglobin components in the facial skin. From

F ig u re 6In te rfa c e u s e d in th e s u b je c tiv e e v a lu a tio n s

Original image Predicted image

Page 22: Prediction of facial color variation by using …tsumura/Tsumura/papers/JSPST01_skin...facial color images and amount of melanin and hemoglobin components in the facial skin. From

清潔な 不潔な美しい きたない

健康そうな 不健康そうなみずみずしい 乾いた

派手な 地味な上品な 下品な明るい 暗い

好ましい 好ましくない情熱的な 冷静な

やわらかい かたい澄んだ 濁った

女性的な 男性的な活気のある 活気のない

自然な 不自然なしっとりした さらっとした

きめの粗い きめの細かい年老いた 若々しい

生気のない 生き生きした艶のない 艶のある不透明な 透き通った

色白な 色黒な赤味が強い 黄味が強い

青白い 黄黒い素肌の感じ 化粧肌の感じハリのある ハリのない

F ig u r e 7P a ir s o f a d je c t iv e s t o d e s c r iv e t h e a p p e a r a n c e1 0 ),1 1 )

Page 23: Prediction of facial color variation by using …tsumura/Tsumura/papers/JSPST01_skin...facial color images and amount of melanin and hemoglobin components in the facial skin. From

F ig u re 8C o rre la tio n m a p s

Page 24: Prediction of facial color variation by using …tsumura/Tsumura/papers/JSPST01_skin...facial color images and amount of melanin and hemoglobin components in the facial skin. From

F ig u re 8C o rre la tio n m a p s

Page 25: Prediction of facial color variation by using …tsumura/Tsumura/papers/JSPST01_skin...facial color images and amount of melanin and hemoglobin components in the facial skin. From

F ig u re 8C o rre la tio n m a p s

Page 26: Prediction of facial color variation by using …tsumura/Tsumura/papers/JSPST01_skin...facial color images and amount of melanin and hemoglobin components in the facial skin. From

メラニンとヘモグロビンに相関 ヘモグロビンに相関 メラニンに相関

不潔な-清潔な 地味な-派手な 乾いた-みずみずしい きたない-美しい 黄味が強い-赤身が強い 色黒な-色白な 下品な-上品な 活気のない-活気のある 透き通った-不透明な

ハリのない-ハリのある 暗い-明るい きめの細かい-きめの粗い 黄黒い-青白い 好ましくない-好ましい 男性的な-女性的な

艶のある-艶のある 濁った-澄んだ 若々しい-年老いた

さらっとした-しっとりした ある点にピークをもつ その他不自然な-自然な 不健康そうな-健康そうな 化粧肌の感じ-素肌の感じ

かたい-やわらかい 生き生きした-生気のない 冷静な-情熱的な

T a b le 1 C la s s ific a tio n o f p a irs o f a d je c tiv e s