Mitosis Detection in Breast Cancer Histology

Images with Deep Neural Networks輪講資料

情報メディア専攻 吉村研究室

M2215001

片渕 小夜

目次

1. 研究の目的

2. 実験に用いる細胞

3. 提案手法

1. 概要

2. 学習用画像とそのラベル付け

3. ネットワークの構造

4. 学習方法

4. 実験

1. 使用画像

2. 学習データセット作成の流れ

3. DNNの構成

4. 評価方式

5. 結果

6. まとめ

研究の目的

細胞分裂の状態から，肺ガン細胞を推定することが可能である

この課題が自動化できるようになると…

• これまでかかっていた人件費が節約できるようになる，さらに作業時間の短縮にも繋がる• 他分野への応用が可能になる• 判定結果にばらつきがなくなり，一様の判断を行うことが出来るようになる

実験に用いる細胞

細胞分裂状態の細胞は非常に不安定→検出したい細胞と検出されてはいけない細胞の特徴が酷似している

検出してほしい細胞＆提案手法で検出出来ている

検出してほしくない細胞＆誤って検出

検出してほしい細胞＆提案手法では検出できない

提案手法-概要

Deep Neural Network(DNN)を検出器として使用

DNN

• 中心画素が細胞もしくはその近くにある場合…

→中心画素を細胞クラスに分類• 中心画素が細胞に相当しない場合…

→中心画素を非細胞クラスに分類

…細胞

提案手法-学習用画像

RGB値を保持したカラー画像を使用

細胞検出問題は画像の回転に対し不変である

画像を回転・反転させる事により，学習用画像データのかさ増しが可能

これは細胞検出に関わらず多くの課題で有効な手段とされる

任意の矩形で画像を分割

局所的な特徴を得るために分割

画像端等，任意のサイズで画像を切り取れない部分は欠損部分を反転により補完

提案手法-ラベル付け

学習用画像はRGBのカラー画像

中心画素のRGB値を参考にし，細胞か否かを判定する

学習用画像に含まれる全ての画素に対し，• 細胞• 非細胞の2つのラベル付けを行う

提案手法-ネットワークの構造

畳み込みニューラルネットワークを使用

プーリング層

最大プーリング演算を適用

最大プーリングはメジャーな演算方法

全結合層

softmax関数を通して活性化されたニューロンの出力が，最終的な検出結果に繋がる

提案手法-判定処理

1. DNNに画像を入力し，各画像毎に細胞である確率を算出

2. 各画素を繋ぎあわせ，元画像と同じ大きさの確率マップMを作成

3. 確率マップMは多くのノイズが混入しているので，平滑化しノイズを除去した確率マップMfを作成

4. Mf中の極大値を示す部分を細胞として検出する

1px

1px

・・・

・・・

つなぎ合わせる

●

●

●

●

・ ・・

・・

確率マップMを生成(ノイズが多く混入)

平滑化

ノイズが除去された確率マップMf

実験-使用画像

使用画像

細胞画像のデータセット「MITOS」に含まれる画像50枚

Aperio XTスキャナで撮影された画像で，1画素当たり0.2456μmの解像度を持つ

RGBの3つの値を持つカラー画像

学習用画像は，以下の3つのグループに分けられる

T1:26枚:学習用画像

T2:9枚:バリデーション用画像

T3:15枚→2012ICPR細胞検出コンテストに使用された評価用画像

実験-学習データセット作成の流れ(1)

• 66000枚を用意• 大きさは101*101px

• T1,T2の中に含まれる全ての細胞データを使用

細胞パッチ

• 66000枚を用意• 大きさは101*101px

• T1,T2の中に含まれる非細胞データ151万枚の中から，学習に有意なものを予め選出

非細胞パッチ学習データセットSdとして定義

実験-学習用データセット作成の流れ(2)

DNNの学習

• 学習用データセットSdを使用して簡易なDNN識別器Cdを学習させる

画素に対し細胞クラスの確率を付与

• CdにT1,T2に含まれる全ての画素に対し，細胞クラスである確率D(p)を付与

実際の学習用パッチとなる画像をサンプリング

• D(p)の値を参考にして1万枚を選出．

•内6.6%が細胞クラスパッチ，残りの95.4%が非細胞クラスパッチ．

全てのパッチについて人工的なかさ増し処理を行う

•各画像に対し，0,90,180,270°の回転を加えると共に，反転処理を行うことによって学習パッチの

かさ増しを行う

実験-DNNの構成

実験において，13層のネットワーク(DNN1)と11層のネットワーク(DNN2)を用意

• 入力層：1層• 畳み込み層・プーリング層:5セット(10層)

• 全結合層:2層

DNN1

• 入力層：1層• 畳み込み層・プーリング層:4セット(8層)

• 全結合層:2層

DNN2

GPUを搭載した状態で，学習に1日を要する

最低でも30回の学習が必要

判定には1つのパッチ画像につき約31秒，元画像1枚当たり約8分を要する

実験-評価式(1)

判定用画像セットT3を用いて判定を行った時，以下の3つのパラメータを得る．

細胞クラス 非細胞クラス

細胞クラス 𝑁𝑇𝑃(True Positive) 𝑁𝐹𝑃(False Positive)

非細胞クラス 𝑁𝐹𝑁(False Negative)

判定結果

教師データ

• 𝑁𝑇𝑃• 𝑁𝐹𝑃• 𝑁𝐹𝑁以上3つのパラメータを使用して，評価式を定義する

実験-評価式(2)

3つのパラメータを使用して，以下の評価式を計算する

1. 再現率R:実際に正であるデータの内，正であると予測されたもの

𝑅 =𝑁𝑇𝑃

𝑁𝑇𝑃 + 𝑁𝐹𝑁

2. 精度P:正と予測したもののうち，実際に正であるデータの数

𝑃 =𝑁𝑇𝑃

𝑁𝑇𝑃 + 𝑁𝐹𝑃

3. F値:精度と再現率の調和平均

𝐹 =2𝑅 + 𝑃

𝑅 + 𝑃

結果(1)

手法 精度P 再現度R F値

DNN 0.88 0.70 0.782

DNNf12 0.85 0.68 0.758

DNNf1 0.78 0.72 0.751

IPAL 0.69 0.74 0.718

SUTECH 0.70 0.72 0.709

提案手法を使用

DNNf12:DNN1,DNN2の出力結果を平均化し，最終的な結果として算出

DNNf1:DNN1の出力結果のみを最終的な結果として採用

結果(2)

閾値を境目にして，細胞を正しく判定できているものとそうでないものがおよそ分けられている

結果(3)

F値は，細胞と非細胞クラスを分離する閾値tの値によって大きく差が出る

良いF値を得るためには，より良い閾値tを選出しなければならない→F値は閾値tへの依存性が高い

まとめ・今後の展望

肺ガン細胞検出課題において，DNNを使用することで優れた結果を得ることが出来た

今後の課題として…

• 他分野への応用• 専門家が検出した細胞との比較実験• 自動細胞検出のための臨床実験