View
1.157
Download
1
Category
Preview:
Citation preview
畳み込みニューラルネットワーク の逆変換による画像生成畳み込みニューラルネットワークが
なぜうまくいくのか?についての手がかり
古川アドレス
tomohiro.furukawa (アットマーク) nextremer.com
株式会社
論文
Inverting Convolutional Networks with Convolutional Networks
Alexey Dosovitskiy Thomas Brox Department of Computer Science University of Freiburg, Germany
Quote [1]
留意事項
=引用に関して著作権上の問題がある場合はご連絡ください
・内容の信憑性を 必ずしも保証していません
・If there is any issue about copyright about quotation, e-mail me, please.
e-mail tomohiro.furukawa (atmark) nextremer.com
論文概要畳み込みニューラルネット
<課題> なぜうまくいくのか? 内部でどう学習している? 不明点がある
画像情報入力
出力
注)結合は一部省略
Quote from [1]
物体認識などのタスクで 従来手法に比べ 高い精度を実現
[2, 3, 1, ……2, 3, 4]
[5, 6, 2, ……0, 1, 3]
……
論文概要
入力注)結合は一部省略各層に特徴量
[0, 2, 1, ……0, 4, 2]
[9, 3, 7, ……2, 1, 5]
目的:ネットワーク内部の状態を知りたい出力
[4, 2, 6, ……3, 0, 8]
逆変換された画像から 各層の学習過程がわかる
解決法:画像に逆変換
(要するに各層の出力)
Quote from [1]
Quote from [1]
画像に逆変換する手法
本手法:元画像と逆変換画像を 比較して逆変換を学習させる
入力逆変換
元画像 逆変換画像
元特徴量誤差を最小にする
学習した重み従来:出力された特徴量が できるだけ近くなる 画像入力を探す
Quote from [1]
ネットワーク構成畳み込み5層 全結合層3層 maxプーリング 活性化関数:Relu
畳み込みニューラルネット (refer[1]のAlexNet)
逆変換ニューラルネット(最終層逆変換の場合)全結合層3層 逆畳み込み5層 活性化関数:leaky Relu
入力
逆変換 ネット
生成
注)結合は一部省略
逆変換ネットワーク逆畳み込み層とは…1と2を行う1.逆プーリング
2.畳み込み
p 00 0p q
r s
q 00 0
r 00 0
s 00 0
p 00 0
q 00 0
r 00 0
s 00 0
h11 h13h12h21 h23h22h31 h33h32
✖チャネル数✖
フィルタ
残りを 0で 埋める
ネットワーク構成畳み込み5層 全結合層3層 maxプーリング 活性化関数:Relu
畳み込みニューラルネット (refer[1]のAlexNet)
逆変換ニューラルネット(最終層逆変換の場合)全結合層3層 逆畳み込み5層 活性化関数:leaky Relu
入力
逆変換 ネット
生成
注)結合は一部省略
r(x)=x (x≧0のとき)r(x)=0.3・x (x<0のとき)
後は勾配降下法で学習
Autoencoder学習⒈ Alexnetで特徴量抽出
2.逆変換ネットワークで画像生成
本論文
+AE
[3] refer
Alexnetのパラメータを Autoencoderでさらに学習<追加>
Quote from [1]
特徴量ロバスト性の確認
1.バイナリ化
2.50%ドロップアウト
定数で置き換える[0, 2, 1, 0, 4, 2](例)
[0, a, a, 0, a, a]
特徴量ベクトル
ネットワークの特徴量を操作したとき 復元画像に変化があるのか?
(例) ランダムに選んだ 半分の要素を0にする
[0, 2, 1, 0, 4, 2]
[0, 0, 1b, 0, 0, 2b]
ベクトルのノルムは 変わらないように操作
ランダムベクトルからの復元
FCレイヤの画像は元画像らしくなっており ネットワークが学習できている根拠となる
各層の特徴量をヒストグラムにする →それを基本にランダム特徴量ベクトル生成
Quote from [1]
まとめ・最終層を含むネットワークの全てのレイヤの 特徴量は色・位置情報を保存していた・出力された特徴量は個々の正確な数値より 0でない値のパターンが重要・最終層ではtop5の分類情報より top5以下の分類情報に 色・位置などの情報が保存されている
会社紹介
社員数 20名 設立 2012年10月
開発技術 自然言語処理・画像認識
<PR用対話ロボット A.I Samurai>
事業内容 人工知能テクノロジーを 取り入れた対話システムの開発
Recommended