なにわTech20170218(tpu) tfug

TensorFlow の量子化について

2017/2/18

株式会社パソナテックエンジニアリング事業部

夏谷

1

Imagination,  Action, and to the Creation!

アジェンダ

自己紹介と経緯 Hexagonアーキテクチャ TensorFlow で使われている量子化について 量子化された数値の演算

定数の加算、乗算 符号反転 量子化された数値の加算 量子化された数値の乗算 再量子化

NPUの紹介 NPUのアーキテクチャ Verilog SIM 結果

その他 足りないもの その他

2

自己紹介

夏谷実 株式会社パソナテック

株式会社パソナテック エンジニアリング事業部 エンジニアマネージメントグループ

TFUG KANSAI←New ！ 最近は半導体関連の仕事が多い FPGA が好き プログラミングも好き Deep Learning も好き　

3

4頑張って Web サイト作成中 　･･･http://technotan.net

公認キャラにライバル登場

安芸乃 てく（通称：てくのたん） @techno_tan

高知県在住の将来がウルトラスーパー不安な高校生（ｿ^ ^▽ ）ﾅとりあえず Web 作ってみたりとかそういうことに手を出している。卒業後の将来へ漠然とした不安を感じつつ、父に勧められて Web サイトを制作し、パソナテックのインターンの面談会に参加。CV は高野麻理佳さん！

あ き の

Google supercharges machine learning tasks with TPU custom chip

5

https://cloudplatform.googleblog.com/2016/05/Google-supercharges-machine-learning-tasks-with-custom-chip.html

今ある情報は・ Google の実際のサービスで使われている。・消費電力が少ない・精度を落としている。

the chip to be more tolerant of reduced computational precision

あれ、 8bit に量子化してるってどこ情報？

8bit 情報元

6

http://www.forbes.com/sites/tiriasresearch/2016/05/26/google-builds-its-first-chip-just-for-machine-learning/#16e2168d7a92

@petewarden

Jetpac Inc,

https://petewarden.com/2016/05/03/how-to-quantize-neural-networks-with-tensorflow/

この人、 TPUについて一言も言ってない

CES2017 でクアルコムが Hexagon DSP で GoogleNet を動かす

7

https://www.qualcomm.com/news/snapdragon/2017/01/09/tensorflow-machine-learning-now-optimized-snapdragon-835-and-hexagon-682

Optimal power & performance for GoogleNet Inception DNN (Deep Neural Network). Choose the core to match the user experience. (actual performance may vary)

8 ～ 9fps

整数のみの SIMD ですごく良いパフォーマンスがでる。これは何かトリックがあるはず。

Hxagon 　 Archtecture

8

http://www.hotchips.org/wp-content/uploads/hc_archives/hc27/HC27.24-Monday-Epub/HC27.24.20-Multimedia-Epub/HC27.24.211-Hexagon680-Codrescu-Qualcomm.pdf

TensorFlow には Hexgon 用のコードっぽいものが入ってる

9

なんかテストコードしかない

その代わりに量子化のコードは見つけた

中身はよくわからなかった。

なんやかんやあって

10

これなら僕にも作れそう

※ ：実際に TPU がこういう実装になっているとう話ではありません。

11

Hexagon アーキテクチャ

Hexagon architecture

12

http://www.anandtech.com/show/9552/qualcomm-details-hexagon-680-dsp-in-snapdragon-820-accelerated-imaging

PC で言うところの CPU

Hexagon architecture

13

http://www.hotchips.org/wp-content/uploads/hc_archives/hc27/HC27.24-Monday-Epub/HC27.24.20-Multimedia-Epub/HC27.24.211-Hexagon680-Codrescu-Qualcomm.pdf

Hexagon architecture

14

http://www.anandtech.com/show/9552/qualcomm-details-hexagon-680-dsp-in-snapdragon-820-accelerated-imaging

大容量のDRAM

Hexagon architecture DSP とは

CPU の横の GPU ポジション、 SIMD で行列演算が強い OS を動かすのは苦手 消費電力と計算量のバランスが良い DRAM から内部メモリへデータを持ってきて、ベクトル

計算後 DRAM へ書き戻す。 Hexagon の特徴

Snapdragon に GPU も乗っている。 GPU と CPU の間の処理

整数のベクトル演算に特化。 バイト単位の計算も得意 LUT 持ってます

15

16

TensorFlow で使われている量子化について

TensorFlow がサポートしている型

17

https://www.tensorflow.org/api_docs/python/framework/tensor_types

•tf.int8: 8-bit signed integer.•tf.uint8: 8-bit unsigned integer.•tf.uint16: 16-bit unsigned integer.•tf.int16: 16-bit signed integer.•tf.int32: 32-bit signed integer.•tf.int64: 64-bit signed integer.•tf.bool: Boolean.•tf.string: String.•tf.qint8: Quantized 8-bit signed integer.•tf.quint8: Quantized 8-bit unsigned integer.•tf.qint16: Quantized 16-bit signed integer.•tf.quint16: Quantized 16-bit unsigned integer.•tf.qint32: Quantized 32-bit signed integer.•tf.resource: Handle to a mutable resource.

量子化はサポート済み

qint8

18

・・・・

float maxfloat min

8bit

0

max

min

Mix から max の間を 0-255 の整数値で表現

How Does the Quantization Process Work?

19

https://petewarden.com/2016/05/03/how-to-quantize-neural-networks-with-tensorflow/

Quantization, DeQuantization

20

0

max

min

Xqt

X

255

gain offset

y = ax + b

21

量子化された数値の演算

量子化された数値の演算

定数の加算、乗算 A + 0.5 A * 0.2

符号反転 -A

量子化されたベクトルの加算 A + B

量子化されたベクトルの乗算 A * B

再量子化

22

※numpy のイメージで

定数の加算

23

0

max+a

min+a

Xqt

X

255

gain offsetmax と min の値に定数を加算すれば終り。

例： min = 0, max = 100 の量子化されたデータ全てに 50 を足す場合は、 min=50, max=150 にする。量子化された値は修正不要。

X の要素数 n によらず定数の加算は O(1) 、ほぼノーコストで実行できる。

定数の乗算

24

0

max*a

min*a

X

255

gainoffset

max と min の値に定数をかければ終り。X の要素数 n によらず定数の乗算も O(1) 、ほぼノーコストで実行できる。

負数を乗算するときは、符号反転してから乗算する。（後で）

Xqt

定数の乗算

25

float maxfloat minA

𝐴′=14 𝐴

float max/4 　float min/4

①ベクトル A から、定数倍したベクトル A’ を作るときに、 max, minだけ変数の領域を取ればよい

②ベクトル A とベクトル Bにそれぞれ違う定数をかける

𝐴′=0.25∗ 𝐴float max_a*0.25 　float min_a*0.25

𝐵′=0.128∗𝐵 float b_max*0.128float b_min*0.128

定数の乗算

26

縦方向のコンボリューション

3x3 kernel

kernel の係数の乗算は、定数の乗算なのでO(1) で完了する。

横方向のコンボリューション

5 6 7 8

の注目画素が 6 の時、 p-1 は 5, p+1 は7

3x3 kernel

横方向はもっと楽。元のベクトルを変更することなく、コンボリューションの係数乗算が終了する。→加算ができればコンボリューション終了

注意点：加算時に乗算が入るので、計算自体が減るわけではない。（むしろ増える）

符号反転

27

0

max

min

Xqt

X

255

gain offset255

min

max0 Xqt

量子化された値を入れ替える

max, min に -1 をかけるだけでもシステムとしては問題無いが、 TensorFlowの世界では常に max > min が成り立つようにしないといけない。

量子化された加算

28

C の max と min は、 A,Bそれぞれの max, min の和

Bqt のスケールを Aqt に合わせて加算

加算結果を Cqt のスケールに合わせる

ここには負の数がでてこない。地味に Verilog 実装が楽

量子化された加算

29

この 2 行だけが numpy array の計算。（ベクトル演算）

ここは普通の変数( スカラーの演算）

量子化された加算

30

BqtAqt

Gain*qparamqparam

Cqt

×

×

＋

１命令で量子化された加算を実行可能

量子化された加算

31

緑： numpy で計算した結果(float)青： Cqt (8bit)赤： Cqt を deQuantaize した結果

量子化された乗算

32

C の max と min は、 A,Bそれぞれの max, min の積

量子化の時はこの項の計算不要

バグ有り実装

8x8 の乗算加算が 2回

例：(3x-2)(2y+1)=6xy+3x-4y-2

量子化された乗算

33

バグ有り実装

量子化された乗算

34

C の max と min は、 A,Bそれぞれの max, min の積→間違い

量子化された乗算

35

0

y

x

1,000,000

1.0

1 つでも -1.0 があるとかけ算の結果は -1,000,000 になる。

・

量子化された乗算

36

A,B の最小値を 0 にする。 A’, 　 B’ とも全ての要素は 0以上。

8bit の乗算 量子化された加算が 2回

A’, B’ の offset は 0だから

例：(3x-2)(2y+1)=6xy

量子化された乗算

37

BqtAqt

Gain*qparamqparam

Cqt

×

×

＋

Aqt×Bqt

× again*bgain

量子化された乗算も、 2命令でできる。

BqtAqt

Gain*qparamqparam

Cqt

×

×

＋

× again*bgain

×

もしかしたら 1命令で実行しているかも

量子化された乗算

38

緑： numpy で計算した結果(float)青： Cqt (8bit)赤： Cqt を deQuantaize した結果

再量子化

39

量子化された値を、実際の最大値、最小値の範囲で、再度量子化を行う。

まとめ

40

定数の加算、乗算 符号反転 量子化されたベクトルの加算

量子化されたベクトルの乗算

再量子化

max, min の操作のみ

max, min の操作＋量子化された値を反転

乗算 2回、加算 1回、ただし DSPだと 1命令

乗算 4回、加算 2回、ただし DSPだと 1 ～ 2命令

41

NPU の紹介

NPU のアーキテクチャ

Nagato Processing Unit 細かい計算は CPU に任せて、量子化された

データの SIMD のみ実装 一回目のテスト実装 名前は募集中

42

ボツ案てくのたんのプロセッシングユニット

TTPU

NPU アーキテクチャ

43

Local memory x4

M0

M1

M2

M3

DRAM

CPU I/F

NPU Core8bit

8bit

qADD

qMUL

registers

SRAM CNT

CPU R/W

8bit

符号反転回路

44

加算

45

・入力 8bit, 出力 8bit・ 1CLK で 1 データのスループット・レイテンシ 7CLK

乗算

46

Sim環境

47

M0

M1lin2.dat

M2lin2.dat

M3

CPU I/F

8bit

registers

NPU Core

①input ディレクトリから、テキストデータをSRAM にロード$readmemh

②CPU へレジスタ設定、演算の開始

③割り込み待ち（タイムアウト有り）

④ouptut ディレクトリに、テキストダンプして$finish$writememh

lin2.dat

sim 結果

48

加算

乗算

A

B

A+B

A

B

A*B

実際に FPGA で動かすために必要な回路

49

DRAM

CPU R/W

M0

M1

M2

M3

CPU I/F

8bit

registers

NPU Core

http://jp.techcrunch.com/2016/12/01/20161130aws-announces-fpga-instances-for-its-ec2-cloud-computing-service/

PYNQ

AWS FPGA instance

50

その他

TPU にありそうな機能

qint8, qint16, qint24, qint32 サポート 8bit じゃRelu が精一杯 識別系（最後が softmax) には使えるけど、それ以外の

用途だともう少し精度が欲しい気がする。 Hexagon の様子を見る

ローカルメモリコントローラ 部分行列、転置のサポート

量子化、逆量子化、再量子化ハードウェアサポート 量子化された値の統計情報サポート

最大値、最小値 合計値

51

TPU にありそうな機能

52

A_qt

B_qtq_add C_qt gamma

correction(LUT)

アドレス 8bit8bit幅の LUT

C‘_qt

ReLU シグモイド 飽和演算 2 値化

出力にガンマ補正の回路

今回の実装で真っ先に直したいところ

53

ここを固定小数点数で実装しているが、浮動小数点数をそのまま HW に入れられるほうが良い。（ CPU の負担が減る）

https://ja.wikipedia.org/wiki/%E6%B5%AE%E5%8B%95%E5%B0%8F%E6%95%B0%E7%82%B9%E6%95%B0

この辺から 6 ～ 7bit 持って来る

ここで桁あわせ

足りない物

54

リファレンスモデル・ SystemC or MyHDL・性能見積もり、複数の NPU 、 ALU等

SIM のバッチ実行環境・乗算器の実装（ベンダー非依存に）・今 Vivado の SIM→iverilog等ベンダー非依存、かつコマンドライン実行に・リファレンスモデルから期待値を作り、自動比較・ランダム検証

評価用プログラム・ひらがな認識は単純パーセプトロン、 CNN

実機環境・ Pynq 画像入力、 CPU 　 I/F 、 DRAM 　 I/F

作成中

Keras から C へ

55

nnn_gen C ソースとヘッダー作成

main ユーザープログラム

json

npy

重みを numpy形式で出力

実行時に読み込む

Keras から C へ

56

最後に

57

TensorFlow 　 User Group

関西でも何かやりたいとかあれば連絡ください

「内輪感を出しすぎず、初心者の方でも、気軽に難しげな深層学習とか機械学習の話をわいわいやりたい」（下田さん）

KANSAI ！

AI分野に関するパソナテックのサービス

58

①大量のデータに関する業務　　・データ収集　　・データ入力　　・データタグづけ、不正データ除去

他部署と連携し、大量データを安価にご提供します。セキュリティ面もご相談ください。

②機械学習に関する業務　　・学習環境の構築　　・学習器の設計、評価　　・パラメータ調整

お客様の目的に沿ったビジネスパートナーをご紹介します。

③商品化への業務　　・組込プログラミング　　・機械設計

機械学習に関する業務に関して、どの工程でも必要なサービスをご提供致します。

専門スキルを持った人材をご提供いたします。委託契約、派遣契約どちらも可能です。

一緒に働く人を募集中

59

■職務内容画像処理に関するアルゴリズムの検討と、組込システムへの実装を行います。 OpenCV等を用いて、 Windows環境で画像処理アルゴリズムの検討、評価を行います。アルゴリズムの評価終了後、 C 言語による組込プログラミングや Verilog-HDL によるハードウェア実装を行います。

■必須条件(1)幾何学変換や画像フィルターなどの基本的な画像処理の知識(2)組込 C プログラミングによるアルゴリム実装、評価(3)Verilog-HDL によるアルゴリズム実装、検証上記 3点のうち、最低 1点の経験を有すること

■歓迎条件・ DSP 、 GPU 、マルチプロセッサプログラミング経験、・ FPGA開発経験・機械学習、 Deep Learning に関する知識・マネージャ、チームリーダー経験

ご静聴ありがとうございました。

60