著�v：元半導��理工学研�|センター（STARC）/元東��　��瀬　啓

4.2　代表的チップ（DNN��チップ）〜DRAM混載もしくは学�{機��
本�Iでは、狭�IのDNN（��C(j┤)NN）��のチップの説��をする。���T合層主��の構成を念頭に、学�{機�Δ魴鵑��△┐織船奪廚任△襦�しかし�v路構成まで詳しく記述した例は少ない。本章ではCAS（中国科学院）のDaDianNaoとKAISTのDL/DI（Deep Learning/Deep Inference）の2チップを説��する。�i�vは2014�Q12月のMicro47で、後�vは2015�Q2月のISSCC2015で発表された。共にフルペーパーの�b文（参考�@料37, 86）が出された。

DaDianNaoは、拡張性を�eつオールマイティーなスーパーチップである。Dl/DIはDBNのネットワークモデルに�Q込み層の要素を入れたものでいわゆるCDBN（Convolutional Deep Brief Network）�官�のチップである。すなわちRBMによる学�{を�Dり入れた本格的な専��チップである点に�R�`して欲しい。なお、���T合のモデルであるRNNとRL(Reinforcement Learning：�啣蹴��{)に関しては割愛した。

(1)DaDianNao (CAS) 〜 A Machine-Learning Supercomputer
このチップは、2014�Q��のMicro47（The 47th International Symposium on Microarchitecture)でBest Paper Awardを�p賞したチップ(CAD実�△泙�)である（参考�@料37）。タイトルに”A Machine-Learning Supercomputer”と��けられているように��来のGPUの性�Δ��]度で50〜100倍、エネルギー効率で1000倍��度改��したものであった。1�Q半以�峽个弔�、ワンチップとして実��の�]度で、5.6 TOPS (Tera Operations Per Second)の性�Δ鮓悗辰討い襦文綵劼垢�EIEが、圧縮�\術を��い実効性�Δ�DaDianNaoを��?j┼n)vっている：表6）。共同著�vの仏Inria（フランス国立情報学�O動�U(ku┛)御研�|所）の�\術�vをリーダとして�dき開発を推進した。2014�Q��の当時も現在も学�{の時間をいかに�]縮（演�Qの高�]化）するかが喫�gの課��であったことから、（AlexNetの学�{の例もあるが、当時は何であれ学�{に1週間はかかると言われていた）アルゴリズムの研�|�vやアプリケーションサイドの��(sh┫)との会�Bでよく�B��に�屬蝓△�つ期待の�j(lu┛)きかったチップであった。

図31　DaDianNao(CAS)の��要仕様 （参考�@料37を参考に作成）

（ア）チップ構成
�b文は、CNN/DNNなりAlexNet等ネットワークモデルの��識がないと読みづらいが、LSIもしくはDRAM混載チップとしてみるならば内容は単純だ。メモリの格納は、外から入ってくる入��・出��バッファ��、および�_み（シナプス値）の格納はDRAM混載で、そして中間データの�k時格納はSRAMで行っている。図31の左�屬凌泙�配��だ。32MBを�_みに、入出��バッファ��に4MBを割り振った。�i�vはタイル�Xの16ヵ所に配��され、後�vは中心に配��された。周辺四��(sh┫)にHyper Transportの通信��インターフェースを配��した。ファウンダリとしてSTMicroelectronicsの28nmプロセスを�[定している。チップサイズは、8.2mm角だ。

チップの中心のバッファとタイルとは、�里辰織肇櫂蹈検次�Fat Tree構成(16ビット)）で通信を行っている。その�kつのタイル（Tile：左下)は、4個のeDRAMのバンクに分かれる。バンド幅は4,096ビット/バンクとかなり�j(lu┛)きい。タイルの中心にNFU（Neural Function Unit）を�~する。バンクから�_み（シナプス値）を読み込み、左から入る入��データとで演�Q処理をNFUが行う。��下にNFU内�霍柔�を��した。ピンク線が入��データ（入����徴マップもしくは入��イメージ）、�E線が出��データ（出����徴マップ）を、さらに�契�が�_み（シナプス値）の流れを��す。

（イ）NFU (Neural Function Unit)
16入��（16ニューロン）および16出��（16ニューロン）が同時に扱える。�靴ぬ隶�は、シナプス値（�_み）の読み込みパスである。�Qブロックは、積、和、����化関数/��性化関数処理（Transfer関数）、出��、中間値バイパス処理（そのために�i述したように8KBのSRAMを内�邸砲��pけ�eつ。

16x16=256シナプス（�_み）がアクセス可�Δ任△襦�256個のMAC処理が並行で同時に行える。256 MAC×2 ×16Tile×0.606 GHz = 5.0 TOPSの処理�ξ�を�~する(実際はもう32 MAC分演�Qが可�Δ�5.6 TOPS)。学�{時にはセレクタで情報のパスを再構成しフェーズの変��(g┛u)に�官�する。フィードバック値（gradient）を入��するパス、また微調�D後のシナプス値（Updated Synapse）をe-DRAMに格納するパスを再構成する。

（ウ）コンフィギュラビリティ （再構成）
図32に層、およびフェーズ（学�{と実行）の切り��えの流れを��した。�b文を参考に�H少推�Rを入れて作成した。図31の��下図のNFU(Neuron Function Unit)のパイプラインのステージ（Stage 1/2/3）を切り��えることにより、�Q込み層/���T合層/プーリング層/����化関数あるいは��性化関数の�Q処理を再構成する。もちろん、シナプスの入��の�~無も関連する。プーリング層ならシナプスの入��は不要だ。ネットワークの処理が進み、層が変わる（例えば�Q込み層からプーリング層）タイミングでダイナミックに切り��える。また実行モードから学�{モードも同様に切り��えるが、�i述したシナプスのアップデートのパスも構築する��要がある。順伝�髻�Forward Propagation）と逆伝�髻�Backward Propagation）の切��えにより学�{を行う�U(ku┛)約ボルツマンマシン（RBM：Restricted Boltzmann Machine)の�}法を��いた学�{の記述が�~り適��している模様だ（詳細の説��はない）。

図32 再構成の切り��えの流れの���S図　（参考�@料37を参考に作成）

（エ）�T果：性��
消�J電��：図33にシミュレーションによる消�J電��の分布を��した。チップ����で16Wと試�Qされている。そのうちチップ間通信を行う高性�ε疏��v路（HT：Hyper Transport、Point to Point式の�@��接���\術）の消�J電��が半分を��めた。著�vらも述べているが今後工夫が��要な��所だ。なお、本チップはサーバ��なので、�Hチップでの�t開を��野に入れることが��須だ。敢えて単��での使��を念頭に��くと（例えばエッジ�U応��）、����としては10W位の消�J電��とみなせ、内��RAMアクセスに6Wを要している。内�鼎箸呂い─�DRAMでは消�J電��がやはり�j(lu┛)きい。

図33　DaDianNaoの消�J電��分析とスケーラビリティ比較　（参考�@料37を参考に作成）
出�Z元：STARCの調�h報告書より転載

スピード：図33に�b文のデータを参考に作成したスピードのデータを��した。�e軸はNVIDIAのGPU K20Mとの相�乾好圈璽蛭罎澄２�軸は並�`動作させた数（スケーラビリティー）だ。チップを�\やす毎に性�Δ�スケールアップするか（直線が望ましい）を判��できる。いくつもの線があるが、�Q込み層(CONV層)、プーリング層（Pool層）等のスケーリング性�Δ鮨�した。����に1チップで10〜100倍の高�]性を��している。スピードCONV層とCLASS層（���T合層）で��まることからその中間値とみて、ワンチップの場合には60倍��度の改��が見られる。

GPU K20Mの仕様データとDaDianNaoの�v路構成からスピード性�θ羈咾鰓~単に試�Qした。メモリバンド幅とMACの数を単純に�Xけたもので比較すると、DaDianNaoは44倍の性�Δ�単��（ワンチップ）で出ることがわかる。DaDianNaoとK20Mとの����的な数値を��すと、バンド幅が5TB/s�粥�208GB/sで24倍、MAC数が9k個��5k個で1.8倍となり、両��(sh┫)を�Xけ合わせると約44倍だ。�h価値とほとんど変わらない。

ポイントはスケーラビリティだがCONV層はほぼ直線だ（�{�J落ちるのは入��マップの周辺の処理の影�xが出る）。�_要なのは���T合のCLASS層だが、さすがのDaDianNaoでも16チップ以�屬農��Δ�劣化している。CONV層だと独立しているので分配による�K影�xは小さい。とはいえ、CONV層とCLASS層の平均で見ると16チップから64チップの間位まではスケーラビリティがあり、その比率は800倍��度の高�]化が見込める（��K20Mひとつとの比較である点�R�Tが��要だが、当��GPUのスケーラビリティは極めて低いはずだ）。

他チップとの比較：Eyrissとの比較をする。表6で、�C積効率(GOPS/mm2)とデザインルールと周�S数を並べると、DaDianNao (82.7 GOPS/mm2, 28nm, 606MHz) vs Eyriss (6.23 GOPS/mm2, 65nm, 200MHz)となる。EyrissをDaDianNao並みにすると、102 GOPS/mm2となる。IoEでも同様である。Eyeriss/IoEが�Q込み層��のチップであることから、DaDianNao/DRAM混載がメモリアクセス���]の���T合もしくは学�{��のチップとして初めて��徴が出ることを改めて認識できる。

(2)DL/DI (Deep Learning/Deep Inference) (KAIST)〜DBNを本格実��
2015�QのISSCCで�f国KAISTより発表された（参考�@料86）。教師無し学�{が可�Δ淵船奪廚澄�DaDianNaoと異なり学�{と実行の�Q々の�v路を�eつ。DL/DIの�}称は筆�vが�b文のタイトルより�Dった。DaDianNaoがサーバを主ターゲットとしたのに�瓦掘�DL/DIはフロントエンド（エッジ）もしくはニアエンド（フォグサイト）をターゲットとしている。発表ではクラウド�笋離如璽審頁�/通信の負担削��(f┫)のためにニアエンドに学�{機�Δ魴eたせる点に�_きをおいて講演を行っているが、ほぼ1�Q後のフルペーパーでは、モバイルでの学�{機�ε觝椶泙妊拭璽殴奪箸鮃�げて�b文を構成している。0.2W��度で、エネルギー効率は1.93 TOPSとかなり高いことから適���J(r┬n)囲は広い。

（ア）学�{機�ΑΑΑΧ技嫐気軍��{
図34に�b文を参考に作成したチップのブロック構成を��した。実行エンジン（Deep Inference Engine）と、学�{エンジン（Deep Learning Engine）、さらにはグローバルな乱数発���v路：TRNG (True Random Number Generator) の3つの構成からなる。学�{エンジンは4つのコア（DLコア）からなる。詳細な説��は割愛するが、4つのステージからなるパイプライン構成となっている。かつポジティブとネガティブの二�_スレッド��(sh┫)式を採��している。DBN (Deep Neural Network：参考�@料78, 80) におけるRBM (Restricted Boltzmann Machine 76,77) でのNegative/Positive��(sh┫)向の学�{�}順を効率よく実現すべく構成されているとみている。

図34 DL/DIの��要仕様　(参考文献86を参考に作成)

（イ）乱数発�昊_(d│)およびその供給システム（ネットワーク）
図34に��したように、学�{（DL）および実行（DI）に��要な乱数発�昊_(d│)は演�Qエンジンに�瓦靴董�個々に�eつ��(sh┫)式ではなく�C積効率の良いグローバル（Global）な��(sh┫)式を採��（図のTRNG）した点が����アーキテクチャの�j(lu┛)きなポイントであると彼らは主張した。データが密集することを防ぐために、乱数の配信と学�{/実行のデータ送信のパスを完��に独立させるアーキテクチャがその内容だ。

（ウ）�T果：性��
彼らはCDBN (Convolutional Deep Brief Network:参考�@料80)ネットモデルでの教師無し学�{を32×32 RGB �}形�Xの認識に適��した。LSIとしての性�Δ鮨�34の表に��した。学�{でのピーク性�Δ�328.3 GOPSとかなり高い。その�T果として1.93 TOPS/Wというこれも高いエネルギー効率値を��き出している。比較をする報告がほかに�Hくないこと、また�b文で性�Δ亡悗靴得L�Cを�Hく割いていないことから1.93 TOPS/Wの良し�Kしを判��するのは�Mしいが、かなりの性�Δ砲聾�える。なお、実行（DI：Deep Inference）では3.1�Iで述べた並�`処理に加えて、タスクレベル、層（Layer）レベルでの並�`処理を加えて高�]化した。

��集�R）��瀬��の現在の肩書は、���L�O�j(lu┛)学 �j(lu┛)学院情報科学研�|科 学術研�|�^である。