Semiconductor Portal

» 寄M » 寄M(半導応)

ニューロチップ?y│n)癲 舛い茲い菷焼の出?3-1)

3章以Tは、ニューラルアーキテクチャを半導チップ屬納存修靴、ニューロチップについて、元STARC/東に在籍し、現在LOj(lu┛)学にする瀬啓が解説する。これからのAI(人工Α砲鮑絞眠修垢訃}段のkつが半導チップであることから、今後きわめて_要な解説b文となる可性がある。ただ、この寄Mは長いため分割・掲載する(セミコンポータル集室)

著v: 元半導理工学研|センター(STARC)/元東 瀬 啓 (集R)

当初は3章でチップのv路\術、アーキテクチャを解説する予定だったが、チップの動向がj(lu┛)きく変化してきたため、内容を{加し垣を高めた。このため5章までの章立てとした。3章から5章に渡り、「ニューロチップ 〜本戦に突入」として、ニューロチップの現Xと、例、そして最後に動向と今後に関して報告する。

3章では、「基本v路構成とニューロチップの景」として、2016Qi半で量的にも\術的にもしく変化したニューロチップ(乱戦気味だが)のX況をT識しながら説する。最初の3.1I、3.2Iで動向および基本的なv路構成(積和エンジン)を説した後に、3.3Iでここ1〜2Qの間に発表された幾つかのチップをいをS瞰する。

4章では「代表的なチップ」として、4.1Iから4.3IにXけてを3つのカテゴリーに分けてQチップの詳細を説する。最初に説する2つのカテゴリーは、Q込み層(CONV層)に_きをいたチップ(CNN:Convolutional Neural Networkチップ)のカテゴリーと、T合層(FC層:Fully Connected)に_きをきさらに学{機Δ鯑鼎靴織船奪廖DNNチップ:DNNの}称に関しては後述するが本寄Mでは「C(j┤)NN」と狭IのT味で使)のカテゴリーである。3つ`のカテゴリーは圧縮\術を搭載したチップ(i2つのカテゴリーと_複して説するチップあり)のカテゴリーである。

最後の5章「動向と今後」では、5.1IではニューロモルフィックチップであるIBMのTrueNorthに関して説を行う。ただし、本寄MではTrueNorthの構成・動作を?y│n)發垢襪、ニューロモルフィックチップとして期待される人間のNによりZい科学的なCよりも、現在のディープラーニングのもたらす、あるT味単純な性ΔCより比較説を行う。に、2016Qにかけデープラーニングとの架け橋になる\術の報告があった。その報告にもスポットライトを当て、新しい顔をeったTrueNorthを圧縮という切り口から解説を試みる。5.2Iでは、モデルの効率化と圧縮\術の合によりもたらされるk定レベルのCNNモデルの|極のeにる。そして最後に今後の課を?y│n)發垢襦?

3章 ニューロチップ〜本戦に突入: 基本v路構成とニューロチップの景
3.1 現Xの把曄 岨@度{求から低消J電とリアルタイム性に点がシフト
3.2 v路構成の基本(Q込み層)
3.3 チップ性k覧と\術的ポジショニング
4章 ニューロチップ〜本戦に突入:代表的なチップ
4.1 代表的チップ(CNNチップ)〜並`処理、リユース、コンフィギュラビリティ
4.2 代表的チップ(DNNチップ)〜DRAM混載、もしくは学{機Α
4.3 代表的チップ(圧縮\術をいたチップ)〜乜縮、量子化、そしてロスレス
5章 ニューロチップ〜本戦に突入:動向と今後
5.1 ニューロモルフィックチップ〜v路構成とデープラーニングの点から見た位Dり
5.2 |極のeへ(k定のレベルへ)〜シンプルなモデルへの適とNMTへのt開
5.3 最後に〜今後の動向と課

3.1 現Xの把曄岨@度{求から低消J電とリアルタイム性に点がシフト
2章で紹介したように2016Qに入りエッジU(にモバイル)への適をマーケットターゲットとした、低消J電化・高]化(リアルタイム性)を`指したQ|の\術、およびニューロチップの発表が相次いだ(1章の図2を参照)。まず本Iでは、詳細の説に入るiに最新のX況および動向を?y│n)發垢襦?

(1) ニューロチップの動向(2016Qi半まで)
図14の靴ど形◆でされた何凜船奪廚鯔楙呂任両楮拈の(j┫)とした。図14は1章の図2に新たに2つのo例を加えた。ひとつは、昨Qより今Qの初頭にかけ発表された{(l│n)華j(lu┛)学(Tsinghua University)のAngelEyeチップ(CF型のCNNチップ/FPGA参考@料56:AngelEyeの}称は学会(FPGA2016)プレゼンテーション@料で使)で、もうkつはStanford j(lu┛)学のEIE(Energy Efficient Inference Engine/圧縮エンジン、CAD設Vまりでチップではないが:参考@料46:2章でJ報)である。また可Δ辺J(r┬n)囲でチップのコードネーム(例えばEIEとかEyeriss:参考@料48)を図に添えた。2013〜2015Qは少ないが、2016Qは8個ほど説の(j┫)とした。なお、CAD設Vまりのものもこの寄Mではチップと称した。デジタルv路(コア)はCADにより比較的]時間で検証が可Δ任つビジネスを野に入れないならば、本来チップ化に本的なT味がない場合がHい。ニューラルネットワークの分野ではその向がより顕著である。

なお、以下のは詳細説を割愛した。Snapdragon820/820A (Qualcomm社Zerothプロジェクト、参考@料57、58、59:ニューロモルフィックは使せず通常のHexagon 680DSP/SIMD VLIWを使)、Myriad2(Movidious社、参考@料60〜65 VLIW:Fathomと称するUSBスティックを発売、DJIとのビジネス、インテルがA収と変動あり)である。割愛の理y(t┓ng)は、来のDSP、GPUベース寄りの\術を使していることと、細かい\術内容の入}がMしいからである。同様に図14には載せていないがMobileEye社のEyeQ4、EyeQ5(参考@料66, 67:MPC(Multithreaded Processing Cluster)に徴~り)も割愛した。なお、余iだが、2016Qの8月にIntelにA収された盜Nervana社(参考@料68)の創始vのNaveen Raoは、2011QにQualcomm/Zerothに関わり、そのニューロモルフィックによるU(ku┛)御(モータ)関連の研|に携わっていた。その後、Nervanaを創設しCEOに任した。そして今Qの8月にIntelにA収され、現在はIntelのVPとしてAI関連(元Nervanaチーム)を牽引している。かなりしい。Bを戻し、Synopsys社等の\術紹介も割愛した参考@料69、70を参照願いたい。

図14 ニューロチップの動向 (2016Q7月まで)
図14 ニューロチップの動向 (2016Q7月まで)

(2) \術の動向
図15をいて研|(開発)最i線の\術トレンドを説する。画鞠Ъ院Imagenet/ILSVRC)のエラー率を横軸に模(パラメータ数/消J電)をe軸にした。そこに、2012Q以Tの画鞠Ъ院CNN)のモデルと随した\術の主要なものをプロットした。繰り返しの説となるが、ベンチマークの舞となるImagenetはRGBの224x224ピクセルの画気瓦靴董1000|類のクラス(分類)での識別を行う高@度の画鞠Ъ韻離灰鵐擇任△。いわゆるハイエンドと言ってもよい。モデルはAlexNetから最ZのSqueezeNet(参考@料50:2章)を使した。なお、SqueezeNetは2章で説したNIN(参考@料26)/GoogLeNet(27)およびResNet(28)の主要素を極めて包括的、啓蒙的(Comprehensive &Instructive)かつ実z的に集約したモデルとの位づけである。

靴ご檗福)でCF型(Q込み層+T合層共T型:2.4Iを参照)のCNNを、Eい四角()でC型(後段のT合層が無しのモデルをC0型、1層~するモデルをC1型と以T}ぶこととする)をした。圧縮\術として昨Qよりj(lu┛)きな成果を出しつつあるDeep Compression(参考@料45:二章)を今R`の~\術として加えた。

図15 \術トレンド 高@度化→低消J電化→高機Σ修
図15 \術トレンド 高@度化→低消J電化→高機Σ修

この図からトレンドは3つある。

(ア) トレンド1 : CNNの高@度化・・・図の渓隶線
2012Qから2014にかけてモデルの改良が積極的に行われ、2014QにC型のCNNが出て、k層@度が改された。同時にパラメータ数もk桁度削(f┫)された。

(イ) トレンド2 : CNNの低消J電化(小型化、高]化)・・・図のE矢印線
2016QにXけて、低消J電化(高]化)を`指した圧縮\術が考案・実△気貭秕嫡J電化が実現可Δ箸覆辰。Deep Compression /EIEのチーム(Stanfordj(lu┛)+UCB+NVIDIA)の圧縮\術がその代表である。モデルの改と圧縮\術で1〜2Qiに瓦靴謄僖薀瓠璽真瑤数分のk(510xはSqueezeNetのT果、参考@料50)に(f┫)少した。i半のトレンド1はアルゴリズムなりネットワークモデルの改で、後vのトレンド2は実\術寄りの改と見ることもできる(よりLSI実△Zい)。アルゴリズム寄りの研|vから、半導\術vへと躍できる人材の場が広がった。まただがよりをT識したトレンドとなって来た。をT識して敢えてオリンピック級(1000クラスの識別)の性Δi提としていないのもj(lu┛)きな徴だ。 パラメータ数の削(f┫)は、チップに搭載可Δ丙能j(lu┛)メモリ容量をT識して行われるべきだ。DRAM混載を試みたDaDianNao(参考@料37)は32MB搭載し、またSRAMオンチップのEIE(参考@料46)は10MBを搭載する。その値をQ々図にした。ここで_要な点は、外陬瓮皀蠅DRAMに瓦靴謄ンチップ化しSRAMとすることで、アクセスのための消J電が120分の1になるという点である(参考@料13)。圧縮率510xを考慮すると、単純Qだと数万分の1の消J電が実現されチップレベルでの実△可Δ箸覆襦蔽噂禺Qだと6万分の1)。実、かなりのHくのチップで100mAi後の消J電が実現されてきた(例えば、KAIST/IoEチップは45mA 参考@料71)。なお、同様に高]化(リアルタイム性)も実現される。現実的にサブ100mAが実現可Δ箸覆辰。高@度を狙わなければ、そもそもPSで良い所をきっちりやり圓ていた(学{はともかく、実行では32ビットもいらない)。本来のeに戻したと見ることもできる。

(ウ)トレンド3 : T合型の小型化(高機Σ宗法ΑΑ図の点線
同時にCF型もしくはF型のT合主のモデルに瓦靴討盡‘いなされた(直感的にT合型の(sh┫)が無GはHいと誰しも感ずる)。RNN(Recurrent Neural Network)への適、そしてその応例も発表された(NMT:Neural Machine Translation/ニューロ機械翻l、参考@料72、73)図15に入れ込むのはH少無理があるが、トレンド3として、RNNさらにはより複雑な機Δ鬚い譴海鵑瀬優奪肇錙璽モデルでの圧縮を含めたv路アーキテクチャ争に,辰燭噺ることもできる。

(3) LSIv路アーキテクチャとネットワークモデルとの関係
引きき、Q|のネットワークモデル(アルゴリズム)とv路アーキテクチャとの関係を、図16をいて説する。図の黄色い覦茲ネットワークモデル(アルゴリズム)をし、下陲Eい覦茲LSIv路アーキテクチャをす。本来DNN(Deep Neural Network)はCNNも含む広IのT味で使うべきである。しかし、CNN以外もしくはT合層主のネットワークを表すのに使われること(例えばDaDianNao参考@料37、EIE 参考@料46)がHいので、本寄MではC(j┤)NN(狭IのDNN)のT味で使する。なお、図では記した。

DNNには基本のH層パーセプトロンMLP(Multilayer perceptron 参考@料75)がある。またMLPの組み合わせによりQ|学{モデル・アルゴリズム(機Ε皀妊襦砲魏Δ箸垢襯優奪肇錙璽モデル(構成モデル)が組み立てられる。それらはRBM(Restricted Boltzmann Machine参考@料76、77)/DBN(Deep Brief Network, 78)、AE(Auto Encoder、79)、さらにはCDBN(Convolutional DBN、80)等である。本寄Mでは詳細の説は割愛する(詳細は峙の参考@料および14を参照)。これらのネットワーク(構成モデル)の屬、機Ε皀妊襪任△RNNなりRL(Reinforcement Learning:啣蹴{)が実△気譴襦N磴┐、「RNN(機Ε皀妊襦砲CNN(構成モデル)屬房△気譴襦廚箸いι集修皺Δ覆里澄なおその場合にはCDBNに{いCRNNと表現されるのかもしれない。なお、CNNは機Ε皀妊襪汎瓜に構成モデルとしても使われるので料Tが要だ。

図16 ネットワークモデルとLSIv路アーキテクチャの関係
図16 ネットワークモデルとLSIv路アーキテクチャの関係
(DNNとMPL等、狭IのT味で使しているのでRTを要する)

図16のネットワークの“構成”および“要素”は、2章およびiIで説したのでここでの説は割愛する“圧縮\術”に関しては、i章の2.8Iではバイナリ化(Binary Connect、Binarized Neural Network等)を含めて紹介したが、図16では今Qに入り実△盍泙瓩匿閉修療拗腓い僚j(lu┛)きいDeep Compressionを中心に記載した。詳細は4.3Iで説する。

図16の下陲LSIv路アーキテクチャの\術項`を並べた。ネットワークの階層(モデル、構成、要素、圧縮)に{い分けた。また\術項`を`記すると以下の(1)〜(6)となる。

(1) バス(sh┫)式とクロスバー(sh┫)式(実・仮[ニューロン)
(2) NoC
(3) 再構成可性 (Reconfigurability)
(ア) マクロレベル Layer/学{(sh┫)法
(イ) ミクロレベル Filter/チャネル数等
(4) 並`性(にCNN)
-再構築可性とも咾関連する
(5) メモリオンチップ
-T合層を含むF型/CF型(C1型)でに_要
(6) 圧縮\術
(ア) w~v路\術・・・(にF型/CF型(C1型)で_要
(イ) w~v路不要\術
がv路アーキテクチャの\術項`(課)である。

(4) Q込み層とT合層
v路アーキテクチャおよびチップを理解するために、Q込み層とT合層の実屬琉磴い鬚さらいする。その差異を表5に記載した。基本式はかなり違う(詳細は次I3.2Iで述べる)。Q込み層はQ主(computational-centric)、T合層はメモリ主(memory-centric)の性をeつ。ivは、_みを平均100〜1000v(初段のQ込み層の出の次元数でほぼネット平均リユースv数がまる)リユースすることからQ主となる。その分、リユース効率を屬欧襪燭瓩吠怠`処理}法に工夫が要である。逆にT合層は演Qごとに新しい_み(メモリアクセス)が要となる。また圧縮効果は徴マップの局所的覦茲嚢覆辰同QをするQ込み層では相甘に小さい。さらにRNN、RLはT合層で構成される。

表5 Q込み層とT合層との比較表
表5 Q込み層とT合層との比較表

(く)

参考@料は、3章の最後にまとめて掲載する。

集R)瀬の現在の肩書は、LOj(lu┛)学 j(lu┛)学院情報科学研|科 学術研|^である。

(2017/01/18)

ごT見・ご感[
麼嫋岌幃学庁医 膨拶唹篇喟消仇峽www撹繁| 抑抑然嶄猟忖鳥1080p| 冉巖忽恢娼瞳匯曝屈曝湘湘| 娼瞳篇撞匯曝屈曝| 忽恢溺繁互咳出寛篇撞| 2021晩昆醍狭| 爺銘彿坿bt壓濆挈| 嶄猟壓濆杰換囂互賠窒継| 苧佛算然互賠匯曝屈曝| 冉巖晩昆冉巖総窃爾秤猟僥| 娼瞳a壓濆杰| 忽恢XXXX99寔糞糞田| 禪枷晩云眉雫繁絃眉雫99| 忽恢娼瞳99消消消娼瞳涙鷹| 91撹繁怜匚來a匯雫谷頭| 溺繁瓜槻繁髄夊篇撞窒継| 嶄猟忖鳥消涙鷹窒継消消| 晩云只鮫畠科笥垢只鮫武平| 冉巖AV涙鷹忽恢娼瞳喟消匯曝| 天胆來xxxxx自瞳戎弌| 冉巖娼瞳涙鷹低峡議| 槻伏蜘畜利嫋秘笥| 鯣嫂app壓濆杰艦待愆麋篇撞| 勸雑禪瀁縱斛濆杰簡啼飢シ澱盞| 忽恢天胆晩昆眉雫| 強只撹定胆溺仔只利嫋忽恢| 忽恢互賠壓濔瞳屈曝| 99娼瞳壓濆杰簡啼| 挫啣挫訪挫物挫侮篇撞| 貧圻誹幕恷畠桑催| 返字心頭忽恢壓| 消消消消777777繁繁繁篇撞| 晩云天胆消消消消窒継殴慧利| 消消楳楳撹繁冉巖娼瞳| 恷除互賠嶄猟壓濆囂忖鳥| 冉巖窒継篇撞壓濆杰| 天胆自瞳富絃涙耗糞媾| 冉巖天胆晩昆消消娼瞳及匯曝| 爾秤坪符晩云匯曝屈曝眉曝| 低峡議窮唹壓| 易匳伏議陣崙圀|