ニューロチップ説 〜いよいよ半導の出番(1-1)
クラウドWのIoTシステムの進tと、ビッグデータ解析、Google検索などから人工ΑArtificial Intelligence)やコグニティブコンピューティングがR`されるようになってきた。学{機Δ魴eつ人工Δ任魯縫紂璽薀襯優奪肇錙璽のモデルで学{機Α淵妊ープラーニング)を実現している。AIのカギとなるニューラルネットワークのアーキテクチャはもちろん、シリコン半導屬房存修垢。この寄Mでは、元半導理工学研|センター(STARC)/東の半導エンジニアであった瀬啓がニューロチップについて解説する。(セミコンポータル集室)
著v: 元半導理工学研|センター(STARC)/元東 瀬 啓
はじめに
ここ1〜2Qのディープラーニングの進tはすばらしく、押し寄せるSはまさに「デープインパクト」である。認識(映、音m、データ)でも運動でもエンドツーエンドで処理を行うようになる。入(エンド)と出(エンド)の間には「邸廚離▲襯乾螢坤爐癲⊃Q来世cを配した運動究式も見えなくなり、蜂や鳥の様にドローン(進化型)が}畑や林の中を飛びvるようになる。あっという間の進化のスピードによって「びっくりポン」Xになる。さらにこれからはO慢の鼎龍\も不要となり、このままでは噞・\術・個人レベルでのイノベーションジレンマが発、jきなデープインパクトに飲まれてしまいそうだ。
より素]く(2桁以屬硫)、より詳細で(コンテンツ認識)、魅的な(合成、色彩け等)、Uの深さがある(H入)、しかも動きを捉えO化可Δ箸垢襦淵泪襯船癲璽瀬襦剖砲瓩噸lかな認識\術が確立されている。さらにこの成功が引き金となり、よりO性を啣修垢覲{桔 啣蹴{)が加わり、新しい運動法А淵┘鵐疋帖璽┘鵐鼻Ε蕁璽縫鵐亜砲デビュー(完成)する人間の識・Lを{uするまでに至っておらず人工Δ猟困から見ると2〜3合`でしかないが、jきなビジネスチャンスをeつベースキャンプの入口に立っているXだといえる。
さらにJTの半導関連\術に瓦垢霾的かつ包括的な見直しも魅的である。例えば映気任離┘鵐魁璽、デコード、トランスコード、合成、トランスフォーム(Morphing)、検索、ノイズ除去等々を、デープラーニングで再構築することも楽しいかもしれない(Jにやられている?)。音m、データでも同様で、また長Qの課も解できるかもしれない。センシングから認識の霾を包括的に見直すことも興味ある課である。ニューロモルフィック/ニューロインフォマティクスや、骰n虫まで野に入れたバイオミメティクスへのRがキーとなる。
本報告の主張はサブタイトルにあるように「いよいよ満をeしての半導の出番」である。サーバーUはもとより、エッジUへのt開が始まる。O運動UやモバイルユビキタスU、さらには環境U(IoT・・・)とHくの分野にS及しよう。また今後の半導の戦術・戦S策定の作業のMbとなればmいだと考えている(R1)。その策定スコープはQ々のx場覦茲砲ける群「メモリ、メモリ混載、b理LSI(CPU・GPU・FPGA・カスタム)、IP、センサとの融合等」、および\術(材料、デバイス、v路、パッケージ/組み立て等)、さらにはx場・動向に及ぶ。
この記は、Hくの関係vに直接的、間接的にご教bいただいた内容をベースとしている。に2つの流派「N型機械学{ハードウェア(すなわちディープラーニング)とニューロモルフィック工学」のT在の認識は、半導\術vとして把曚里燭瓩隆霑識として_要である(参考@料1)。以下のように分けて報告を予定している。
1章・・・ニューロチップをDり巻く況〜いよいよ半導の出番(1-1)
ニューロチップをDり巻く況〜いよいよ半導の出番(1-2)
2章・・・デープ・ニューラルネットワークのニューロチップへの実◆舛修隆所は!!〜
3章・・・v路アーキテクチャ、デバイス、そして来動向(仮)
1章では、ディープラーイング、ニューロチップの昨今のX況に関して説する。2章は、今v~単に紹介するニューロチップからみたアプリケーションの的な機、及び実△気譴討い襯▲襯乾螢坤爐亡悗靴堂Δ辺J囲でまとめて報告予定である。3章では、より半導にZいスタンスで報告する。なお、_要な語に関して、(語解説)をつけたので予めごk読いただきたい。
語解説
ニューラルネットワーク、ディープラーニング: ニューラルネットワークに関しては、ニューロモルフィック(主にスパイキングニューラルネットワーク)も含めて広いJ囲に適可Δ蔽語だが、昨今はデープラーニングとTびつけて語られる関係からかなり狭IなT味として使われているようだ。りのない限りディープラーニングとニューラルネットワークは同じ仲間の言として使する。
学{(learning)と実行(inference):英語に関して学{はtraining/learningである。実行は主にinference(他にExecution/running)が使われる。この関係から、実行の代わりにまれに推b(inference)が日本語で使われることもある。実行は瞬間的に終わるが、学{は106〜1010倍ほど時間がXかる。パラメータ数×学{v数(収Jまで)×(学{のサンプル)×α(|々の]縮テクニック)。
教師~り学{(supervised)と教師無し学{(unsupervised):今vの解説記では、りのない限り「教師~り学{」を扱う。国が教師を育成し、学鬚任修龍技佞学擇咾鬚気擦導个┨ませるが、その学擇実社会にでて働く(実行)わけである(実際は教師の代わりに教師パターンを使して学{する)。脱線するが、2012Q(今振り返るとW下分け`のQ)以T下になっている「教師無し学{」を見直そうという機運がこっている様である。
サーバーとエッジ:サーバーでは、学{(実行も)を如何に高]に行えるか! が唯k最jの関心である。エッジ笋任、実行が主で、高]性よりも低消Jなり、要なv路模が関心となる(R:エッジリッチ/分g学{の考え気發△襦Щ温憂@料2)
1章:ニューロチップをDり巻く況 〜いよいよ半導の出番
1.1 アルゴリズム進化/システム応の広がりは指数関数的
1.2 満をeして半導登場
1.3 エッジUでのビジネスt開が加] 〜Z、ドローン、ロボット OUのDり込みも〜
1.4 低消J電化
1.5 2つの流派があることを常に認識しておく要がある
1.6 まだ2合`、3合`に到達した段階
1.1 アルゴリズム進化/システム応の広がりは指数関数的
繰り返しになるが、アルゴリズムの進歩とその応実証t開の]さは、デープラーニングの最i線の\術vの気気╋辰ほど、加]度的に進歩しているのではないかと思う。課解までの]さ、学会(含むariXiv)b文のP数や進化の度合い、世c・日本Q地でぽんぽんと発信されるAI関連の研|所の動、そういった情報も含んだウェブ屬任隆慙記の遭遇の頻度の\加等、まさしく肌(頭で)で進化の度合い(イメージとしては世cで何万、何暇のデープラーニング\術vが寝食を忘れてうごめいているX況)を感じる。その勢いは2016Qに入りますますしくなっている。うごめきは万人模のような、いわゆる指数関数的である。
その感覚を定量的にしているものが、Googleが2015Q頃より紹介している「Growing use of deep learning at Google」なる図である。オリジナルはGoogleの講演@料(参考@料3)、NIPS2015のキーノートスピーチ(参考@料4)を参照していただきたい。デープラーニングのモデルを含むディレクトリー数の2012Qからの\加をグラフにしたものだ。その値を転載したグラフが図1(a)の嵜泙峺線(白線)となる。2015Qから2016QにXけて指数関数的に\加、見ようによっては今が異点にも見える(ただし、白文Cの機ΡはずしもGoogleとは関係していない柄も含んでいる)。
図1: (a) 2012Q以Tのディープラーニングのt開のトレンドおよびフレームワークの普及
(b) 2012Q以TのILSVRCでのエラー率 改の推
この異点を考えるときに、要因はよく言われているように(参考@料7)以下になる。
1.Imagenetの貢献・・・R越した組E(ラベルきイメージ約1400万を擁する\会)
2.CNNアルゴリズム等・・・良きアルゴリズム
3.GPGPUの貢献・・・良きハード
4.フレームワークの貢献・・・良きソフト
-CNN:主に画鞠Ъ叡に使われるQ込みニューラルネットワーク(Convolutional Neural Network)
-Imagenet:ImageNet Large Scale Visual Recognition Competition ILSVRC 画鞠Ъ韻離リンピック。
いくつもの\があり、今vデータとして使っているのは100m\にも匹發垢k般認識。
図1(b)に、ImagenetでのCNNをベースとしたネットワークでのk般認識のエラー率(1000クラスの仕分け、Top-5 Error)の2012QのAlex Net以Tの推,鮨す。Alex NetのNIPS2012での会場の雰囲気に関しては(参考@料5)が詳しい。またHくの\術著書/\術情報等がある(参考@料6、7)。この記念碑的ネットワークを原点として、エラー率は改、2015Qには人間のエラー率5.1%を越えた。ディープラーニングの基本的な\術革新(図中のuC:ReLu、Dropout・・・)にQ機関の改努(VGG Net/GoogLeNet等々)がもたらしたためである。今後はM易度が高くなるのでないかという気がする(R2)。
この画鞠Ъ韻CNNが磨かれて来ると同時に、もうkつのアルゴリズムの進化の軸として機性の向屬ある。その機性の向屬髻⊃1(b)の曲線の笋傍している。にCNNの脇をwめる高機Σ修鰆`指したアルゴリズムの進化(Hくは1980Q代の発がその元)が、応のJ囲をk層広げている。
この進化の壻で_要な点に、アルゴリズムを実世c屬縫┘潺絅譟璽箸垢襯愁侫肇ΕД▲帖璽襪任△襯侫譟璽爛錙璽のT在がある図1(a)の笋8つほどのフレームワークを点在、また実際にツールを実△靴真佑凌与瑤廉[定トレンドをした。去Qより、日本のPFN 社(株式会社Preferred Network)のChainer、GoogleのTensorFlow、MSのCNTK、さらに5月のAmazonのDSSTNEとこぞってオープン化されている。これらフレームワークにはJTのネットワークがライブラリーとして入っているものもHくPythonに関して識のある\術vなら今日からでも、著@なネットワーク(例えばAlexNet)をO分のパソコン屬房△任る(参考@料8)。このT果、デープラーニングにタッチした\術vは世cで万人(参考@料9)を軽く越えたと予[している。
を茲垢襪肇妊ープラーニングの仕様と妓性は以下の様にwまってきている。
- フェーズ1 (2012Q)・・・CNN 画鞠Ъ韻砲いてAlexNetがImagenetでiQをvる解率を達成
- フェーズ2 (2014Q)・・・CNNの}法改良と、CNNの脇をwめるアルゴリズムの進化とOUの適
RNN (Recurrent neural network)・・・再帰型ニューラルネット(時U`データ処理)
RL (Reinforcement learning)・・・啣蹴{(行動パターンの啣)
- フェーズ3 (2015Q〜) フレームワークのオープン化 Chainer、Tesorflow、CNTKなど
これらをQステップとして、現在の2016Qが異点を迎えていると考えることができる。
さて、この流れでハードウェア、半導のポジションはどうなのかがポイントとなる。 - フェーズ4 (201xQ) ハードウェア(・・・)
この分野は現時点NVIDIAのGPGPU/FPGAが使われている。この点に関しては次Iで説する。
1.2 満をeして半導登場
図2にニューロチップ関連(含:GPU/FPGA)の最Zの動向をす。`的別に3|類に分けられる。
- N神経科学理解のためのニューロモルフィック(様)チップ:神経ネットワークモデルを集積v路屬忘胴獣曚靴撞佞頬N機Δ魏しようとすることを`的としたシミュレータ・エミュレータチップ(参考@料1および 次v1.5I)。Nの高性Α高機性の実可性を秘めた分野である。にIBMのTrueNorthはエッジ応(とりあえずは)をターゲットとしたフラッグチップとしての性格もeち合わせている(R3)。なお、デバイス開発は発で昨Q12月のIEDMでは2つのセッションがこの分野関連となっていた。
- エッジチップ:実行が主で低消J電性が要である。今Qに入り発表がに\えている。次v少し詳しく述べる。学{が1チップある(KAIST2015 ISSCC)。
- サーバーチップ:学{で高]性がk。データセンターで、来のCPUからGPGPUもしくはFPGAに切りわりつつある。メモリバンド幅を拡jした擬亜HBM2→P100、Xilinx)が\術の`玉である。それ以外は、中国科学院(CAS)のDaDianNaoで、2014Q12月(MICRO47)に発表されたDRAM混載の学{チップ(Machine Learning Super Computer: CADベース、チップ化は画のみ)である。最新のTeslaベースのGPU(P100)よりも10倍度の高]性があり、パワーもk桁以崗さい。また5月18日のGoogle I/O 2016にてGoogleのカスタムチップTPU (Tensor Processing Unit:Tesorflowに官)に関しての発表(チップは1Qi)があったが詳細は次v以Tに報告する予定。
図2: ニューロチップ関連の最Zのトレンド
R1:[定x場、機Δ犯焼関連の項との関連図 ◎・・・~り、○・・・可性~り、空白・・・不
R2:人間の画気離ラス分けの認識(例えば、この^真は野良猫ではなくシャム猫だ!と当てる。実際は1000クラスの仕分け、Top-5 Error)ξがエラー率5.1%のようだが(参考@料7)、そもそも解(Ground Truth)も人間(1@のT果?)が与えているので5.1%以下は解にも確率(ガウス分布)がXかっているはず。ということでj雑把に1σ位の3.4%を異点としてグラフはプロットしている。ZづけばM易度がぐっと高くなるはず。今後は他の\|`が豸を浴びるのかもしれない。
R3:ニューロモルフィックチップの工学的実化をめざし、別の流派であるデープラーニングの\法の適を`指す動きがある。その際に2つの課がある。誤差逆伝鯔 BP法:Back Propagation」の適実証とバイナリー値の定量的解圓任△。ここ数ヵ月(2015Q11月〜16Q4月)、IBM Oらまた、モントリオールj学(Bengio教bのグループ:Binary Connect/Binarized network)等の研|でi進が見られ、二つの流派に架け橋ができそうな雰囲気がある。なお、デープラーニングとの架け橋が要かどうかも議bの余地のある点である。
参考@料
- 浅井哲也, 「ニューロモルフィック工学・N型機械学{ハードウェアの行機, 日本神経v路学会誌, Vol. 22 (2015) No. 4 p. 162-169. 2015Q12月
- K野原j輔, 「今後10Qの情報処理アーキテクチャーを探る」, 日経エレクトロニクス, 95〜105頁, 2015Q5月。
- 佐藤k憲, “Machine Intelligence at Google Scale: Vision/Speech API, TensorFlow and Cloud Machine Learning”, 2016Q4月4日
- Jeff Dean and Oriol Vinyals, “Large Scale Distributed Systems for Training Neural Networks”, NIPS 2015 Tutorial
- 佐藤育r, 「デープラーニングのZ載応にむけて」, 2016Q1月8日
- K谷Q之, 「深層学{」 (機械学{プロフェッショナルシリーズ)、講i社、2015Q4月8日。
- 中儕凛`, 「深層Qみ込みニューラルネットワークによる画徴抽出と転ヽ{」, 電子情報通信学会音m研|会7月研|会, 2015. http://www.nlab.ci.i.u-tokyo.ac.jp/pdf/CNN_survey.pdf 2015Q7月。
- 儔捨官I, 「イラストで学ぶディープラーニング」, KS情報科学専門書, 講i社, 2016Q2月22日。
- ITmediaニュース, 「GoogleとUDACITY、「TensorFlow」で学ぶデープラーニング講座を開設」, UDACITYp講vは100万人を越えた, 2016Q1月22日。