著�v：元半導��理工学研�|センター（STARC）/元東��　��瀬　啓

5.3 最後に　〜今後の動向と課��〜
2016�Qで��に�`立った点は、ビジネス�CではIntelとGoogleのハード�笋任僚室造�IoTおよびEdge�Uへの流れである。また�\術�Cではモバイル化搭載を狙った圧縮�\術の実��化に向けた動きである。その影�xはエッジ�U/IoT��般に�S及する。本�Iではその現�Xの動向を�D理し、最後に課��を述べる。

現�Xと今後の動向
(ア) ビジネス
図53は最�ZのGoogle社とIntel社の動きだ。データセンター/サーバでの�官�はもとより、IoT/エッジ�Uへの流れが�]い。

図53　Google社とIntel社の最�Zの動向　（Intel社情報は参考�@料 113および114を参考に作成）

Googleで�`を引くのは、TensorFlowを絡めたGreenWave社(GAP8)へのTPUのIP供給の可��性だ。12月のAndroid Thingsの�o表（参考�@料115、116）も気になる。図54に��すようにエッジ�笋任亮孫圈癖��g実行）への�々圓�予�[以�屬��]く進むかもしれない。背景には、データセンターの容量の逼��があるのかもしれない。2020�Qに今の100倍の高�]エンジン実現という�Bも聞くが��いのかもしれない。高度なアルゴリズムの成功と実��化、ユーザの�\加、そしてIoTの成長を考えるに、データセンターのハードの���Q�ξ�（�]度と��模）向�屬呂發箸茲蝓△い�に実行を分�gしておくかが成長の鍵となる時代が来たのかもしれない。

Intelの情報は、同社の発表（参考�@料113）を元に、日経情報（参考�@料114）も加味した。8月以�Tの3社(Saffron社/Nervana社/Movidius社)との合��（�A収）の動きには驚いた。それぞれの会社がここ2�Qほど�`立っていたからだ。サーバ�Uの�t開はもとより、エッジ�Uの�啣修�見られる。画�気��u�TなMovidius社、また2017�Qになって�A収を表��したMobilEyeとどのようにタッグを組むのか今後の動向が気になる。

図54　クラウドからエッジへの実行・学�{の分�gの要因とステップ

(イ) アルゴリズム
NIPS2016(12月5日バルセロナ)の�T果が気になる。6000人が参加したとのことで、�r況だったに違いない。この寄�Mが出る頃にはいろいろな記��や情報が出ていると推�Rする。教師無し学�{を中心に、教師�~り学�{に変わる学�{、環境より予�R（Prediction）する�}法等々、��に�O��言語関連が�R�`である（GNMT含めて�Jに発表済み？）。言語が�~単に扱えるようになると人間とのインターフェースが言��に変わり、より身�Zになるからだ。リアルタイムで個人向けに人工���Δ魄蕕討燭�なる。まるで�O分の子供のように。

(ウ) LSI�\術
繰り返しになるがSRAMオンチップで図55に��すように0.1W（以下含め）で1TOPS/Wを越える�j(lu┛)��模なディープラーニングの処理が可�Δ砲覆辰拭８什澆浪��誼羶瓦世�、もっと低�@度で次元の�j(lu┛)きい処理が今後�R�`されると予�[している。

図55　エネルギー効率（エネルギー当たりの演�Q性�Α砲半嫡J電��の関係

図56に��すように画�鞠Ъ韻任蓮∋@度を落とした実��レベルでは、IoEのチップが実証したように、0.05W級のレベルにある（ただし、IoEは情報が少ない点、解�圓砲��料Tが��要）。Squeeze Netでも同レベルと推�Rされる。今後、高�@度化を狙ったチップが出てくる（ISSCC2017では数�Pの1〜10 TOPS/WのLSIの発表があった。図56に代表的なチップKU-Lueven�j(lu┛)学のENVISIONを加えた。さらに1�PImagenetのエラー率5-10%の高�@度を狙うVGGNetを扱うLSIの報告があったが処理�]度が��すぎる）。さらに時�U�`処理の実�⇔磧蔑磴┐弌▲�ラシカルな����検���}法とRNNを組み合わせた行動予�Rがある(参考�@料119))も�k層表�C化してくる (ISSCC2017ではKAISTがCNN+RNNを発表)。

図56　LSI開発の�\術トレンド 〜実�▲譽戰襪嚢眄��Σ修�

低消�J電��に加えて、プログラム（パラメータが�_たい）の総容量が100MByteを割ってくるとモバイルへの搭載が進むと言われている。携帯経�y(t┓ng)だとiOSでは100MB、アンドロイドだと50MBと言われている(参考�@料117、118情報が少し古いが)。またプログラムの書換え（パラメータ��(g┛u)新）の頻度と時間もポイントになる。図56に��すように10MBを切ってきているので、ソフトウェアベースだが����にスマホでの搭載が進むと考える（思った���]度は出ないが）。機械翻�lに�Q社・�Q機関が�R��しているのはかなり良い線まで来ているからだ。100〜200MB位までは来ている。今後の動向は携帯の5Gの�S及動向とも絡む。

最後に
今後の�t開および課��を図57に��すネットワークの�覦茵���模：入��とパラメータ）(1)〜(4)に分けて��説する。(1)と(2)は実行、(3)と(4)は学�{に関するものだ。(3)と(4)はほとんどこの寄�Mでは詳しく扱わなかった�霾�である。

図57　LSI実���Cから見た今後の��(sh┫)向性（CNN�UとDNN�U）

(1)実行（CNN/パターン認識）〜�\術マッピングとフレキシビリティ
(10k〜10Mパラメータ�覦茵Э�57)： CNN�Uに関しては、CNNをベースとするアルゴリズムの進�tと�t開が少し気になるが、ある�k定の��(sh┫)向性（�Q込み層の位��づけと圧縮�\術）が見えてきた。単��の認識機�Δ�ら複合高機�Ε轡好謄燹蔑磴┐弌� CNN→RNN 図8：http://www.589173.com/archive/contribution/applications/160722-neurochip2-1.html）の�i処理（�i段�筺砲竜��Δ箸靴胴�く使われるばかりでなく、その主構成となる�Q込み層が極めて�ξ�のある「層」であることから�Hくの新しい周辺（材��認識とか合成・�收�とか・・・）�\術・応���覦茲鮴擇螻�いてゆくと�[定できる。応��別（複合機�Σ宗Ε轡好謄牴輯泙瓠砲法⊆����\術を圧縮�\術およびフレキシビリティを軸にマッピングすることがポイントと考える。

(2)実行（DNN/時�U�`）〜入��次元数が鍵、応��により圧縮・メモリ/デバイスが�_要に！
(1M〜100Mパラメータ�覦�)：DNN�U（��CNN�U）に関しては実行・および学�{共に�\術革新が��要な�覦茲任△襦�アルゴリズムはもとより、LSI実�△��菘世�ら材料、デバイス、�v路�\術、および�v路アーキテクチャとがんばりが��要だ。代表的なネットワークは時�U�`処理のRNNと�啣蹴��{だ。��に実�△��菘世�ら、入��の次元数には�R�Tが��要だ。符��(gu┤)化された情報（例えばNMTだと分�g表現、行動推�RだとR-CNNを�i段に�eつ）がRNNの入��となっている点だ。ここでも応��分野と�\術のマッピングが��要だ。

(3)学�{（DNN�U/ある��度完璧）〜アルゴリズムが完��に�wまっていないのか？！
(100M〜1Gパラメータ�覦�)：現在実��化されている学�{の�Hくが教師�~り学�{だ。教師�~り学�{では、教科書作りが��要だ。ビッグデータ（�O動運転のための�O路情報とか）になればなるほど気の遠くなるほどの作業が発�擇垢襪畔垢い討い襦Ｎ磴┐�100万��の�^真を1000クラスに分類するのは実は人間で、人間が「巧み」の�\を教科書にまとめ�屬欧襦蔽韻覆�1000のクラス分けだが）だけでくたくたになる。(余�iだがImageNetの人間のエラー率5.1%だって�pしい)。教師無し学�{が待望されている。AlexNetが出なければもしかしたら教師無し学�{が寄り�Oせずに進化していたかもしれないとも聞く。LSI実�△箸いΔ茲蠅發辰��岼未離▲襯乾螢坤爐涼奮�の課��である。不���咾覇阿�があることは感じているが詳細は掴んでいない。今後動向を�瑤���要がある課��と考えている。

(4)DNN�U/学�{〜（少しずつ学�{）そろそろ動き出しそうな気配がある！
((3)の�覦茲茲蟆爾隼廚錣譴�)：もう�kつはある��度のリアルタイム性と個別�官�が可�Δ奮��{だ。学�{当初は間違っていても良いのかもしれない。これも人間の動作に�Zいことから�Hくの研�|がなされている。より��的な���Cも感じられ魅��的な分野である。
�峙�の(3)と(4)の学�{にさらには��1章1.6�Iで�~単に述べた環境の学�{（Prediction）を含めて3つの学�{の���U化（NIPS2016の理解含め）と推進が今後�_要になると考える。

�a��
今�vの寄�Mにあたり、お�mを�Xけていただいたセミコンポータルの�S様、また所�錣靴討い榛櫃��мqを頂いた旧(株)半導��理工学研�|センター（STARC：2016�Q5月��で解�g）の�S様には感�a致します。さらに、情報の基礎となる�\術また考え��(sh┫)等をご指導・ご教�bいただきました�j(lu┛)学・研�|機関・企業の�S様、��に���L�O�j(lu┛)学の浅井哲也教�bの暖かいご指導には心より感�a致します。

著�vのあとがき
当初、��1章を書き始めた2016�Qの春から��にかけての段階ではディープラーニングが適��されるアプリケーションに関し�L�Cをより割く予定でしたが、��から秋にかけ�v路関係のまとめに入った段階で予�[以�屬飽欺牟\術の��頭が��しく、�k定のレベルでまとめた��(sh┫)が良いと考えました。個人的な環境の変化もあり、当初より時間がかかってしまいました。アプリケーションに関しては、��に(1)と(2)の「実行」ではアプリケーションの探索というより実�△離侫А璽困貌�ったと考えます。(3)と(4)の「学�{」に関しては、逆にアプリケーションの開��も並行して今後ますます�_要になると考えています。今�vは割愛させていただきます（今後何らかの機会があれば紹介したいと思います）。
最後に、��1章1.6�Iの図5を��いて説��致しましたが、人工���Δ��瓦群罅垢�考え期待しているレベルの���Δ��瓦靴董⊇j(lu┛)��2〜3合�`まで来たというのが個人的な印��(j┫)です。今後は、ディープラーニングに匹�發垢觸j(lu┛)きな谷がもう�kつ二つはあるはずで、その達成のためには材料からデバイス�\術含めて半導��の寄与すべき点は極めて�j(lu┛)きいと考えます。遠く及びませんが（ほんの1合�`）、その推進の�k�\と本寄�Mがなれば�mいと考えている次��です。

��集�R）��瀬��の現在の肩書は、���L�O�j(lu┛)学 �j(lu┛)学院情報科学研�|科 学術研�|�^である。

---

参考�@料 (1〜104までは�i�v以�i)

105. IBM Synapse PJT リーダ Dharmendra S Modha��のブログ (2015�Q8月17日) IBMの開発�X況.
106. 電子情報 Quartz, "IBM has built a digital rat brain that could power tomorrow's smartphones", IBMのボード情報, 2015�Q8月18日.
107. IBM Synapse PJT リーダ Dharmendra S Modha��のブログ (2015�Q8月3日), "Brain-inspired Computing Boot Camp Begins", IBMのブートキャンプ.
108. Alexander Andreopoulos, Rodrigo Alvarez-Icaza, Andrew S. Cassidy and Myron D. Flickner, "A low-power neurosynaptic implementation of Local Binary Patterns for texture analysis", 2016 International Joint Conference on Neural Networks (IJCNN), 最�ZのTrueNorth 低消�J関連の�b文、2016�Q11月2日.
109. Caroline Vespi (IBM), "Deep learning inference possible in embedded systems thanks to TrueNorth", IBM Research Blog, September 21, 2016, Posted in: Cognitive Computing, IBM Research-Almaden, IBM 新しい成果のアピール（参考�@料44の内容）、2016�Q9月21日
110. Steven K. Esser +, IBM参考�@料44の最終版の発表、Proceedings of the National Academy of Sciences of the United States of America, vol. 113, no. 41、 2016�Q10月11日.
111. Steven K. Esser +, "Algorithms1/2", 学�{のアルゴリズムの詳細、2016�Q10月11日に�o開.
112. �盜� DeepScale社, ホームページ, Squeeze Netの著�vのForrest N. Iandola��が所��.
113. Intel社のIntel Press Kit, "Intel Artificial Intelligence: Unleashing the Next Wave", 20161117, Press Kit Intel社のAI戦�Sのプレス発表.
114. 日経テクノロジーオンライン, "エッジからクラウドまで�曚襦�IntelがAI戦�Sを発表", 2016�Q11月18日、Intel社のAI戦�S
115. Android Thingのページ; "Build connected devices for a wide variety of consumer, retail, and industrial applications", Google Android Thingsのページ, 2016�Q12月13日
116. Wayne Piekarsk, "Announcing updates to Google's Internet of Things platform: Android Things and Weave", Google Android Developers Blog, 2016�Q12月13日, GoogleのAndroid Things
117. アピアリーズTech Blog, "アプリの容量に�U限はあるの？", 2015�Q6月11日、スマホのアプリ容量の�U限.
118. ブログ, "Apple、2GBから4GBへiOSアプリの容量�峺造鯤���(g┛u)！", 2015�Q, スマホ容量
119. Kyuho J. Lee, Kyeongryeol Bong, Changhyeon Kim, Jaeeun Jang, Hyunki Kim, Jihee Lee, Kyoung-Rog Lee, Gyeonghoon Kim, Hoi-Jun Yoo, "14.2 A 502GOPS and 0.984mW Dual-Mode ADAS SoC with RNN-FIS Engine for Intention Prediction in Automotive Black-Box System", 2016 IEEE International Solid-State Circuits Conference, 14.2 pp.256, 2016�Q2月, KAIST RNN/ADAS
120. Jun Sawada, Filipp Akopyan, Andrew S. Cassidy, Brian Taba, Michael V. Debole, Pallab Datta, Rodrigo Alvarez-Icaza, Arnon Amir, John V. Arthur, Alexander Andreopoulos, Rathinakumar Appuswamy, Heinz Baier, Davis Barch, David J. Berg, Carmelo di Nolfo, Steven K. Esser, Myron Flickner, Thomas A. Horvath, Bryan L. Jackson, Jeff Kusnitz, Scott Lekuch, Michael Mastro, Timothy Melano, Paul A. Merolla, Steven E. Millman, Tapan K. Nayak, Norm Pass, Hartmut E. Penner, William P. Risk, Kai Schleupen, Benjamin Shaw, Hayley Wu, Brian Giera, Adam T. Moody, Nathan Mundhenk, Brian C. Van Essen, Eric X. Wang, David P. Widemann, Qing Wu, William E. Murphy, Jamie K. Infantolino, James A. Ross, Dale R. Shires, Manuel M. Vindiola, Raju Namburu, and Dharmendra S. Modha, "TrueNorth Ecosystem for Brain-Inspired Computing: Scalable Systems, Software, and Applications", SC16, Proceedings of the International Conference for High Performance Computing, Networking, Storage and Analysis Article No. 12, 2016�Q11月13日, IBMのTrueNorth��動（EcoSystem）