著�v：　元半導��理工学研�|センター（STARC）/元東��　��瀬　啓

2.4　 CNNのモデルの進化 (1) 〜アーキテクチャの変��：より広く？！ より深く 152層〜
2012�Qにトロント�j学が発表したAlex Netから、2015�Q12月に開��された機械学�{分野における最高峰の国際会議と言われているNIPS（the Annual Conference on Neural Information Processing Systems 2015）にてMSRA(Microsoft Research Asia)が発表したResNet (Residual Net)までのいくつかの代表的なCNNのモデルに関して説��する。モデルは��りのない限り、国際的な画�鞠Ъ韻離灰鵐撻謄�ションであるILSVRC/Imagenetが主��するベンチマークの�kつの�k般����認識�靆腓忙臆辰畦ソ┐包T果（1位、VGGNetは2位）を��したモデルを採り�屬欧襦�
2.4�Iではそれらのアーキテクチャ（構成）を、2.5�Iでは内�陲旅柔�要素を、そして2.6�IではLSIへの実�△砲�いて�_要な積和演�Q�v数とパラメータ数に���`して説��する。最後の2.6�Iでモバイルへ搭載した際のケーススタディを加える。それらの理解を通して�QモデルをLSIへ実�△垢觝櫃隆�所をつかむのがこの章の主旨である。
(1) 代表的CNNモデル
CNNをベースとして、画�気稜Ъ盈┐慮��屬鰆`指しいくつものモデルが提案されてきた。根�fにあるトレンドはネットワークの層をより�Hく積み�_ねることによる向�屬任△�(なお、�H層が�~�Wだというある��度の基礎的な理解は進んでいる（参考�@料14、171頁）)。図9に代表的モデルの推�，鮨�す。1998�Qに最初に発表されたCNNの育て（�擇澆痢某討噺世錣譴討い�LeCun��の考案したLeNet6（番�､倭愎堯�参考�@料24）を参考として加えた。AlexNet8、VGGNet19(参考�@料25)、ResNet152(参考�@料28）まである。層数が6層から152層まで�\加（よりディープに）している。ワイドになっているモデルもある（GoogLeNet22：参考�@料27）。シンガポール国立�j学が2014�Q始めに発表したNiN (Network in Network：参考�@料26)のモデルも加えてある。

図9 CNNの代表的なモデル： CF型（共�T型）からC型（�Qみ込み層主��型）へ

図9の見�気亡悗靴討蓮�基本要素からなるAlexNetを��いて説��する。ここでは、I-C-N-P-C-N- 中�S -F-F-F-Sと並べられている。Iは入��Image、CはConv層、Nは����化関数（Normalization）、PはPooling層、Fは���T合層(Fully Connected layer)、そして最後のSは��性化関数のSoftmaxである。なお、Conv層の直後にある��性化関数は省�Sされているので�R�Tが��要である。ReLU (Rectified Linear Unit)がAlexNet以�T��てのモデルの��てのConv層の直後で使��されている。
�H層化による�@度向�屬亮{求の流れの中でネットワークの構成に2つの変化が現れた。2013�Q��〜2014�Q初頭に発表されたシンガポール国立�j学のNiN（Network in Network、参考�@料26)が先鞭をつけた。なお、図9に��したNiNの構成は、CIFAR-10��（別のベンチマーク）である。ここで、図の��端で区分けしているように、��来の���T合層が複数層入っているものを、CF型（�Qみ込み層＋���T合層共�T型）と�}び、NiN以�Tの�Qみ込み層に主��が��かれ、かつConv層がモジュール化しているモデルをC型（�Qみ込み層主��型）と�}ぶこととする。C型は単純なConv層ではなく、モジュール化されていることが��徴である。
(2) C型の��徴（その1）・・・モジュールの導入
CF型からC型への1つ�`の変化は�Qみ込み層（C）の構成が複雑になった点だ。��来のVGGNetまでの単純に�Qみ込み層がC-CもしくはC-C-C-Cと繰り返される形式から、それぞれの�T図を�eちながらモジュール形式（図9のMlpconv/NiN、Inceptionモジュール/GoogLeNet、残渣ブロック/ResNet）に��き換わり、そのモジュール�O��がネット内で繰り返される（詳細は、参考�@料26〜29の�Q�b文、参考�@料14、もしくは��Purdue�j学の教�bでかつTeraDeep CTOのCulurciello教�bのブログ：Neural Network Architectures（参考�@料32）を参照）。
図10が�Qモジュールの詳細構�]である。�~�S化した説��になるが、���Q量/パラメータ数の単純�\加を抑えるテクニックを入れつつ��徴表現��を�屬欧�Mlpconvモジュール(NiN：Conv層の直後に単純な���T合のCCCP層[Cascaded Cross Channel Parametric Pooling]をいくつか�U入)、NiNのテクニックを�Dり込み加えて�Qみ込み層を並�`にし認識率アップを�`�bんだモジュール(Inception Layer/GoogLeNet)、そして両�vの良い所を�D捨���Iし、かつ直�Tした100層以�屬燃��{を可�Δ箸垢觧爪屮屮蹈奪�(Residual block/ResNet)の3つのモジュールが�Q々のモデルで提案された。残渣ブロックにより新しい��念の残渣学�{（Residual learning）が可�Δ箸覆襦�これらのモジュールにより�H層化が可�Δ箸覆蝓�認識率も向�屬垢襦�詳細は次�Iで述べる。

図10：�Qモジュールの構�]
(a) Mlpconv/NiN(参考�@料26) ���Cは著�v�{記、(b) Inception Layer/GoogLeNet (参考�@料27)
(c) Residual net/ResNet (参考�@料28)。

(3) C型の��徴（その2）・・・���T合層が極度に軽くなる
2つ�`の変化は、�i段の��徴抽出�陲虜能�端に�H数の��徴マップ間を単純に平均化するGAP (Global Average Pooing：����プーリング) 層が導入され、さらに後段�陲嶺��T合層の数が3層から1層と少なくなっている点である。�i段の��徴抽出�陲帽發���徴表現��が�△錣辰燭海箸�ら後段�陲良蘆瓦�軽くなった�T果と考えられている。すなわち、���T合層のクラス化の作業が、�i段�陲���徴抽出の作業に�Eり込まれた�T果、���T合層が不要となったと考えられる。なお、GoogLeNet、ResNetの後段�陲昧��T合層が1層入っているが、これは転�ヽ��{を容易とするためとGoogLeNetの開発�v、Szegedy��は述べている (参考�@料27、14)。

2.5　 CNNのモデルの進化　(2) 〜構成要素の勘所： ポイントは5、6カ所〜
本�Iでは、モデルの進化を構成要素の��点から切り込む。表1に�i�Iで述べた�Qモデルの数値(�崔�)、および構成要素の�k覧を��した。
(1) 演�Q�v数・パラメータ数、そしてエラー率
�k般����認識のエラー率に関しては、当初の発表に、その後の改良値も加え��記した。ResNet34のエラー値「＋1.5%」はResNet152に�瓦垢訌��柑\加分である。層数、パラメータ、演�Q数は2.3�Iで述べた�桔，納��Qした�T果である。パラメータ数と演�Q数はモデル�笋糧�表値および参考�@料6、14の�T果等と合っていることを確認している。ResNetのパラメータ数は現時点で�o開されていない。NiN、GoogLeNet以�Tで数値に�jきな変化がある。詳しくは、次�Iで述べる。

表1 CNNの�Qネットモデルの構成�k覧

(2) 構成要素
表1の下段に�Qネットモデルの構成要素の�k覧を��した。�i�Iに�{い、CF型（�Qみ込み層＋���T合層共�T型）とC型（�Qみ込み層主��型）に分けている。
表の黄色い��所が、�Q構成要素が最初に導入・提案されたモデルを��している。推�，鯑匹瀑DるとAlexNetで�j枠のネット構成の骨子（�Qみ込み層、��性化関数 ReLU、Softmax、学�{�桔�Dropout）が�wまり、引き��き認識率改��をターゲットとしてVGGNetでConv層の�H層化�{求と小型フィルタへのシフトが行われ、その後NiN以�T、Conv層内のモジュール化へと流れてきていると見ることができる。�Q々の説��は、表1の���Rに記載した。�_複をさけ説��は割愛する。
表2にCNN構成のための勘所をまとめた。��性化関数、学�{時・�\法はC型/CF型に共通だが、それ以外はC型主��でまとめた。�j�気蓮��wまってきたと考えられる。複雑なのはConv層モジュールで、今後どのように変わるか�R��すべきである。

表2：CNNの構成の勘所　C型主��　（��性化関数、学�{時の�\法は、C/CF型共通）

(3) 小型フィルタへのシフトとモジュール化
当初のAlexで使��された�j型の11x11に代わり3x3の小型フィルタが使われる理�yに、演�Q�v数が少なくなる点がある。以下のように説��ができる。9x9の�覦茲��Qみ込みを�Xける場合9x9のフィルタだと(9x9)x(9x9)=81x81�vの演�Qが��要である。3x3のフィルタだと(3x3)x(3x3)の演�Qを9x9の�覦茲砲垢覆錣�9�v行わないといけない。総数は(3x3)x(3x3)x(3x3)=81x9�v。����では3x3のフィルタだと演�Q量は1/9と��る。よってまずフィルタを小さくしてそれから認識率の改��を狙う。
��らした分を何かで��償しようとすると、ディープ化かワイド化か、もしくはマップ数を�\やすかである（小型フィルタの他の効果もあることが�i提）。NiN以�TのConv層のモジュール化も根っこはフィルタの小サイズ化による影�xへの�官�策と考えるとわかりやすい。その折衷案的なものがGoogLeNetで、1x1、3x3と5x5 (Version3では5x5は廃�V)を並�`に入れている。すなわち小型フィルタ化の影�x解消のためにワイド化を�{求したと考えると、ある��度は�T図をつかめる。�k�機�ResNetは単純にDeep化を�{求し、学�{が収�Jしないこと/認識率が�K化することから残渣学�{（residual learning）の新��念を導入した。なお、Convモジュールの中に共通して使��されている�\法にBottleneck層がある。��徴マップ数を�O在に変化させる�\法である。例えばRGBの3色で分けていたが、より中間色の8色に��徴マップを分ける。またその逆をやる、といったイメージである。 1x1のフィルタはそのマップ数調�D/�D合�Dりのために�H��されている。 
2.6　CNNのモデルの進化　(3) 　〜演�Q数とパラ-メータ数：34層位で良いのではないか⁈〜
本�Iでは、�Qモデルを、LSIの実�△膨擾Tするパラメータと演�Q数の�菘世�ら切り込む。
(1) CF型とC型の��向
図11に�i�Iの表1で��した�Qネットワークモデルの層数（9層から152層）に�瓦垢襦�ILSVRC/ImageNetでのエラー率（棒グラフと曲線：��軸）、および�Qモデルのパラメータ数（点線）と演�Q�v数（実線：ニューラルネットワークの演�Q�v数はほとんどが積和演�Q数/MAC数であり、またMAC数はネットワークの層と層をつなぐ接��数と等しい）の推�，鬟廛蹈奪箸靴拭���軸、左軸および下辺の層数を含め��て�歓�軸となっている。AlexNet8とVGGNet19は�掘�CF型）で、またGoogLeNet22/ResNet152（C型）は�Eで表記した。エラー率に参考値としてResNet34とResNet50の値を加えた。VGGNetのVersion4で、3.08%の報告があるが、プロットしていない（参考�@料30）。

図11 演�Q数とパラメータの関係

(2) CF型では限�c
AlexNetの8層からVGGNetの19層に�\加すると、エラー率は16.4%から7.3%へと改��された。しかし、パラメータ数は6200万個から1.44億個と2倍�\、演�Q数は11.4億�v数から196億�vと約20倍�峺�した。これ以�屬硫���を狙うとパラメータ数と��に演�Q数の�\加が当��予�[される。また学�{が収�Jしないと言われている。さらに図12に��すように�H層にすると（20層から56層に�\やすと）エラー率が�K化するというデータが報告されている（参考�@料28/29：MSRAのHe��の�b文）。

図12 �H層化によるエラー率�\�j（CIFAR-10）参考�@料28/29：
横軸 学�{�v数、�e軸 エラー率（%） 左図 ��来型（ResNetのShort Cut無）は劣化している。
��図 ResNetは改��されている。

(3) C型でブレークスルー
その壁をブレークし（壁と認識する�iに解��されてしまったようだ）より�H層化を可�Δ箸靴織皀献紂璽�/モデルの代表が、�i�Iで説��したMlpconv/NiN (Network in Network) Inception Layer/GoogLeNetと、さらにResidual Block/ResNetである。なお、GoogLeNetの層数は22層である。実際にはワイド(2あるいは4並�`の�霾�もあり)になっていることからConv層を��てカウントに入れると40層（図9でカウント）となる。ResNetはResidual Blockの導入により152層でも学�{が可�Δ箸覆辰拭�エラー率は、GoogLeNetは6.67% (後に、4.82%/BN-V2、3.58%/V3、3.08%/V4とVersion Up)、ResNetは3.57%と共に人間の�ξ�（5.1%：少し�pしい基��だが）を越える�T果を��き出した。
C型のもう�kつ�_要な点は、図11の20層当たりでのVGGNet19とGoogLeNet22の数値の差である。パラメータ数が1.44億個から701万個に、演�Q�v数は196億�vから15億�vと�Q々�k桁以��(20分の1)改��されている点である。 16bit演�Qとすると、GoogLeNetだと、112Mbit、ResNet34だと352Mbitのメモリが��要となる。余裕をもって混載するレベルではないが、かなり扱いやすいレベルのメモリ量の�J疇に入ったと考え�uる。
(4) C型は層数に比例して�\加
�~単な定量的な説��をする。図11は�歓凜哀薀佞任△襦�パラメータ、演�Q数共に層数にほぼ比例している。以下の関係を�eつ。
- 層数に比例 演�Q数 1億�v/層、パラメータ数 50万個/層
- パラメータ数/演�Q数の比 1/200〜1/300��度 (入��が224x224、クラス1000の場合)
パラメータ数が少ないのは、共通のパラメータを使��している（�_み共�~：weight sharing：参考�@料6）からで、その比(繰り返し使われる�v数)は�Q層の出��のサイズの平均値に�Zいはず。両モデルとも�Q層の出��のユニット数は14x14=256を�i後にしたサイズである。この200〜300の値に�瓦垢觚桐�的な説��（理解）は現時点ではできない（たぶん、入��とクラス数と関連する）。
(5) �H層化の�{求　1202層まで しかし！
MSRAのHe��らはCIFAR-10という�k般����認識のベンチマークでResNetの1202層までトライした(参考�@料28)。学�{は可�Δ世�7.93%とエラー率は�K化した。110層が試した中ではベスト6.43%と報告されている。劣化原因に関しては、CIFAR-10の��模が小さい（32x32ピクセルRGB 、10クラス）ことから、�坡��{/�堙�合(Overfitting)が��こっているとの推�Rが報告されている。驚きなのは小さな32x32クラスの入��画�気任盒砲瓩襪�110層も��要な点である(参考�@料28、7頁)。
まとめると、��来の「�Qみ込み層+���T合層型：CF型」からモジュール化した「�Qみ込み層主��型：C型」に�，蝓�100層以�屬列H層での学�{が可�Δ箸覆辰拭�その�T果、人間の�ξ�を��えた3%��（ILSVRC/Imagenetのベンチマーク）のエラー率に到達した。さらにパラメータ数（メモリ量）及び演�Q数（演�Q時間、高�]性）も�k桁（以�屐砲侶旒�が実現された。アプリケーションとのエラー��容�J囲との見合いだが、34層でもかなり良いレベルである。エッジ応��で実�△��}に届くところまで来たと考え�uる。

(6) �R�`は、GoogLeNetと ResNetでどちらが良いのか？
MSRAのHe��らの提案のResNetの残渣学�{という斬新なアイディアに�瓦垢��h価は高い。またResNetは昨�Q���Q�|のコンペティションで最高値を�耀uしている。その中で����認識より�M易度が高い����検�瑤�Faster R-CNNのアルゴリズムをResNet�屬房��△掘�検��率で最高値を��き出している点は��筆すべきである。なお、このアルゴリズムのオリジナルもMSRAのHe��のグループの発案である。最�Z、別機関がRecurrent NNにResNet適��した、など�Hくの�t開の報告もある（参考�@料29）。余�iであるが、MSRAのKaming He��は5月��MSRAを��職し、今月7月にFacebookに転職した。別に、����検�瑤�R-CNNおよびFast R-CNNで著�@なR. Girshickも昨�Q11月にMSからFacebookに転職した。今後、�k層Facebook AI research (FAIR) の所長でCNNの育て（�擇澆痢砲凌討�LeCunさんの�秣�が荒くなると予�[される。またFacebook（ResNet??）とGoogle（GoogLeNet）の�k�h�]ちが�k層��しくなると予�[される？！
�k�機�Google�笋�2016�Q2月に”Inception-V4, Inception-ResNet and the Impact of Residual Connections on Learning”なるタイトルの�b文でGoogLeNet V4（version4：参考�@料30）を発表している。GoogLeNetにResidual Learningを�Dり入れたモデルである。����認識率（エラー率）は、3.08%を達成している。ただし、この発表に�瓦靴胴暑]が複雑すぎるという�T見もある。
かなりまとまりつつあるが、しばらく�R��が��要と考える。

---

参考�@料 (1〜23までは�i�v以�i)

24. Y. LeCun, L. Bottou, Y. Bengio, and P. Haffner, “Gradient-based learning applied to document recognition”, Proceedings of the IEEE, 86(11):2278–2324, November 1998, LeNet.
25. Karen Simonyan and Andrew Zisserman, “Very Deep Convolutional Networks for large-Scale Image Recognition”, in International Conference on Learning Representations (ICLR2015), 20150507. VGGNet
26. Min Lin, Qiang Chen, Shuicheng Yan, “Network In Network”, 2014�Q3月4日(Ver3). NiN.
27. Christian Szegedy, Wei Liu, Yangqing Jia, Pierre Sermanet, Scott Reed, Dragomir Anguelov, Dumitru Erhan, Vincent Vanhoucke, Andrew Rabinovich, “Going Deeper with Convolutions”, 2014�Q9月17日. GoogLeNet V1.
28. Kaiming He, Xiangyu Zhang, Shaoqing Ren, Jian Sun, “Deep Residual Learning for Image Recognition”, 2015�Q12月10日. ResNet.
29. Kaming He, “Deep Residual Networks, Deep Learning Gets Way Deeper”, ICML 2016 tutorial, 0160619, 最新のResNet情報
30. Christian Szegedy, Sergey Ioffe, Vincent Vanhoucke, “Inception-v4, Inception-ResNet and the Impact of Residual Connections on Learning”, 2016�Q2月23日. GoogLeNet V4.
31. Sergey Ioffe, Christian Szegedy, “Batch Normalization: Accelerating Deep Network Training by Reducing Internal Covariate Shift”, 2015�Q3月2日(V3). GoogLeNet V2. w/BN （Batch Normalizationの�b文）
32. Eugenio Culurciello, “Neural Network Architectures”, ブログ, 2016�Q6月4日, Neural Network Architectureのサマリ.