著�v：元半導��理工学研�|センター（STARC）/元東��　��瀬　啓

5.2　�|極の�eへ（�k定のレベルへ）〜シンプルなモデルへの適��とNMTへの�t開
この寄�Mが�S様の�`に触れる頃には、ImageNet/ISLVRC2016やNIPS2016も終了していると考える。その時にどのようにネットワークモデルが進化しているのか気になるところではある。GoogLeNetなりResNetを越える新しい考え�気�あるのだろうか。本�Iでは、ネットワークモデルさらに圧縮�\術もある�k定レベルの形にまとまりつつある（タイトルには�|極と入れたが）との認識の元に、現�Xの�\術の広がりを���茲靴討�く。 まず、シンプルなSqueeze Netを紹介し、そこへの圧縮�\術適���T果を紹介する。最後に、NMT（ニューラル機械翻�l）への適��の�X況を述べる。

(1)まとまってきたネットワークモデル（Squeeze Net）
��2章で触れたが2016�Qの2月にArxivに発表されたSqueeze Netに関し紹介しておく（参考�@料50）。著�vはUC BerkeleyのF. N. Iandola��である。Deep Compressionの開発リーダのスタンフォード�j学のS. H. Han��も共同執筆�vである。F. N. Iandola��はAIビジネスを行うDeepScale社（参考�@料112）の実業も行っている。その点から�\術内容に極めて実��的な印��を�pけた。オリンピック級は狙っていない。画�鞠Ъ韻了@度のターゲットをグッと落としてAlexNet当時のレベル（80〜85%の�@度）にしている。逆に効率よくわかりやすく組み�屬押∩犧遒靴笋垢�しているのが��徴だ。

Squeeze Netと�@�iを��けているが、著�vも述べているようにNIN（Network in Network）、GoogLeNet、さらにはResNet（参考�@料26, 27, 28）の�\術の良い点を単純に�Dり込んでいる。ただし、それらを���vることにあまり関心はないようだ。CNNのC0型の構成だ。画�鞠Ъ韻鬟拭璽殴奪箸箸靴謄潺奪疋譽鵐犬了@度で、最も高効率（サイズと�@度）を�`指している。

参考�@料をベースに図50を作成した。左�笋�Squeeze Netのモデル��景を��した。黄色は�Q込み層、水色はMax Pooling層(1/4)である。ピンク色の�霾�が核心となるFire Moduleである。合��8モジュール入っている。Fire Moduleの中身は��図に�t開しているように、3つのピンク色の�Q込み層から形成されている。1×1のSqueeze層と、1×1と3×3が並�`に並ぶExpand層からなる。数値はチャンネル数（��徴マップ数）だ。余�iだが、C0型はフィルタだけが����的に書かれるのが昨今の流れである。マップのサイズは、Pooling層の位��をみて容易に判��できる。

Fire Moduleの�Qブロックの働きを考える時に、そもそもフィルタとは何かであるが、1×1では情報を�Qみ込んでゆく��は本来ない。主役は3×3のフィルタだ。だが3×3のフィルタでも入��96チャンネル（入��の��徴マップ数）を直接入れると莫�jな�_みの数が、そして���Q量が�Hくなる。そこで、�i段にSqueeze層と称して1×1を��きチャネル数を絞り（Squeeze）、そしてExpand層の内�陲砲亙怠`に1×1を��き3×3をがっちりガード（実��的にチャネル数を折半）して�堙戮離侫�ルタ作業（極��チャンネル数を下げる）をさせないようにしている。なお、�\巧的には、Squeeze層の1×1はNIN (Network in Network)のBottleneck層と��く同じだ。

そしてじわじわと1000チャンネル(チャンネル数が仕分けるクラス数)までの階段を�屬襦Ａ愎瑤班堽瀕┐蓮�Squeeze Netは18層で15.3%の不良率、GoogLeNetは22層6.7%、ResNetは34層3.57%となる。��いで1000段の階段を�屬襪��ξ�以�屬縫献礇鵐廚垢襪海箸�ら不良率も�屬�る。ゆっくり登れば、�Dりこぼしも少ない。いかにゆっくり登れるかが�@度アップのポイントだ。

Squeeze Net（他のNetも基本はかなり同じだ）の原理は以�屬任△襦�ただし、Squeeze層の絞りこみがきついと情報が次段に伝わらない。その�敢�として登場したのが図50には記載していないがショートカットループだ。情報を先にリークし伝達する。バイパスをもつResNetのショートカットループのことだ。なおこのSqueezeネットに限らず��般的に理�b的な説��はあまりない。

図50　Squeeze Net��景と、Fire Moduleの内�霍柔� （参考�@料50を参考に作成）

表8にネットを構成する入��サイズ、マップ数、フィルタサイズ、出��サイズ、マップ数を、またニューロン数、接��数を�Q層ごとに���Qし�k覧とした表を参考として��した（筆�vが���Qをトレースした）。サイズ的には、18層、1.3M個�_み、8.4億�vMAC演�Q、15.3%エラー率だ。構�]として�ZいGoogLeNet22の値を��すと、22層、7M個�_み、15億�vMAC、6.66%となる。Squeeze Netはパラメータ数が1/5で、やはりミッドレンジクラスだ。

表8でFire2モジュールのみ内�陲�����してあり、Squeeze Layer S2、Expand Layer e2-1とe2-2の値が見えるようにしてある。他のモジュールはモジュールの和として値を��した。なお、�b文では�Qパラメータの感度（sensitivity）も�h価しており、���tでかつかなり直感的に読めるので�k読をお��めする。

表8 Squeeze NetにAlexNetモデルを適��した際の�Q層のパラメータ�k覧

(2)圧縮�\術を適��する〜�Q込み層だけだが〜
表9に、Iandola��らがSqueeze NetにPruningとクラスタリング(量子化)を適��した際のパラメータ数の変化と、ベンチマークのImagenet/ILSVRCのTop1とTop5の�@度の値を転載し、情報を加えて比較表にした。最�崔覆涼�57.2%と80.3%がベースの値だ（ベストの値ではない）。AlexNetに圧縮�\術を適��した場合と、Squeeze Netに適��した場合の圧縮率と、�@度の変化を��した。�@度の変化（劣化）はMaxで0.3%と極めて小さい。�k�機�圧縮率はAlexNetで35倍（これは4.3�Iで紹介した値と同じ）に�瓦靴�Squeeze Netでは10倍しか圧縮されていない。AlexNetは���T合層を�eち、その圧縮率が�jきいからである。まとめると、ネットワークモデルの効率化で50倍、圧縮�\術で10倍の効果があり、��AlexNet比500倍の改��がなされたことになるというのが彼らの�T果である。メモリ容量では、0.47MBと極めて小さく、容易にSRAMオンチップ化が可�Δ澄�

表9　SqueezeNetとAlexNetとの比較と圧縮�\術適��の�T果
参考�@料50を参考に作成

(3)圧縮�\術の�O動翻�l（NMT：Neural Machine Translation）への適��
図51にStanford�j学のAbigail See��らが発表しているNMT（参考�@料72, 73）モデルのアーキテクチャを��した（�@料を参考に作成）。モバイルへの搭載をターゲットとし、Pruning�\術の適��を検討した。実�△慮‘い呂靴討い覆ぁ１儻譴�らフランス語への機械翻�lである。彼��らの例では5万個という英語の単語（ボキャブラリー数：ワンホットベクトル）を時�U�`的に分�g表現（word embeddings：単語間の関連性1000次元(n)のベクトルで表現）する。同時に�瓦箸覆襯侫薀鵐晃譴砲眛瑛佑良集修鮖椶掘⇔掌生譴琉�果関係をつけ学�{（教師�~り）する。ソース�筺淵┘鵐魁璽��筺П儻譟砲肇拭璽殴奪��筺淵妊魁璽��筺Д侫薀鵐晃譟砲魏�に積み�_ねた2�_のRNN (2Stacked RNN) 構成である。

図51　2 Stacked RNN (LSTM) 構成からなるNMTモデル （参考�@料72、73を参考に作成）

(ア) モデルの構成
学�{の際には、入���笋茲衒絃蓮�Sentence：I am a manと、Je suis homme）を入��し、ターゲット言語出��（���筺砲任慮躡后�Je suis hommeとの差）を誤差逆伝�鯔，妊侫�ードバックする。��て���T合である。

�e�妓�の層構成（Feedforward�筺砲蓮∈能蕕肪姥譟淵椒�ャブラリー）を分�g表現に変換する処理層がある。V=50kとn=1000の���T合層により変換される。5万次元から1000次元へと圧縮された後に、時�U�`的のRNNに入る。彼��の構成は�e�妓�4層の隠れ層（hidden layer）をもつ。1000次元で�崛悗坊劼�る。隠れ層の���笋砲蓮�Attention層（説��省�S）と分�g表現から単語に戻す層（50k×1k）がある。最�崛悗砲歪_みのないSoftmax層があり、��単語（ボキャブラリ）の確率を出��する。

横�妓�の層構成（Recurrent�筺砲蓮▲宗璽��笋����k�`（英語のI）があり、その後に次の時刻に来る��二�`（英語のam）が来る。"am"は"I"との関連（例えば文法）があるので、横�妓�のRecurrentのパスを�pける。さらに���笋僕茲董▲妊魁璽澄��笋砲屬弔�りフランス語�笋任了��U�`の処理を行う。実際には、図のソース言語�笋虜��筺丙或Г燐`）の�`とターゲット言語�笋虜��笋燐`（�型Г燐`）が実在し、時�U�`的に仮�[アレイを構成し図の様な形になる。
コア�霾�はLSTM (Long Short-Term Memory) からなる。次元は�峅失���共にn(=1000)だ。よって4nの次元となる。入��は�e�笋�Feedforward�笋�同じくn(=1000)、横�妓�のRecurrent�笋�n(=1000)となり、コアでのパラメータ数は4n×2n =8n×n (n=1000) となることから、コア当たり8M個�eつことになる。

(イ) パラメータ数
図51の���笋坊Q層のパラメータを記載した。時�U�`�t開の仮�[分は含まない。下�笋諒��g表現および隠れ層（���陲�4層）の�霾�はソースとターゲットで2倍となる。合��は216M個(�b文では214M個だが���Qミスかもしれない)となる。分�g表現への符�ｲ修筏嬋簟ｲ修旅膽�150M個が����の75%を��める。すなわち���T合の�U命であるがボキャブラリの数に�咾�依�Tする。図52にNMT (�O動翻�l) のポイントを�{加した。なお、このNMTに限り入��次元数は入��と初段の層のルート平均（10の4乗）とした。

図52 ネットワークモデルとパラメータ数（メモリ容量）との関係（圧縮モデルを�{加）

(ア) 圧縮（Pruning）�\術の適��
Deep CompressionのHan��らと同様に、Training - Pruning - Retrainingの�}順を採��している。またPruningは��パラメータを小さい順に並べ、しきい値でカットしている。その�T果、性�Δ鰺遒箸気困縫僖薀瓠璽燭�20%まで圧縮することが可�Δ世辰拭�214M個が42M個に圧縮された（参考�@料72ではストーレジ量での記載があるが、本寄�Mではパラメータ数を使��した）。図52にNMTの圧縮後の値を�uの星★でプロットした。AlexNetの62M個に�瓦靴討肋�ないが、依��かなりの量である。同様に、EIEとSqueeze Netの圧縮後の値も�靴ぁ�で�{加した。

機械翻�lの�@度の劣化もなく、�_み数42M個とメモリをオンチップ可�Δ淵譽戰襪泙任發��k歩という印��である。画�鞠Ъ韻又�き、実は言語を扱うことから�M易度が高い機械翻�l（GNMT: Google Neural Machine Translationの報告（参考�@料99, 100）含め）や、同�|の音�m認識をテーマとしたLSI実�△慮‘い�今後�k層�_要となる。

��集�R）��瀬��の現在の肩書は、���L�O�j学 �j学院情報科学研�|科 学術研�|�^である。