著�v：　元半導��理工学研�|センター（STARC）/元東��　��瀬　啓

3.2 �v路構成の基本（�Q込み層）
�v路の説��に入る�iに、予�∪���を行う。
�}称：チップにより入出��やパラメータの�}称が異なるので、図17の表にまとめた。入��は、入����徴マップ（通常2次元）と�}ばれることが�Hい。ノードという場合もある。入��の要素数に関しては入��次元数、ノード数と�}ぶ場合もある。��にいろいろあるのが、パラメータの�霾�。使��する�\術�vの分野により異なる。ソフト�Uのエンジニアはパラメータが主流である。ニューロモルフィック�Uの�\術�vは図17の神経細胞の�}称に��って��けている。信�ﾀ�路の��端（軸索��端）をAxon(軸索)と�}び、Synapse(シナプス)を介してNeuron（ニューロン）細胞に繋がると表現する。

図17 チップの入��、出��、そしてパラメータの�}称と神経細胞の�}称
出�Z元：STARCの調�h報告書より転載

基本�v路： ���T合層は積和の単純���Qであることから説��は割愛（4.2�Iで実際のチップで扱う）し、少し複雑な�Q込み層の���Qに関し説��を行う。�Q込み層の���Qは以下の3ステップの並�`処理（内�霄��Qをし、�i�笋瞭���マップ処理をし、後ろ�笋僚侘�マップ処理をするイメージ）からなる。「並�`処理の�}順」と「並�`処理の�v路」に分けて説��する。

(1) 並�`処理の�}順
(ア) 並�`処理1・・・図18のフィルタ演�Q処理（積和演�Q処理）
入��データ（2次元：入����徴マップ）とフィルタ（�_みを2次元化したもの、Kernelとも�}ぶ）との内積を�Dり、出��（出����徴マップの1ユニット）する。図の左に��すように横（�e）に1ステップ分スライドして、再度内積を�Dり出��し先��のユニットの横に1ユニット加える。この作業を入��マップ�C内でスライドしながら繰り返す。スライド値はあらかじめ指定される。最�Zは1が�Hいが、2以�屬世判侘�のマップサイズは1/4以下になる(Maxpoolingと機�Δ��_なる)。ステップごと（すなわち出��のユニットごと）同じフィルタを��いる。出��マップで見ると��てのユニットに同じフィルタが使われる。フィルタと局所的な内積を�Dることと、フィルタの使い�vしが�Q込み処理の��徴である。そしていかにフィルタ値を使いこなす（リユース：Reuse）かに�v路構成の工夫がある。古�Z的な�桔　文綵辧砲函�ShiDianNao�擬亜併温憂@料81）なりEyeriss�擬亜辺`�w定データフロー�擬亜�Row Stationary dataflow）：参考�@料48）がある（4.1�Iで説��する）。

(イ) 並�`処理2・・・図18の入����徴マップ間処理（加�Q処理）
入��が図の様にRGBの3入��なら、3�v���Qして加�Qしないといけない。その時にフィルタは異なり3�|類��要となる。よって、入��マップごとにフィルタと入��値をメモリからロードする��要があり、かつ通常は3入��マップ分���Qが終了するまで最終の出��ができない（中間値の発�據法�この�霾�が�Q込みの処理���Qで�k番�C倒な�霾�である。2013�Qと古いが3D加�Q�v路を専��に�eたせ工夫をしているのがTeraDeep社のnn-X(参考�@料83)だ。

図18 �Q込み層・・・並�`処理1および2

(ウ) 並�`処理3・・・図19の出����徴マップ���Q（独立並�`処理）
複数の出����徴マップを出��マップごとに独立して���Qする。そのため比較的�~単である。いわゆる、PE（Processing Engine/Elements）を��要なだけ並べればよい。�Qチップ共に�瑤燭茲Δ聞柔�となる。

図19 �Q込み層・・・並�`処理3

冒頭で述べたように、内�霄��Q（積和演�Q処理）をして、�i�笋僚萢�（入��マップ間の加�Q処理）をして、後�笋僚萢�（出��マップ間の独立並�`処理）をする、3ステップで1層分の�Q込み層の���Qが終了する。

(2) 並�`処理の�v路
基本的な�v路�擬阿鮠匆陲垢襦�説��および図�Cは参考�@料56(AngelEye)および82を参考にした。まずニューラルネットワークはいくつもの層からなるが、1層ごと�d次行われる。1層の処理のフローを図20で説��する。�i層からの出��情報（�pけ�}�笋�ら見て入����徴マップ）を�pけて処理はスタートする。通常は、�v路の処理��模（総次元数）より入����徴マップが�jきいことからマップを分割（タイル化）して処理を行う（詳細説��は複雑になるので割愛、参考�@料56参照）。

データ処理�陲砲蓮∧�数のPE（Processing ElementもしくはEngine）コアがPE1、PE2、PE3・・・と��かれ、並�`かつ独立に処理が行われる。PEコアの内�陲砲蓮∧�数のフィルタ処理（積和処理）を行うConvolver（詳細は次項）ブロック、��線形関数処理ブロック（Non Linear Function：��性化関数とも�}ぶ）、そしてプーリング処理ブロックがシーケンシャルに��かれる。なおPEコア内�陲能萢�が��中の場合には��線形関数処理ブロックとプーリング処理ブロックはスキップして、中間値として戻される。最後に複数のPEコアの出��は、まとめて出����徴マップとして次層に送られる。なお、PEコアの定�Iは確定したものではなく、また境�cも異なる。本項では比較的オーソドックスで古いタイプを採��して説��した。またConvolverブロックを工夫してプーリング処理、さらには���T合層（FC：Fully Connected層）処理に����する場合もある。

図20： 1層の処理フローの���S図（�k例）
（参考�@料56、82を参考にまとめた）

(ア) フィルタ演�Q処理(Convolver�v路)
図21にオーソドックスなフィルタ演�Q�v路（Convolver�v路）を��した（左�笋�(a)は参考�@料82の図1を、また(b)は参考�@料56を参考とした）。(a)の2次元入����徴マップのフィルタ（3x3）に相当する値を(b)のシフトレジスタに転�^する（実際には1画素ごと）。シフトレジスタは3段構成でサイクルごとに1データ分シフトする。1サイクル1ステップごとに、入��データレジスタ（データバッファ）と、同様の3段構成のフィルタレジスタ（�_みバッファ）で内積をとる。9並�`の積（Multiplier）を行い次段で和をとる。処理の間、フィルタレジスタの値は変わらず、積の相�}となる入��データレジスタが変わる。4.1�Iで扱うCNN��のチップでは基本的に�_みは�‘阿靴覆ぁ�Eyerissは、データを�{いかけるように�_みが横（Row�妓�）に�‘阿垢襦法�

図21 シフトレジスタを��いたフィルタ処理（Convolver�v路）
（参考�@料56、82を参考にまとめた）

（イ） 3つの並�`処理　実例での説��（AngelEyeを参考）
�i項で、�Q込み層には3つの並�`処理があることを図18と19を��いて説��した。ここではその並�`処理がどのように�v路実�△気譴襪�図22を��いて説��する。図はAngelEye(参考�@料56)を参考に作成した。例として入��の��徴マップは3��（猫のイメージでRGBに相当）でフィルタは3x3、出��の��徴マップ数は96��のケースを��いる。図の左�屬縫侫�ルタ処理をするConvolverブロック、���笋�PEコア、そして左下に�����v路図を��した。

並�`処理1は積和演�Qの並�`処理である。3x3のフィルタを使��していることから9並�`処理となる。並�`処理2はPEコア内�陲貿柎`される複数のConvolverブロックにより行われる。入����徴マップ数が3��であることから、3個のConvolverブロックが並�`処理を実行する。��徴マップ数が3��と少ないことから並�`に処理し単純に加�Qして次段の��線形処理・プーリング処理に�vせる。��徴マップ数が�Hい場合、例えば200��あれば、�k時中間値として保管して、�d次加�Qする��要がある。その�T果、1��の出����徴マップの1ユニットの出��が�uられる。フィルタをスライドし（シフトレジスタを1ステップ進める）、処理を繰り返し1��の出����徴マップを�mめてゆく。最後の並�`処理3は出����徴マップでの並�`処理である。独立していることから単に出��マップ数だけPEコアが並�`に並ぶだけでよい。

図22 �Q込み層処理フローと�v路構成、および並�`処理の関係
（参考�@料56、82を参考にまとめた）

以�屬�バス�擬亜兵々爐砲得���）の比較的オーソドックスな�Q込み層（CNNネットワークモデルと言ってもよい）の�v路構成および処理フローである。なお、��線形処理はALU等の�b理�v路で、またネットワークの最終層で使��されることが�HいSoftMaxは��別な�v路は���TせずCPU/MPUで処理される。
(��く)
参考�@料は��3章の最後にまとめている。