�j�Sの����： 深層学�{とニューラルネットワーク探索�\術の融合

この数ヵ月は、ニューラルネットワークの次のブームが到来したと思えるほどである。Microsoft社がOpenAI社に約100億ドルを投�@する旨の報�Oがあり（参考�@料1）、それに�}応するように、Google社はネット検索�\術とBARDと�}ぶ会�B型AIの統合を発表した（参考�@料2）。「�收�AI（ジェネレーティブAI）の�j�Sがやってくる」との解説もある（参考�@料3）。

研�|�b文の�P数にて動向からは、2018�Q以�T、Self-Attention、Neural Architecture Searchといった��語の使��頻度が���\中であることが分っていた（図1）。 翻�l��ニューラルネットワーク�v路の構�]��語として、AttentionやTransformerという言��（�R2）が�\えており、進化的���Q（Evolutionary Computation）や�C伝子アルゴリズム（Genetic Algorithms）などと�}ばれる「�|の進化を模倣するアルゴリズム」に関する研�|も、依��高い�P数を維�eしていた。

��に�R�`したのは、Neural Architecture Search (ネットワーク探索）と�}ばれる「学�{情報に適合するニューラルネットワーク�v路のトポロジーを�O動探索する�\術」である。 「�|の進化を模倣するアルゴリズム」と「ニューラルネットワーク�\術」の融合は、歴史的に予�[されていた�t開だったからである。

図1　IEEEが集��するニューラルネットワーク関連の�b数の推�　��b文の��要欄に、�Qキーワードが載る�P数をカウントしている。�Z�Q、AttentionやTransformerに関連する�b文が���\しているが、Neural Architecture　Searchに関する�b文数の興隆も始まっている）　 出�Z：Web�屬妊機璽咼垢気譴討い�IEEE Xploreを��いて、2022�Q�Q初に筆�vが作成。

深層学�{（Deep Learning）は、�H段のニューラルネットワーク�v路の�_みパラメータを学�{データによって最適化する�O動化�\術であるが、ニューラルネットワークの�v路トポロジーや、使われる��性化関数、ハイパーパラメータ等は、人間が介在して試行�惴蹐魴�り返しマニュアル設定する��要があった。

これに�瓦靴董▲優奪肇錙璽�探索�\術は、ニューラルネットワークの�v路トポロジーを�O動�收�することを�`指していた。 �v路トポロジーの最適化が�O動化できるのであれば、��性化関数やハイパーパラメータの最適化も�O動化可�Δ噺�て良いだろう。そのような�O動化�\術が�@���\術のレベルに向�屬垢襪函⇒諭垢幣噞へのAI採��を画期的に�膿覆垢襯ぅ鵐僖�トを�eちうる。

以下、OpenAI社のKenneth Stanley ��の2002�Qの�b文（参考�@料4）と、Autodesk AI LabのAdam Gaier��の2019�Qの�b文（参考�@料5）の内容を参考にしながら、深層ニューラルネットワークにおける深層学�{とネットワーク探索�\術が融合しつつあるとみる筆�vの見解を紹介したい。

ボールドウィン効果

今から約100�Q�i、�盜颪凌翰�学�vであるジェームズ・マーク・ボールドウィン��（1861-1934）は、「後�W的学�{によって�耀uされていた形��も,次��に�C伝的に�耀uされ先�W的�ξ�に転化する」との説を提��した（参考�@料6）。そして、その仮説は、トロント�j学のGeoffrey Hinton��らの���Q機シミュレーションによって、1987�Qに確認されていた（参考�@料7）。

深層学�{の創始�vであるGeoffrey Hinton��は、深層学�{�\術の研�|を推し進めた当初から、進化的���Q（Evolutionary Computation）や�C伝子アルゴリズム（Genetic Algorithms）をニューラルネットワーク�\術開発の�菘世�ら�_��していたというのは驚きである（�R3）。

ボールドウィン効果は、ニューラルネットワーク�v路の��語で表現すると、「ランダムに変異しうるネットワークトポロジー（�v路アーキテクチャと同�I）を学�{データによって��別すると、その�v路アーキテクチャは改良される」となる。

1993�Qに、当時英エディンバラ�j学の数学科教�bであったニック・ラドクリフ��は、「Connectivity（神経細胞間の�T線の最適化）とWeights（シナプス�T合パラメータの最適化）を組み合わせた統合化スキームはこの分野の�@�Jといえる」と、両�\術の融合を求めていた（参考�@料8）。

これらのﾍ�Bが、今日の「�j�S発�據廚良枩个箸覆辰突茲燭里任呂覆い世蹐Δ�？

深層学�{�\術とニューラルネットワーク探索�\術の�竿�

改めて、ニューラルネットワーク探索�\術を深層学�{�\術と�竿罎靴討澆燭ぁ�
�H層ニューラルネットワークは、深層学�{（Deep Learning）�\術によって�N内神経細胞の後�W的学�{プロセスを模倣（エミュレーション）しようとする試みであったのに�瓦掘▲縫紂璽薀襯優奪肇錙璽�探索�\術は、「�|」の進化の�壻�で進む「先�W的な神経�v路構�]の進化」を模倣しようとする（表1）。

表1　Deep Neural Networkへの深層学�{�\術とニューラルネットワーク探索�\術の�竿罅　平質愕��{�\術では、そのネットワークトポロジー、ハイパーパラメータ、��性化関数をエンジニアの経�xを元に設定する��要があるが、ニューラルネットワーク探索では、それらの最適化を�O動化する。）　出�Z：参考�@料4と5を元に筆�vが作成。

深層学�{は、誤差情報逆伝搬法（Back Propagation、BP）と確率的勾配�T下法 (Stochastic Gradient Descent、SGD)というパラメータ最適化のための�}法を�uて開�}したが、それらで行う���Qの��徴は以下であった。
・ ニューロンの演�Q����（入��情報）は、ベクトルや行�`とする。
（ベクトルや行�`の成分値は、�Hくの場合、0から1の間の小数点値）
・ 演�Qでは、ベクトルと行�`間の積�Qや和�Q、およびベクトル成分値の微分（差分の除�Q）を��いる。
・ フィードバック（再帰）型のアルゴリズムを含み、���Qを反復することがある。
・ ��要に応じて（��線形処理を行わない場合）、演�Qの出��値を「確率値」と解�圓垢襦�

深層ニューラルネットワーク�v路の要素�v路である単層分の�v路は、集積�v路でしばしば現れるデコーダ�v路の構成に�瑤討い襦平�2）。集積�v路のデコーダ�v路を構成する�b理演�Q子（AND、OR、等）を、ニューロンモデルに��き換わったような構�]を�Dるが、ニューロンモデルの出��値は、�k般的には、”0“と“1“の間の数値を出��するとされ、その値を「確率値」と解�圓垢襪里任△襦�

もちろん現在の集積�v路の�b理ゲートを�~使して、小数点演�Qや確率演�Qを行えるし、「確率を出��する�v路」を構成することもできる。 だが、ニューラルネットワーク�v路の動作を�{う時、�b理�O��が確率的になったとみなす�気�分かり易く、恐らくそのように解�圓靴��気�数学表現との�官�を�Dりやすくなる。

図2　単層のニューラルネットワーク�v路と、集積�v路でしばしば現れるデコーダ�v路の比較　ニューラルネットワーク�v路は、�b理演�Q子（NAND、NOR、等）からなる組み合わせ�b理�v路を、ニューロンモデル�v路に��き換わったような構�]を�Dる。 出�Z：筆�vが作成

そもそも、「�b理」には2�|類あるともいえるだろう。
�kつは、数値���Qにて使われる「�b理」であり、それは、現在の集積�v路の�b理ゲート（AND、OR、等）からなる�b理�v路を組み合わせて構成するのが適切であり、1ビットの値は“0”もしくは“1”の2値である。 数値���Qにて使われる「�b理」は、コンピュータやネットワークを発達させて来た。

もう�kつは、言語で表現される「�b理」である。「真」を“1”に、「偽」を“0”に�官�させることがもっともらしいが、�k般に言語表現では、真とも偽ともつかない内容が�Hく、本��的にファジー（確率的）な�X��表現を�H��して表現した�気�分かりやすい。言語表現の処理には、確率的�b理のプロセスを表現するニューラルネットワーク�v路が向くのである。

現在進行中と言われるAI革命（参考�@料9）は、言語表現の演�Qを効率的に行う「ファジーな�b理」をエミュレーションする�v路プラットフォームの��1世代アーキテクチャが見いだされた段階と言えるのではないかと筆�vは思う。

その�v路プラットフォームを��いてアーキテクチャ探索に相当する演�Qを効率的に行うには、以下の要�Pが満たされる��要がある。
・ ネットワークトポロジー情報のランダムな改変（値の擾乱操作）が容易なこと
・ 試行�T果を収集（集合化）が容易なこと
・ 収集�T果の�h価と��別が容易なこと

ところで、ニューラルネットワーク�v路のアーキテクチャの探索では、フィードバック（再帰）型のアルゴリズムを��いない。 �|の進化はフィードバック（再帰）しないからである。 しかし、ランダムな改変（値の擾乱操作）を��常に�Hくの試行し、�h価を行うため、探索時の���Q量は膨�jとなる。 ��に、��別されたネットワーク�v路のトポロジーは、後�W的な学�{に相当するプロセスにて調�Dされる��要があるだろう。

但し、そのような動作を����的に考えようとすると�jきな問��があった。ニューラルネットのアーキテクチャ探索を行うネットワーク空間（もしくはプラットフォーム）をどのように定�Iし、表現し、設定するかは�O��ではなかったのである。

Transformer�\術はニューラルネットワーク探索��の探索空間を提供した

�收�AIのニューラルネットワーク��模は、2020�Q以来、驚くほど巨�j化した。500GBを��えるパラメータを�~するモデルも相次いで発表されている（参考�@料9）が、筆�vは、「この巨�j化は、ニューラルネットワーク探索��のプラットフォームとして��要な�jきさであった」と見る。

いずれのモデルにおいても導入されているAttention機構（参考�@料10、11）は、そのネットワーク�T線を使うか使わないかのゲート機�Δ鱆~しており、ネットワーク構�]の進化を模倣表現するスイッチ�v路として適切だったからである。

Attention機構を�△┐申j��模ネットワークは、�C伝子の変異を模倣するためのパラメータ空間を提供した。 パラメータ空間が�jきい�気�、より�Hくの進化を探索できる。だからこそ巨�j化すべきだったといえる。

次に、ネットワーク探索と�收�AIの深層学�{の関係を定めなくてはいけない。シームレスに行えるのかもしれないが、教師無し学�{と教師�~り学�{で両�vを使い分けることも考えられる。「�|の進化」を模倣する先�W的学�{後には、ネットワーク中の不要な枝��を剪定し、�~�S化してから、後�W的学�{のプロセスを開始するという扱いも可�Δ世蹐Α� また、後�W的学�{のプロセスを行った後に、再度、不要な枝��を剪定、�~�S化を行うということも考えられるし、後�W的学�{のプロセスを行った後の「�收�AI」としてのコンテンツ出��後に�{加の学�{を行うということも考えられる。

ニューラルネットのアーキテクチャ探索を行う�@��プラットフォーム�v路は今後ハードウエア化する

�收�AI��ニューラルネットワークの�j躍進の扉を開いたのは、2017�QにGoogle社が発表したTransformer�\術であるといわれている（参考�@料11）。 2020�Q以�T、巨�j化を開始した�收�AI��ニューラルネットワークは、翻�lや文章�收�に��いて、���V画�收�、動画�收�、音楽�收�にて実��化���iの�X況に辿り��いている。

��には、コンピュータプログラム作成や、数学問��の証��のような科学�\術の探求サポートなどの分野での応��が期待されている（参考�@料9）。

筆�vは、今後、以下の�菘世任瞭宛�に�R�`しようと思う。
　・ �收�AI改良の次のステップ
（異�|の�收��ξ�への�官�、Multi-Modal化、�@��化だろう）
　・ ニューラルネットワーク探索可�Δ淵廛薀奪肇侫�ームの専��ハードウエア化
（確率的�b理の表現に適した�v路を��いた�����v路のアーキテクチャはどのようになるのか？）
・ 集積�v路の設���ξ�への応��

ニューラルネットのアーキテクチャの探索が、人間よりも良い�v路を設��（探索）し、より良い設��図�Cを�收�する�\術となる時、その�v路プラットフォームを��いた�收�AIが社会や�噞に及ぼす影�xは��り�瑤譴覆い曚匹暴jきいと、筆�vは思う。

�R
1. �收�AIとは、比較的少ない言語�`を入��として、�Q�|の文章や、���V画、動画、音楽、コンピュータプログラム等のコンテンツを��常に高�]に出��するニューラルネットワーク�v路の�\術をいう。予め�j量の文章を使って、単語間に見出される�i後関係確率や関連性確率を学�{した�收�モデル（参考�@料13）を抽出し、ニューラルネットワークに保�eさせている。 �R�`度の高いOpenAI社のChatGPTは、��に、「人間の指導」ともいえるトレーニングを行い、より違和感の少ないコンテンツを出��するようにしている（参考�@料12）。
2. Attention機構は、�盜�ServiceNow社のBahdanau��らが2015�Qの�b文(参考�@料11)で提��した単語や図形情報間の関連性の�咾気魍��{したデータを元に、入��された文章や画�気��R�`�霾�や文脈等の�����気鯑暗�に学�{し、ニューラルネットワークの処理の進�tを�U御する機構。
Google社のVasmani��らは、2017�Qに、Attention機構の�U御するエンコーダ-デコーダタイプの文章翻�l��ニューラルネットワークを�bじ、そのアーキテクチャをTransformerと�}んだ（参考�@料10）。　TransformerのAttention機構は、ニューラルネットワークの�i段層が出��した情報の中の�R�`すべき情報を通�圓気察��R�`すべきでない情報を�Hき�Vめるようなゲート的�U御を行う。
3. 筆�vは、「トポロジー（�v路アーキテクチャ）をコンピュータシミュレーションによって進化させる�\術が現実のものとなろうとしている」ことを�瑤袒劃�とした。 集積�v路のアーキテクチャも�收�AIから出��する可��性があると思えたからである。

参考�@料
1. 「マイクロソフト、オープンAIへの最�j100億ドル投�@で協議」、Bloomberg (2023/01/10)
2. 「次なるテクノロジーの�Sはメタバースではない。ジェネレーティブAIの�j�Sがやってくる」、Wired (2023/01/26)
3. 「グーグルも会�B型AIと検索を統合へ。ChatGPT�眼^の詳細は発表会で��らかに？」、Wired (2023/02/08)
4. Stanley, K.O. and Miikkulainen, R., “Evolving neural networks through augmenting topologies”, (2002)
5. Gaier, A. and Ha, D., “Weight Agnostic Neural Networks”, (2019)
6. Baldwin, M.J., “A New Factor in Evolution”, (Jun 1896)
7. Hinton, G. E. and Nowlan, S. J., “How learning can guide evolution”, (1987)
8. Radcliffe, N.J., “Genetic set recombination and its application to neural network topology optimization”, (1933)
9. Thompson, A.D., “Integrated AI: The sky is infinite (2022 AI retrospective)”, (2022)
10. Vaswani, A., et al., “Attention Is All You Need”, (2017)
11. Bahdanau, D., et al., “Attention-Based Models for Speech Recognition”, (2015)
12. OpenAI社のホームページの記��, “Aligning Language Models to Follow Instructions”, 　
Aligning Language Models to Follow Instructions (openai.com)
13. �K���I憲、「人工���Δ悗量O（4）；���Bする構�]」、セミコンポータル (2021/10/07)