Semiconductor Portal

» ブログ » インサイダーズ » KI憲の集積v路の日に向けて

人工Δ悗量O(7);確率的b理の登場経緯

集積v路は、CMOS\術をいて、比較的入本数の少ないANDやNORなどを基本v路とし、v路模を積み屬欧訐濕}法を当として来たが、半導\術が見いだされるiの段階では、「人工Δ鮃柔するには、確率的b理を表現する演Q子が要」と考えられていた。 そこで、改めて、「確率的b理」の_要性と要性を考えてみた。

確率的b理の表現(sh┫)法

「人工Δ亮存修砲蓮愕猟蠹なb理』を『確率的なb理』に拡張する要がある」と、初めて指~したのは、1986Qにb文(Probabilistic Logic)を発表したニルス・ネルソン(Nils J. Nilsson、当時スタンフォードj(lu┛)学のコンピュータサイエンスの教b)だったといわれている。(参考@料1)。

1986Qというと、100万素子をえるチップが量され始めた時代である。 j(lu┛)型コンピュータのダインサイジングが始まり、様々な集積v路設のEDAツールのソフトウエアが革新され、ICOT(新世代コンピュータ\術開発機構)によるエキスパートシステム開発が真っ最中だった時代でもあった。

「確率的なb理が要」とのニルス・ネルソンの主張が、そのディジタル革命の黎期にてどのように扱われたのか筆vは調べ切れていない。 しかしながら、「的なマシンの設には、確率的なb理がいられるはずだ」との見解は、集積v路開発が始まるiの段階では、むしろ、普通だったのではないだろうか? 

例えば、歴史崕蕕瓩禿纏v路をいたコンピュータの開発を行ったフォン・ノイマンは、1952Qにカリフォルニア工科j(lu┛)学で行った講演("Probabilistic Logics and the Synthesis of Reliable Organisms from Unreliable Components"、参考@料2)を進めるにあたって、基本v路を確率的b理モデル(図1)としていた。 その基本b理v路モデルは、1943Qのマカロック&ピッツ(MacCulloch&Pitts)の人工ニューロンモデルであった(参考@料3、4)。

半導集積v路が見いだされるiの段階では、なぜ人工Δ鮃柔するには確率的b理を表現する演Q子が要と見ていたのだろうか?

図1 フォン・ノイマンが1952Qの講演でしたオートマタ (Automata) を合成するためのの基本モデル
図1 フォン・ノイマンが1952Qの講演でしたオートマタ (Automata) を合成するためのの基本モデル このモデルを、基本_(d│)官 (Basic organ) 、もしくは、単出オートマトン (Automaton) と}んでいた(参考@料2)。 このモデルは、1943Qに提されたとされているマカロック&ピッツ(MacCulloch&Pitts)の人工ニューロン(もしくは、形式ニューロン)のモデルと基本的には同じである(参考@料3と4)。 出Z:Automata Studies, Princeton University Press(参考@料2)


マカロック&ピッツの人工ニューロンモデルは、ニューロンの出をQする時に、まず、シナプスT合の_みを表すベクトル{ wi }と、入信(gu┤)が表すベクトル{ xi }の内積値を求める(R1)。 内積値は、ベクトル{ wi }とベクトル{ xi }の向きが同じである時に最j(lu┛)となるので、両ベクトル間の「向き」のk致の度を表す尺度となる。もし、ベクトルの長さが格化されているとすると、内積値は、ベクトルの終点間の「{(di┐o)`」でもある。

筆vは、人工ニューロンが、二つの情報(学{によって耀uしたベクトルと入ベクトル)の「完k致」ではなく、両ベクトルの「向きのk致の度」や「{(di┐o)`のZさ」をいてb理演Qを行っていることOが、「確率的b理」の_要性を主張するものだと思う。 「向きのk致の度」や「{(di┐o)`のZさ」は、不確定さを容する立場だからだ。 誤差を容して進めるb理は、に「確率的b理」である。

そこで、以下に、「人工ニューロンの動作が、確率的b理のt開である」と見做す理y(t┓ng)を、v路がいる素子や信(gu┤)の菘世らと、v路が処理する情報のCからまとめてみた。


素子や信(gu┤)の菘世ら見る「確率的処理」

人工ニューロンがモデル化しようとする神経細胞の発動作が、そもそも確率的だったことを思い出していただきたい。 実際の神経細胞における「発現(j┫)」は、「神経細胞膜の脱分極にて峺する膜電位が|値以屬箸覆辰浸にる(図2)」とされていたが、その|値電位は、W定したw定電位ではなかった(R2)。


神経細胞の細胞膜の動電位と|値の関係
図2 神経細胞の細胞膜の動電位(Action Potential)と|値の関係 細胞内に流入したイオンによる膜電位の分極が「|値」を越えると、「脱分極」というポジティブフィードバック現(j┫)がこり、パルスXの動電位(掘砲発擇垢襦廚箸垢襦 出Z:Web屬遼N科学Z(2012Q4月3日版)


「細胞膜の両Cの電位差(膜電位)が|値をえると、ポジティブフィードバック(帰押砲かかり、出電位がに峺する」という神経細胞の発動作は、半導トランジスタを使った差動v路の動作と瑤襦 差動v路の動作が|値Zfでは確率的になる以屐⊃牲从挧Δ糧する/しないの判定も|値Zfでは確率的となるのは不思議ではない(参考@料5)。

しかも、神経細胞の入信(gu┤)の信(gu┤)振幅は100mV度しかない。あるT味では、神経細胞への入信(gu┤)は、常に|値Zfに漂っているとも言える。 実際の神経細胞では、時折、ランダムな発現(j┫)(O発)が見られるが、それは、半導設を経xした人間であれば、「入レベルを|値のグレーゾーン内に設定しているのだから、誤動作もあるだろう」と言ってしまいそうな現(j┫)である(参考@料6)。

マカロック&ピッツの人工ニューロンも、フォン・ノイマンの単出オートマトンも、神経細胞の動作を素直にそのままモデル化したため、基本v路モデルの動作を確率的としたとは考えられる。 神経v路のb理t開を素直に荵,垢襪函△修譴蓮◆屮離ぅ哉擇鯣爾Τ領壻」と見えるのだろう。


神経細胞が処理する入情報(入信(gu┤)群)のj(lu┛)きさが「確率的処理」を要する

神経細胞への信(gu┤)入の本数は常にHく完k致しづらいため、「ほぼk致したX」をいてb理を進める(sh┫)が~だったといえるのではないだろうか?

そもそも、人工ニューロンも、現実の神経細胞も、k般に、シナプスT合の個数は常にHい。 Hい場合には、1000を優にえるシナプスがT合によって、i段ニューロンからの信(gu┤)をpけている。 つまり、入情報を模式化するベクトル{ xi }と学{により耀uした耀uした情報を模式化するベクトル{ wi }の次元数は共に常にj(lu┛)きい。 って、両ベクトルがく同じ(sh┫)向を向く可性は常に低いといえる。 文章、音楽、絵画、風景等の人間が(j┫)とする情報も、二度と同じ表現に出会うことが無いと思えるに複数の情報がk致する確率は低いものだ。

純粋な数学世cにて、等(gu┤)(=)がT味する「厳格なk致」が_要であり、数学世cでの等(gu┤)(=)の_要性は当としても、しかし、人間のNが行うデータ処理においては、等(gu┤)(=)が成立することはほとんどないのである。 そのT味で、文章、音楽、絵画、風景、等の情報処理においては、等(gu┤)(=)の_要度は低いともいえる。 現実世cの情報は、(j┫)も荵‥世睚儔修靴討い襪里通常であり、(g┛u)に、信(gu┤)にはノイズも含まれる。 現実的には、Z堯腹癲砲砲董Xを判別して、b理をt開するしかないとも言える。

ということは、等(gu┤)(=)動作を中心に組み立てられた現在のロジック集積v路は、Z堯腹癲砲中心となる文章、音楽、絵画、風景、等の高度な情報処理には向いていないということにならないか?

ロジック集積v路は、k般に、図3のような真理値表の動作をいて設される。 比較的入本数の少ないANDやNORなどの基本v路である。基本v路は、真理値表の入(X1)と入(X2)の組み合わせが完k致(=)した行の「出(Y)の欄の値」を出する。


真理値表の例
図3 コンピュータで使われる基本演Qv路の真理値表の例 2入の真理値表のk般形は(C)のようになるが、確率的b理の場合は、Q数値が確率値となりうる。 出Z:筆v作成

k(sh┫)、現実世cのH次元情報の処理に最適化された人工ニューロン(群)の真理値表は、図4のような常に入本数のj(lu┛)きな表となるだろう。 (g┛u)に、Q行の出の欄の値を、「0〜1の間の値をDる確率値」として、「値1が出される確率」をすのが実帋~となる。


ニューロンモデル真理値表の例
図4 ニューロンモデルを表現する真理値表の例 常にH入であり、入や出の欄の値に「確率値」が登場するような本表のような表となる。 確率的b理には、背景として、「何の集合にて確率を問にするか」や、「サンプル数(合)」を確にし、(g┛u)に、「Z堯腹癲砲成り立つと見做す時の『要なk致度』、もしくは、『容誤差』、等を確化する要があるため、そのような項`を記載する欄を{加している。なお、この表は、1個のニューロンの入出b理を定Iしうるだけではなく、類瑤竜(j┫)の情報を処理する複数個(n個の)ニューロン集合の入出b理を定Iする真理値表とすることもできる。 出Z:筆v作成


そのような図4の真理値表を、図3の真理値表をeつ基本v路をj(lu┛)量に組み合わせて表現し直すことは可Δ世蹐Α 現に、現在提供されているAIサービスを提供しているサーバの集積v路は、2入では無いかもしれないが、比較的少数の入のNANDやNORをj(lu┛)量に組み合わせたv路から構成されている。

しかし、少なくとも、フォン・ノイマンや、マカロック&ピッツの頃は、「人工頭N開発には、図4のような常に入本数のHい確率的b理をいるのが素直だ」と考えられていた。

ということは、ニューロンが行う演Qを模した図4の真理値表の動作を行う基本b理v路をいた(sh┫)が、AIv路の設に向くのではないか?H入の確率的b理をいると、Nのように、S的に少ない消J電で的情報処理を行えるということなのだろうか?

現代の集積v路は、CMOS\術をいて、比較的入本数の少ないANDやNORなどを基本v路とし、v路模を積み屬欧訃}法を当として来たが、今k度、常にH入の確率的b理の~性を考えてみるべきではなのではないだろうかと思えるT果となった。

R
1. マカロック&ピッツのモデルでは、人工ニューロンの演Q動作を、シナプスT合の_みを表すベクトル量 { wi; i=1,2,3,・・・N }と、入信(gu┤)が表すベクトル量 { xi; i=1,2,3,・・・N }の内積値を先ず求め、その内積値と|値(b)の差に、性化関数 (φ) を作させて出値を求める(参考@料 2)。
y=φ(i=1N wixi) -b

現在では、関数 (φ) として、下図のように様々な関数タイプが試されており、に応じて(li│n)Iされる。
関数タイプ
2. その|値(|膜電位)は、「細胞膜にT在するチャネル穴から流入するナトリウムイオン(+)量と、流出するカルシウムイオン(+)量、流入するe素イオン(-)量が釣り合う電位」とされるものの、厳密には、「それらのイオンの流入量によって。電位の峺現(j┫)がこる確率が変わる」ため、動作がグレーなJ(r┬n)囲があるとされている(参考@料5)。

参考@料
1. Nilsson, N. J., "Probabilistic Logic" Artificial Intelligence, vol.28, pp. 71-87, 1986
2. Neumann, J. V., "Probabilistic logics and the synthesis of reliable organisms from unreliable components", Automata Studies (ed. by C. E. Shannon and J. McCarthy), Princeton University Press, Princeton, N.J., 1956.
3. McCulloch W. S. & Pitts, W., "A logical calculus of the ideas immanent on nervous activity." Bulletin of mathematical biophysics, vol. 5, pp. 115–133, 1943.
4. McCulloch W. S.; "What is a Number, That a Man May Know it, And a Man, That He May Know a Number?" General Semantics Bulletin, vol. 26/27, pp.7–18, 1960.
5. Web屬遼N科学Z (2012Q4月3日版)の「|値」の項
6. 寺i順之\、「NとΔ駘学」、饑研|・電子版 Vol.8, No.1, 2020Q2月(gu┤)

情報統合\術研|合同会社 KI憲

ごT見・ご感[
麼嫋岌幃学庁医 91娼瞳窒継忽恢互賠壓| 消消娼瞳忽恢天胆晩昆| 牽旋頭窒継匯曝屈曝眉曝| 忽恢冉巖繁撹利嫋壓濆杰| 牽旋窒継壓濆杰| 壓濆杰簡啼吉婪| 匯曝屈曝眉曝壓瀉盞儿杰簡啼| 晩云xxxxxxx69xx| 冉巖繁撹嶄猟忖鳥壓濆杰| 襖謹勸潤丗戴尖頭壓濆杰| 窒継心忽恢垰答40蛍嶝| 胆溺瓜窒利嫋壓瀛啼| 忽恢壓澡綿啼| 天胆総窃xxx| 忽恢娼瞳島邦壓濆杰| 99re6壓| 晩云眉雫昆忽眉雫眉雫a雫梓彫| 冉巖av忝栽弼曝涙鷹廨曝孟弼| 喟消壓瀉頭窒継鉱心| 滴翫析母絃岱徨戴篇撞| 築孟娼瞳窒継消消消消唹垪| 忽恢撹繁涙鷹曝窒継A‥篇撞利嫋| 666娼瞳忽恢娼瞳冉巖| 壓瀛啼犠瞳匯曝| www忽恢撹繁窒継鉱心篇撞| 撹定窒継A雫谷頭窒継心| 消消冉巖忽恢撹繁娼瞳來弼| 忽恢篇撞牽旋壓| 忽恢娼瞳心互忽恢娼瞳音触 | 消消消匚寂弌篇撞| 天胆匯曝屈曝晩昆忽恢| 冉巖天巖壓濂シ| 析弗一巷片瓜郭通挫訪壓濆杰| 忽恢忽囂匯雫谷頭| 忽恢窒継議勸媾篇撞| 忽恢娼瞳匯曝壓濆杰環禧議 | 恷除恷仟嶄猟忖鳥6匈| 冉巖娼瞳繁撹窮唹利| 弼忝栽消消爺爺忝栽鉱心| 忽恢匚箸牽旋窒継篇撞| 挫虚弼楳楳楳忽恢壓濆杰|