図1　Cerebras社創業�v兼CTOのGary Lautherbach��

このほど来日したCerebras社の創業�v兼CTOのGary Lautherbach��（図1）は、このウェーハスケールLSI(図2)に�瓦靴董◆嵎��里泙蠅�100%である。配線は�N長構成を�Dっているからだ」と述べる。この考え�気六温憂@料1で紹介したように、40�Q�iのウェーハスケールLSIとは��く違う。当時は、ロジックの�kつが不良になるとチップ����が不良となり、歩�里泙蠅呂曚箸鵑疋璽蹐��Zかった。このため実��化できなかった。しかし、ニューラルネットワークでは、あくまでも�H入��1出��の演�Q�_で1個のニューロンを表現でき、しかも神経ラインが1本くらい切れていても、迂�v路を通すことが可�Δ澄�しかも����（人間なら200億ニューロン）で見れば1個や2個の不良は無��できる。このチップのニューロン数は��らかにしなかったが、����で1兆2000億トランジスタもあるため、かなりの数のニューロン数ではあろう。

図2　Cerebras社マーケティング担当Andy Hock��が�eつチップ

ニューラルネットワークでは、�kつのニューロンに�瓦靴�10本��度の信�､�入��され、出��は1本だけであり、その値は1か0である。10本��度の信�､修譴召譴膨_み(0〜1)を�Xけるため、デジタルで表現すると10個のMAC（積和演�Q）になる。その答えが1か0ということは、�H数のMAC演�Qには「0×�_み=0」という演�Qが極めて�Hいことになる。MAC演�Qは行�`でも表現できる線形代数であるが、行�`要素の中身の�Hくはゼロになるため、このSparse（��）�霾�の���Qを省�Sできる。こうすると、演�Q�v数を��らせる。CerebrasはこのSparse演�Qを省�Sすることで電��効率を�屬欧拭�

ただし、このチップはNvidiaのGPUよりもはるかに高い性�Α兵泰xでは数��倍〜1000倍）になっており、学�{させるためのAIチップであり、�_みを浮動小数点で表し、32ビット以�屬留��Q�@度で少なくとも学�{�@度を�屬欧襪海箸�できる。

また、MAC演�Q�_はメモリ（RAM）に�Zいほど演�Q�]度が�屬�り、消�J電��も下がる。チップ����に集積したメモリは18GBのSRAMだが、AIコアと称するAI演�Qブロックは�@��のフォンノイマンコンピュータであり、ここには48KBのローカルメモリを�eっているという。AIチップにおけるメモリの役割は、MAC演�Qした�T果を�k時保�Tし、次のニューロンへ送るべきデータを読み出すために使われる。さらに、��要な�_みを表す小数点の数�Cを保�Tする役割もある。つまり、MAC+RAMのセットこそ、AIチップの本��である。ここでは、AIコアでの�_み演�Qには、�H数の浮動小数点演�Qができるようになっており、その動作には1GHz以�屬離�ロックを使っているという。

さて、ウェーハスケールのシリコンをどうやってパッケージするか。これだけ�jきなチップは発�Xも�jきいため、シリコンの�X膨張係数と同じ��度の材料を使わなければ、発�Xによる�a度差でシリコンが割れてしまう恐れがある。この問��に関して4�Q以�屬矮Jやして解��し独�Oの専��パッケージを開発した、とLautherbach��は述べている。関連する�H数の����も�D�uしている。

チップの消�J電��は20kWと通常のチップよりははるかに�jきい。このため�Xを素早く逃がすための放�Xに�瓦靴討蓮▲船奪廚領��Cから閉ループで水冷しており、さらにシステム����には空冷するという両�気領箋冕，鮹�いている。

このチップを1個だけ搭載し、電源や�U御�Uも含めたAIコンピュータCS-1(図３)を開発した。100Gビット/秒のEthernetを12レーン��いたI/Oの�]度は1.2Tb/sと極めて�]い。CS-1は、�Y��の19インチラックで15U相当の�jきさに収められている。

図3　開発したAIコンピュータCS-1　出�Z：Cerebras Systems

そしてディープラーニングのアルゴリズムや機械学�{のフレームワーク（TensorFlowやPyTorchなど）でプログラムできるようなソフトウエアプラットフォームも提供する。APIで�O�yにカスタマイズできる。ソフトウエアスタックを��てのレイヤーに紐づけし同時に実行できるうえに��レイヤーを同時にコンパイルでき実行に�，垢海箸�できる。

学�{時間をこれまでの数カ月から数分に、あるいは数週間から数秒に�]縮できるようになるため、これまで実���屬△�らめていた�@巧な�jきなAIモデルを試すことができるようになり、AIソフトウエアエンジニアの��躍の場ができる。性�Δ�1000倍�]いということは、実際の学�{セットでも1000倍のデータを扱うことができるため、もっと�@巧なソリューションを高�]に実行が可�Δ砲覆襦９馥眸稜箍然覆鰐つ蠅世�、おおよそ数億��のレベルになるとしている。

参考�@料
1. ディープラーニング学�{にはウェーハ��模の巨�jなチップが��要 (2019/08/27)
2. セレブラス社と販売代理��契約を締�T、��高�]ディープラーニングシステム「CS-1」の�p�Rを開始 (2019/12/19)