図1　Cerebras社が開発したウェーハスケールの巨�jなシリコンチップ　��下のチップはこれまでのNvidiaのGPU　出�Z：Cerebras社ホームページから

このウェーハ��模のチップの�C積は46,225mm2と巨�jで、これまで最�jのGPU（グラフィックスプロセッサ）が211億トランジスタを集積した815mm2のチップ�C積だから、なんとその56.7倍も�jきい。300mmウェーハから1��しか�DれないウェーハスケールのAIチップだ。

Cerebras社は、AIチップにとって今がムーアの法�О��屬�AI演�Qの��要が3.5ヵ月ごとに2倍に高まる、という新法�Г了�代を迎えたと見ている。この巨�jなAIチップは、TSMCの16nmプロセスで作られており、それでもレチクルサイズを考慮して����で�kつの演�Q�_を作ったのではなく、演�Qブロックを12×7個＝84個敷き詰めている。�kつのブロックの中にAIコアを約4762個集積したようで、AIコア数を40万個集積したと表現している。

AI、��にディープラーニングでなぜ、これほど�Hくの演�Qコアが��要なのか。ニューロン1個のモデル（パーセプトロンモデル）は、�H入��1出��の演�Q�_（ステップ関数）であり、入��には数�恩弔離如璽燭函△修譴召譴膨_みを�Xけ、演�Q�_で演�Qする。図2はアナログ�v路で表現したが、デジタル�v路でも表現できる。つまり、ΣAi×BiというMAC（積和演�Q）である。データをAiとすると、�_みはBiで表現され、それらを�Xけ�Qした�T果を演�Q�_に入��する。出��は1か0である。この演�Q�_が並�`にずらりと並んでいるのがニューラルネットワークだ。

図2　ニューラルネットワークの基本的なニューロンモデル

この演�Q�_を�H数並べ、最終的に出��されたデータを次のニューロン（演�Q�_）に入��する。猫を認識する場合には、猫かそうではないかを��解のデータと比較して判��するが、不��解なら逆伝搬といわれるバックプロバゲーション�}法を使い、出���笋�ら入���笋北瓩蠅覆�ら�_みを変えていき、できるだけ猫という��解に�Z��くまで操作を繰り返す。

�Qニューロンに相当する�j量の演�Q�_は出��したデータをメモリに保�Tしておき、次の演�Q�_に入��する時に読み出して積和を再度���Qするため、デジタル�v路としてはMACとメモリ（DRAM）をそばに��き、�kつのニューロンを演�Qした後、演�Q�T果をメモリに保�Tし、次のニューロンへそのメモリ内容を入��してまた演�Qを行う。しかも並�`で演�Qする。このため、MACとメモリを�瓦箸靴瞳eつ構成がAIチップの基本構成となる。この仕組みでは、演�Qと、その�T果を次の演�Q�_に伝える通信経路、が�_要な�v路要素となる。高�]メモリと演�Qコアは互いにそばに��き、この�瓦鬟▲譽びXに��並�`に配��する。

CerebrasのWSEには40万個のAIコアを集積しており、それらは行�`成分に0が�Hい�娣�`（sparse matrix）となっているため、SLA（Sparse Linear Algebra�撿形代数）コアが同社のニューラルネットワークの基礎となっている。コアは小さく、キャッシュメモリを含まず、他の関数やオーバーヘッドも含んでいない。ただし、SLAコアはプログラム可�Δ任△蝓▲縫紂璽薀襯優奪肇錙璽�の�_みを�O�yに変えられる。しかも、�Qコアは�U御処理とデータ処理の両�気鮗孫圓任�る。�U御処理は並�`演�Qできる座�Yとして使われ、データ処理は演�Qそのものに使われる。

このチップでは�娣�`の�Xけ�Qで、0をかける演�Qが�Hければ無�Gな演�Qが�\えることになるため、それを省くような処理を行う。ニューラルネットワークでは、データの50~98%がゼロになることが�Hいが、この場合には�Xけ�Qをしない。

CerebrasのWSEは18GBのメモリと9.6PB/sのメモリバンド幅を�eつ。いずれもGPUと比べて3000倍、1万倍�Hいという。レイテンシは1サイクルのみで、��てのモデルパラメータはオンチップに�eつ。

このWSEのもう�kつの��長は、高�]通信ファブリックである。AIチップでは、MAC演�Q�_の数とそのスピード、そしてフレキシビリティが性�Δ鬲�める。�Qコアはレイヤー数と共に常に動作しており、高�]のバンド幅と低レイテンシで動作させることこそ性�Δ��屬欧襯�モとなる。このためにコアをひと�wまりにしてグループにする。�kつのブロックにAIコアが約4700個�wめて集積しているのはそのためだ。

LSI半導��では、チップ外の通信よりもチップ内の通信の�気�数万倍も�]い。だからこそ、小さなチップ同士を�Jにしてまとめ、EthernetやInfiniBand、PCIeなどで通信させて性�Δ魍諒櫃垢襦�だから、�kつの巨�jなチップにした。

Cerebrasは、Swarmと�}ぶ通信ファブリックを開発し、チップ�屬僚j量の配線ネットワークを作り出した。40万個のAIコアはSwarm通信ファブリックで2次元メッシュ�Xに接��されており、100Pビット/秒という��高�]のバンド幅を実現した。Nvidiaも�H数の小さなGPUコアを並べ、それらをつなぐ通信配線を工夫している。CerebrasのWSEでもコア間はレイテンシとバンド幅を最適化した�]い配線でつなぎ、�Q演�Qコアにハードウエア配線エンジンを設けているという。これによって、�kつの言��のメッセージでコアからコア、レイヤーからレイヤーへと通信することができる。しかもコンフィギュアラブルでプログラマブルだとしている。Swarmはハードウエアの配線エンジンをソフトウエアで再構成可�Δ砲靴討�り、ユーザー独�Oのモデルに合うように学�{に��要な通信を変えることができるとしている。この�T果、�kつのハードウエアリンクをメッセージが通る場合のレイテンシは数ナノ秒ですむという。

これだけのWSEであれば消�J電��はかなり高いはずだが、Cerebrasは消�J電��に関しては何もコメントを出していない。ただ、昔と違って、スーパーコンピュータでは水冷でチップを冷却する�}法が定��しており、この巨�jなチップも冷却�ξ�の高い水冷を�W��するに違いない。

かつてのWSIは�T局、商��になりえなかった。歩�里泙蠅�良くならなかったためだ。しかも����がメモリであり、コストを下げられなかった。今�vのチップがモノになるかどうかはディープラーニングの学�{��要によるが、性�Δ�ケタ違いに良くなることだけは確かである。

参考�@料
1. Cerebras社のホームページ