Cerebrasが開発したウェハサイズの深層学習チップ

自動ニュース作成GCerebrasが開発したウェハサイズの深層学習チップhttps://pc.watch.impress.co.jp/docs/column/kaigai/1203577.html2019-08-28 12:36:19＞チップのサイズは46,225平方mm(引用者註：小数点ではない)、縦横215mm×215mmの正方形。人間の頭より確実に大きい。間違いなく、世界最大の“半導体チップ”だ。
＞そして、チップ上のトランジスタ数は1兆2,000億と、1兆個を越えた。これも、NVIDIAのVoltaの211億トランジスタの約56倍。
＞最大のGPUの56倍のサイズの超モンスターチップ、それが、Cerebrasが開発した深層学習プロセッサ「Cerebras Wafer Scale Engine(WSE)」だ。・16nmプロセスと決して最新のプロセスではないが、技術的には最先端。製造プロセスの差を埋めるためにはこのくらいの思い切った発想が必要ってことだろう。日本ではちょっと前まで富士通が22nmのSPARCを税金でただ大量に並べてスパコンなどを作っていたわけで、なんというかIT格差を思い知らされる。・ここまででかいと歩留まりが怖い・#2 なんかモト記事はサラッと書かれてるけど一番のポイントはここじゃないかと思う　>ウェハ上の不良による欠陥ダイについては、メッシュネットワークで回避する。・冗長性を持たせておいて欠陥ブロックをパージするのは昔からある常套手段だよね。このチップのミソはチップ間のインターコネクトをチップを切り離す前のウエアの上で実現してるところ。デメリットは接続トポロジーとして２Dメッシュ以外はとりにくい点かな。でも広帯域にしやすいしDL向けには隣接ノードとの通信が早ければ十分という判断だろう。・それから『18GBのメモリをオンチップに搭載、メモリをコアごとに分散配置』という記述からPS3のcellのSPEみたいにコア間のコヒーレンシはソフトウエア任せだと思われる。単純にコア当たりは450KBのメモリ。ニューラルネット向けでは良さそうだけど汎用コンピューティングには使いづらいかもね。・独自ファブリックによる高密度サーバのSeaMicroのメンバが作ったのか。・冷却システムが気になる、液浸らしいが・SeaMicroの製品も面白かったなあ