自動ニュース作成G
“ペタ”FLOPSの性能を実現したモンスターGPU「NVIDIA H100」
https://pc.watch.impress.co.jp/docs/news/1396728.html
2022-03-23 10:20:49
＞開発コードネーム「Hopper」(ホッパー)という新しいGPUアーキテクチャを採用した「NVIDIA H100 GPU」(以下H100)を発表した。
＞TSMCの4Nカスタムプロセスノード(いわゆる4nm)で製造され、800億トランジスタというモンスターチップになっており、FP8で4P(1ペタ=1,000テラ)FLOPS、FP16で2PFLOPS、TF32で1PFLOPSの性能を実現
TF32ってtypoかと思ったら新しい型みたい。高速化の為に32bitのうち19bitしかデータに使ってないみたい。
◇
・ディープラーニング… ビット分解能減らしてる分は予測で補完しているのか？
・“ペタ”と言う企業の事かと。
・#1 ディープラーニングを実現するニューラルネットワークの演算は学習と推論で違うけど場合によっては8bit前後でも十分のケースが多いみたいね。『「推論」の精度 - INT8でも性能低下は僅か』 https://news.mynavi.jp/techplus/article/architecture-373/ ＞正規化は必要なものの、8ビット精度の整数演算でも、性能の低下は僅かであると報告されている。＜ 正規化が面倒な場合はFP8やFP16を使う。
・おまけ：『数値精度を低くすることでディープラーニングのパフォーマンスを向上』 https://www.isus.jp/machine-learning/lowering-numerical-precision-increase-dl-performance/ 『ディープラーニングにおける演算ビット幅低減の研究』 http://www.arch.info.mie-u.ac.jp/project/GradThesis2018//db/100044.pdf ＞認識ではデータを整数に丸めても認識できることがわかった．結果，平均で 9 ビットまでの低減に成功した．＜