自動ニュース作成G
大規模言語モデルの中身はなぜ浮動小数点データなのか
https://xtech.nikkei.com/atcl/nxt/column/18/00138/063001799/
2025-07-03 13:35:09
＞2025年6月18日、三菱電機は製造業に特化した言語モデルを発表した。この言語モデルは、エッジデバイスで動作するように軽量化を図ったという特徴がある。その手段の1つが、元になった言語モデルのパラメーターが浮動小数点型のデータであるところを、桁数の少ない整数型のデータに変換することだった。話を聞いて、最初は「うまい方法があるものだな」と思っていたが、そのうちだんだんと「元がなぜ浮動小数点だったのか」と気になってきた。
ウ～ン、エッジということは学習無しで推論だけでしょ。推論なら整数どころか1.58ビットであるんやけど
#2 お。気づかなかったわ。要登録に変更した
・あんま関係ないけど『bfloat16 (brain float16) のCPUによる対応とC言語からの利用』https://zenn.dev/mod_poppo/articles/brain-float16＞AVX-512 BF16はAVX10.1の一部となります。＜AVXまた種類増えたのか
・この記事は会員登録で続きをご覧いただけます