自動ニュース作成G
画像内キャラに楽曲を歌わせる「Hallo」、“行列の掛け算なし”にLLMの開発が可能な「MatMul-Free LM」など重要論文5本を解説(生成AIウィークリー)
https://www.techno-edge.net/article/2024/06/17/3471.html#MatMul
2024-06-17 21:32:41
>LLMから行列乗算を完全に排除しつつ、大規模で高い性能を維持する手法を提案します。
まさか乗算は使わないけど除算(逆行列)が必要です、とかの落ちじゃないだろうな?と、思ったら
>通常、ニューラルネットワークの密な層では、入力と重みの行列を掛け合わせて計算を行います。しかし、本モデルでは、重みを-1、0、+1の3つの値に限定することで、掛け算を加算と減算に置き換えました。< ちょっと前に話題になった1ビットLLMの学習版かな?
・論理シフトによる実質累乗って話じゃなく?