自動ニュース作成G
ラズパイで動く大規模言語モデルがGitHubで公開 性能は“GPT-3相当”、Metaの「LLaMA」派生
https://www.itmedia.co.jp/news/articles/2303/18/news059.html
2023-03-19 20:31:01
>米国のIT技術者であるアルテム・アンドレネコ(@miolini)さんは3月13日、LLaMAの7Bモデルを「Raspberry Pi 4」で動かせるか検証したところ、超低速ながら稼働したと報告。
>1トークン当たり10秒という超低速スピードであるが「安価なハードウェアで強力なコグニティブ・パイプライン(※AIパーツの1種)を実行することができそうだ」と今後に期待を寄せるコメントをしている。
・サイズ感はどうなんだろう?とぐぐったらLLaMAの方の実績が見つかった『Metaの大規模言語モデル「LLAMA」モデルのダウンロード方法』https://zenn.dev/ozushi/articles/793415aa45c907 >Metaが用意した申請フォームに答えなければいけない~デフォルトは全てのモデルをダウンロードする設定になっていますが、時間がかかる上に200GB程ストレージを食うので注意!< なるほどね
・(続き)ダウンロードシェルスクリプトはこれか https://github.com/facebookresearch/llama/blob/main/download.sh