自動ニュース作成G
「ExcelでChatGPTを再現するシート」が想像以上に素晴らしかった
https://ascii.jp/elem/000/004/187/4187763/
2024-03-08 20:16:20
>「Spreadsheets are all you need」とは、Excelの標準的なスプレッドシート機能を使ってGPT2(ChatGPTの先祖)のフォワードパス(入力から出力までのプロセス)をExcelの中で完全に実装したものだ。〜本シートの説明文には「開発者でない人でも本物のLLMが内部でどのように機能しているのかを、最小限の抽象化で直接探索し試すことができます。」とある。つまりこれは、「LLMとはなにか」はだいたい理解していても「LLMは内部的にはどのような動きをしているか」となるとお手上げになってしまう非開発者(つまり筆者のこと)のためのチュートリアル教材なのだ。本シートがシミュレートしているGPT-2は、OpenAIがChatGPTを公開するおよそ3年前の2019年に発表したLLMだ。
おもしろそうだけどエクセルはここ20年ほど触ってないんよね。
・不思議に思っていたアテンションヘッドのヘッドについて「頭」と説明していたから気になって調べた。https://zenn.dev/efficientyk/articles/67336a1a52e312 「ここで「head」が使われる理由は、それぞれの「head」が独立して情報を処理し、異なる視点からデータに注意を払うからです。これはまるで複数の「頭」が同時に異なる側面に注意を払っているかのようなイメージです。」
・うーん分かった様な分からんような。とは言え磁気ヘッドも確かにヘッドだな。これはチューリングマシンのヘッドの概念とは合致しそう。
・トランスフォーマーで単語の位置情報を埋め込む所が知りたかったんだが、書いてなかった。個人的にちゃんと調べておかないとなとは思っている。
・イボンコペッチャンコ!