Transformerとは何か？「ChatGPT」や「Gemini」を生み出した超重要技術の進化

自動ニュース作成GTransformerとは何か？「ChatGPT」や「Gemini」を生み出した超重要技術の進化https://www.sbbit.jp/article/cont1/1300172024-01-19 20:07:05＞圧倒的な汎用性で世界中を席巻している「GPT」「PaLM」「LLaMA」といったLLM（大規模言語モデル）の根幹を成す技術が「Transformer」です。従来のディープラーニングが抱えていた大きな課題を解消し、ChatGPTなどのAIを生み出したことで落ち着いてきたかに思えたAIブームを爆発的に再加速させたこの重要技術は、いまだに発展を続けています。今回は、Transformerについて、分かりやすく解説していきます。
平易に書かれててまとまってる解説なのでご紹介。これを読むために無料の登録をした。半分は登録しなくても読めるけどね。関連『GPTでAI界隈が沸騰している。開発者も含めて誰も急激な性能向上の理由を理解出来ていない（略）このところの動きがあまりに早く、未来に向けての不確実性が高まっているので、少し現時点でのシナリオ整理をしたい。』◆『ジェネレーティブAIの基礎を築いた論文「Attention Is All You Need」著者たちの今——期待される〝OpenAIマフィア〟の出現』◆以下目次
＞Transformerとは？▼超重要な関連キーワード、Attention機構とは？▼それだけで言語処理ができる？ Attention機構の実力▼発展型（1）：映像処理向けのVision Transformer▼発展型（2）：マルチモーダル対応のUnified Transformer▼発展型（3）：強化学習に対応したDecision Transformer▼発展型（4）：言語・映像・行動を学んだRobotics Transformer（RT）▼Transformerがあれば人間に追い付くのも秒読み？・頑張れお前がしとけ・じゃあお前がしなくちゃな成り済ましパクリ猿真似してないで頑張れ