GPT-4の精度は悪化している？　3月に解けた数学の問題解けず　GPT-3.5にも敗北──米国チームが検証

自動ニュース作成GGPT-4の精度は悪化している？　3月に解けた数学の問題解けず　GPT-3.5にも敗北──米国チームが検証https://www.itmedia.co.jp/news/articles/2307/20/news160.html2023-07-21 07:27:12＞「コードの生成」を依頼したところ、GPT-4の3月版では生成物の50％以上が実際に実行可能なものだったが、6月版ではその数は10％まで低下していた。GPT-3.5でも同様の傾向が見られた。
＞6月版の出力結果をみると、余分なテキストや引用符などを追加しており、その影響だと研究チームは推測している。
面白いな。頭が悪くなることもあるんだ・学習は停止してるんだっけ？敢えて能力下げてるって言われてるね。あるいは挙って猫も杓子も使ってるから、答えを正しく修正出来ない状態を繰り返した結果、馬鹿を模倣するようになったか。・こういう意見も＞巷では、GPT4のクオリティが下がったと大騒ぎをしているけど、私はそれほどには感じない。LLMの能力の測定の仕方は色々とあり、バイアスのある結果を出すことは簡単なので、頭から信じないほうが良い。https://twitter.com/snakajima/status/1682156131299491840・MS-IMEの変換精度が突然バカになる、みたいな話だな。・Google検索結果がおかしくなった、みたいな・「付き合う相手はよく考えなさい！」