自動ニュース作成G
GPTでAI界隈が沸騰している。開発者も含めて誰も急激な性能向上の理由を理解出来ていない(略)このところの動きがあまりに早く、未来に向けての不確実性が高まっているので、少し現時点でのシナリオ整理をしたい。
https://twitter.com/ktakahashi74/status/1637758056342880256
2023-03-21 13:01:10
知能や魂までこれの延長上にあったりすると怖いね>1つ目は我々がこれまで演繹と思っていたものの大部分が帰納だったという可能性だ
・この人の方が俺より詳しいに違い無いが、帰納をしようとした結果が今のAIだと思っていたんで、この問い自体ピンとこない。正しい帰納を導く為にはある程度まとまった量の学習をする必要があり、パレートの法則的な意味でその閾値を超えたと言う事だろう。とは言え未だ部分的には間違った推論をしているからもっと学習が必要と。
・#0 知能は機械で得られると思うが、機械に得られないような魂はそもそも生命にも無いと思う。「神聖視されていた創造性と言うものが、単に(誤差を含んだ)帰納だった」みたいな話なら納得だ。
・演繹にしろ帰納にしろ、既存の知識からの延長線上の話なので、ここから「直感」的なものが現れたら本当の意味での「進化」なのかな
・進化というか、自我だな
・自発的に問題解決プログラムを組めるようになってから。勝手に最適ドライバーを組んで、自分で最適に組みなおせる様になったら次。物理的に自分を作って複製を作り、最適ロボットを再生産出来るようになったらシンギュラリティ。
・#5 最適化問題を解くみたいな事は既にやっている。その課題の一番の問題は「問題」と言うのが人間の感じる問題であって機械が問題だとは思っていないこと。なのでそれは「人が何を望んでいるのかを推測する」と言う女性が男性に求める難題みたいな事を求めている。それは人間にも出来ていない。ロボット自身の問題を理解する課題は記事にある身体性の話だな。
・シンギュラリティが起きるまでは頑張って生きよう
・AIが人間の生理的な欲求やら、人としての尊厳とか、そのあたりを理解できてからが勝負なのではと思ってる
・#8 それってAIにとってはどうでも良い事では?人の役に立つかどうかの話でAIの性能には関係無い。どうでも良い事をやって頂く為にどうしたら良いのかはAIではなく人間が考えないと。身体性にしても動機づけの問題だね。自発性とも言うかな。自発性が無いから何をやらされても面倒だとも嫌だとも言わない訳で、それはそれで便利だ。
・#10 自分は「出力の過程でそれらが考慮されていなければ、真に人の役に立たたんと思ってる」ってだけ。他の人がどう思ってるかは知らんし、今の時点でどう便利に使うかもまた別の話
・スカイネットの誕生も秒読みなのかしら。
・ツイートの4/15で計算量の話なのになんで単位時間当たりの浮動小数点演算数を表すFLOPsなんだ?と思って参照してるGoogle のドキュメントを見たらfloating point operationsの略なのか。最後が大文字か小文字かで意味が変わるのね
・いままでチート演繹と思われていた主人公技の大半が前世からの帰納だったのだ。byなろう
・ミレニアム懸賞問題 https://ja.wikipedia.org/wiki/%E3%83%9F%E3%83%AC%E3%83%8B%E3%82%A2%E3%83%A0%E6%87%B8%E8%B3%9E%E5%95%8F%E9%A1%8C がGPTシリーズで解けたら凄いな。>P≠NP予想 (P vs NP Problem) 計算複雑性理論(計算量理論)におけるクラスPとクラスNPが等しくない。< これって照明されてなかったんだ? あとはABC予想の宇宙際タイヒミュラー理論による証明を検証してもらうとか。
・トレーニングに10の24乗回の計算量ってと400PFLOPSの富岳をフルノードで使ったとしても1e+24/400e+15=2,500,000秒=28.9日のマシンタイムが必要か
・ツイートの4/15で参照しているai.googleblog.comの記事を翻訳してる人を見つけたのでリンク貼っておく。『言語モデルに思考の連鎖を促し推論能力を向上』https://webbigdata.jp/post-13600/
・その論文で使ってるgsm8kベンチマークの問題はこれか。https://paperswithcode.com/dataset/gsm8k 内容は中学生向け程度の算数の文章題か。このレベルの問題で正答率60%だと#14の問題に挑戦するのはまだまだ先か。
・ツイートの1/15で言及してる「トランスフォーマーと呼ばれるエンコーダ・デコーダモデル」について。『深層学習界の大前提Transformerの論文解説!』https://qiita.com/omiita/items/07e69aef6c156d23c538
・#16と同じai.googleblog.comを元にした記事『GPT-4やPaLMなどの大規模言語モデルは規模が大きくなると突然予想外の能力を開花させることがある』https://gigazine.net/news/20230325-large-language-model-emergent/