「モデルの崩壊」：科学者はAIが自らの尻尾を食べることに対して警告

テッククランチイベント

そして、ゴールデンレトリバー（あるいは平凡なブログスパム、偽の顔、あるいは生成された歌）の大量発生で訓練を終えると、それが彼らの新たな真実となります。彼らは犬の90%が本当にゴールデンレトリバーであると考え、犬を生成するように指示されると、ゴールデンレトリバーの割合をさらに高めるようになります。そして、犬が一体何なのかをほとんど忘れてしまうまでになります。

Nature の付随解説記事に掲載されたこの素晴らしいイラストは、このプロセスを視覚的に示しています。

言語モデルなどでも同様のことが起こります。これらのモデルは、基本的に学習セットの中で最も頻出するデータを答えとして優先します。はっきり言って、これは通常正しい行動です。それが、今や公開されているWebという大量のデータと接触するまでは、実際には問題になりません。

基本的に、モデルが互いのデータを食べ続けると、おそらくは無意識のうちに、徐々に奇妙で愚かな状態になり、ついには崩壊してしまう。研究者たちは数多くの例と緩和策を示しているが、少なくとも理論上はモデルの崩壊は「避けられない」とさえ述べている。

彼らが行った実験が示すような事態にはならないかもしれないが、その可能性はAI分野に関わる誰にとっても恐怖を抱かせるはずだ。学習データの多様性と深さは、モデルの品質を左右する最も重要な要素としてますます重要視されている。データが不足し、モデル崩壊のリスクが高まるとしたら、それは今日のAIを根本的に制限することになるのだろうか？もし実際にモデル崩壊が起こり始めたら、私たちはどのようにしてそれを知るのだろうか？そして、この問題を未然に防いだり、軽減したりするために私たちにできることはあるのだろうか？

少なくとも最後の質問に対する答えはおそらく「はい」ですが、それが私たちの懸念を軽減するものではありません。

データの入手先や多様性に関する定性的・定量的なベンチマークは役立つでしょうが、標準化には程遠い状況です。AI生成データに透かしを入れれば、他のAIが同様の不正行為を回避できるようになりますが、今のところ、画像に透かしを入れる適切な方法を見つけている人はいません（まあ、私は見つけましたけどね）。

実際、企業はこの種の情報を共有する意欲をなくし、代わりに、シュマイロフ氏らが「先行者利益」と呼ぶものを保持しながら、非常に価値のあるオリジナルデータや人間が生成したデータを可能な限り蓄えようとするかもしれません。

ウェブからスクレイピングした大規模データを用いた学習のメリットを維持するためには、[モデルの崩壊]を真剣に受け止めなければなりません。実際、インターネットからクロールされたデータにLLM生成コンテンツが含まれる場合、システムと人間の真のインタラクションに関する収集データの価値はますます高まるでしょう。

…技術が大量に採用される前にインターネットからクロールされたデータにアクセスしたり、人間が大規模に生成したデータに直接アクセスしたりせずに、LLM の新しいバージョンをトレーニングすることはますます困難になる可能性があります。

これを、AI モデルに対する潜在的に壊滅的な課題の山に加え、明日の超知能を生み出す今日の方法に対する反論に加えることになる。

バイオを見る