OpenAI、AIによるテキスト検出システムの精度が低いとして開発中止

OpenAIは、テキストが別のAIによって書かれた可能性を判定できると謳っていたAI分類ツールの提供を停止しました。多くの人が、おそらくは賢明とは言えないまでも、このツールを低労力での不正行為の検出に利用していましたが、OpenAIは「精度の低さ」が広く批判されたため、このツールの提供を終了しました。

AI生成テキストには、確実に検出できる識別特徴やパターンがあるという理論は直感的に理解しやすいように思われますが、これまでのところ、実際には実証されていません。生成されたテキストの中には、明らかな特徴を持つものもありますが、大規模な言語モデル間の差異や、それらの発展の速さを考えると、それらの特徴に頼ることはほぼ不可能になっています。

TechCrunchが独自に実施したAI文章検出ツール群のテストでは、これらのツールはせいぜい当たり外れがあり、最悪の場合全く役に立たないという結論に至りました。生成された7つのテキストスニペットを様々な検出ツールに渡したところ、GPTZeroは5つを正しく識別しましたが、OpenAIの分類器は1つしか正しく識別できませんでした。しかも、その言語モデルは当時でも最先端とは言えませんでした。

しかし、OpenAIの分類ツールは、なぜこのようなツールを公開したのか疑問に思うほどの重大な制限事項を付帯していたため、検出機能の主張を額面通り、あるいはそれ以上に信じる人もいた。学生、求職者、フリーランサーが生成されたテキストを提出することを懸念する人々が、テストのために分類ツールに入力した。その結果は本来信頼できないはずだったが、時として信頼される結果となった。

言語モデルが進化し、急増していることを考えると、この不安定なツールをオフラインにする時期が来たと、社内の誰かが判断したようです。「フィードバックを取り入れるべく取り組んでおり、現在、より効果的なテキストの来歴特定技術を研究しています」と、7月20日付の分類器発表投稿の補足説明に記されています。（この変更に最初に気づいたのはDecryptだったようです。）

分類器の閉鎖のタイミングと理由について問い合わせました。回答が得られ次第、改めてお知らせします。しかし、OpenAIがホワイトハウス主導の「自主的な取り組み」に他の数社とともに参加し、倫理的かつ透明性のあるAI開発に取り組むのとほぼ同時期に閉鎖が決定されたというのは興味深いことです。

各社が表明したコミットメントの一つに、堅牢な透かしや検出方法の開発があります。少なくとも、その開発を試みていると言えるでしょう。ここ半年ほど、各社がこの件について声高に訴えてきましたが、簡単に回避できない透かしや検出方法はまだ見つかっていません。