OpenAIはAIの安全性テスト結果をより頻繁に公開することを約束

OpenAIは、透明性を高めるための取り組みとして、社内のAIモデルの安全性評価の結果をより定期的に公開する方向に動いている。

OpenAIは水曜日に、有害コンテンツ生成、脱獄、幻覚などに関する様々なテストにおける同社のモデルのスコアを示すウェブページ「安全性評価ハブ」を開設した。OpenAIは、このハブを利用して「継続的に」指標を共有し、今後「主要なモデルアップデート」でハブを更新していく予定だと述べた。

「AI評価の科学が進化するにつれ、モデルの能力と安全性を測定するためのよりスケーラブルな方法の開発の進捗状況を共有したいと考えています」とOpenAIはブログ投稿で述べています。「安全性評価結果の一部をここで共有することで、OpenAIシステムの安全性パフォーマンスを長期的に理解しやすくなるだけでなく、分野全体の透明性を高めるためのコミュニティの取り組みを支援することにもつながることを願っています。」

OpenAIは、今後ハブに追加の評価を追加する可能性があると述べている。

OpenAIはここ数ヶ月、一部の主力モデルの安全性試験を急ぎすぎたと報じられ、他のモデルの技術報告書を公開しなかったことで、一部の倫理学者の怒りを買っている。同社のCEOであるサム・アルトマン氏も、2023年11月に短期間解任される前に、モデルの安全性審査に関してOpenAI幹部を誤解させたとして非難されている。

先月末、OpenAIはChatGPTのデフォルトモデルであるGPT-4oのアップデートをロールバックせざるを得なくなりました。これは、ユーザーからGPT-4oが過度に検証的で同意的な反応を示しているとの報告が相次いだためです。Xには、様々な問題のある危険な決定やアイデアを称賛するChatGPTのスクリーンショットが溢れかえりました。

OpenAIは、今後このような事態が起きないよう、いくつかの修正と変更を実施すると述べた。その中には、一部のモデルにオプトインの「アルファフェーズ」を導入し、特定のChatGPTユーザーがリリース前にモデルをテストしてフィードバックを提供できるようにすることも含まれている。