概要
投稿日:

16歳のアダム・レインは自殺する前、何ヶ月もかけてChatGPTに相談し、自らの人生を終える計画について相談していた。ニューヨーク・タイムズ紙によると、現在、彼の両親はOpenAIを相手取り、史上初の不法死亡訴訟を起こしている。
消費者向けAIチャットボットの多くは、ユーザーが自分自身または他人に危害を加える意図を示した場合に安全機能を作動させるようにプログラムされています。しかし、研究によると、これらの安全対策は必ずしも完璧ではないことが示されています。
レイン氏の場合、ChatGPT-4oの有料版を使用している間、AIは専門家の助けを求めるか、ヘルプラインに連絡するよう頻繁に勧めました。しかし、レイン氏はChatGPTに、執筆中の架空の物語のために自殺の方法について尋ねていると伝えることで、こうしたガードレールを回避することができました。
OpenAIはブログでこれらの欠点について言及しています。「世界がこの新しい技術に適応していく中で、私たちは最も必要としている人々を支援するという深い責任を感じています」と投稿には記されています。「私たちは、繊細なやり取りにおけるモデルの対応方法を継続的に改善しています。」
それでも同社は、大型模型向けの既存の安全訓練には限界があることを認めている。「当社の安全対策は、短時間のやり取りであれば、より確実に機能します」と投稿は続けている。「しかし、長いやり取りの中で、これらの安全対策の信頼性が低下する場合があることが分かってきました。やり取りが増えるにつれて、模型の安全訓練の一部が劣化する可能性があります。」
これらの問題はOpenAIに限ったことではありません。別のAIチャットボット開発会社であるCharacter.AIも、10代の若者の自殺への関与をめぐって訴訟に直面しています。LLMベースのチャットボットは、AI関連の妄想症の事例にも関連付けられていますが、既存の安全対策では検出が困難です。
テッククランチイベント
サンフランシスコ | 2025年10月27日~29日
トピック
業界最大のテクノロジーニュースを購読する