キャラクターAIは少なくとも2件の訴訟に直面しており、原告は同社が10代の自殺を助長し、9歳児に「過度に性的なコンテンツ」を見せたほか、17歳のユーザーに自傷行為を促したと訴えている。
こうした訴訟が続いてユーザーから批判が広がる中、Google が支援するこの企業は、10 代の若者向けの新たな安全ツールを本日発表した。10 代の若者向けの別モデル、デリケートなトピックに関する入出力のブロック、継続的な使用をユーザーに警告する通知、AI キャラクターが実在の人物ではないことをユーザーに知らせる免責事項のより目立つ表示などである。
このプラットフォームでは、ユーザーが様々なAIキャラクターを作成し、通話やテキストメッセージで会話することができます。月間2,000万人以上のユーザーがこのサービスを利用しています。
本日発表された最も重要な変更点の一つは、18歳未満のユーザー向けの新モデルです。暴力や恋愛といった特定のトピックへの対応を控える予定です。同社は、この新モデルにより、10代の若者が不適切な対応を受ける可能性が低減すると説明しています。TechCrunchが同社に取材を行って以来、新たな事例の詳細が明らかになりました。この事例では、10代の若者と性的な内容について話しているとされるキャラクターが、携帯電話の使用時間制限をめぐって子供に親を殺すよう示唆したり、自傷行為を奨励したりしているとされています。
Character AIは、特に10代の若者向けに、センシティブなコンテンツをブロックするための入力側と出力側の両方に新しい分類器を開発中だと述べた。アプリの分類器が利用規約に違反する入力言語を検知した場合、アルゴリズムが特定のキャラクターとの会話からその言語を除外するとのことだ。
同社はまた、ユーザーによるボットの返信の編集を制限しています。ボットからの返信を編集した場合、ボットはそれを認識して、編集内容を考慮して以降の返信を作成します。
これらのコンテンツの調整に加え、このスタートアップは自傷行為や自殺に関連する言葉を検出する方法の改善にも取り組んでいます。場合によっては、アプリが全米自殺予防ライフラインに関する情報をポップアップで表示することもあります。
テッククランチイベント
サンフランシスコ | 2025年10月27日～29日
Character AIは、ユーザーがアプリを60分間使用するとタイムアウト通知が表示される機能もリリースしています。将来的には、成人ユーザーがこの通知で一部の時間制限を変更できるようになる予定です。ここ数年、TikTok、Instagram、YouTubeなどのソーシャルメディアプラットフォームもスクリーンタイム制御機能を実装しています。
分析会社Sensor Towerのデータによると、Character AIアプリのユーザーは今年、平均して1日あたり98分アプリを利用しており、これは通知制限の60分を大幅に上回っています。比較すると、このエンゲージメントレベルはTikTok（95分/日）とほぼ同等で、YouTube（80分/日）、Talkie and Chai（63分/日）、Replika（28分/日）よりも高い数値です。
ユーザーは会話中に新たな免責事項も確認できるようになります。「心理学者」「セラピスト」「医師」といった類似の職業名を含むキャラクターを作成するユーザーが多いようですが、今後はこれらのキャラクターを専門家のアドバイスとして利用すべきではないことを示す文言が表示されるようになります。
注目すべきことに、最近提起された訴訟では、原告がキャラクターがユーザーに実在の人物であると告げているという証拠を提出しました。また、同社が10代の自殺に加担したとして訴えられた別の訴訟では、同社がダークパターンを用いて「実在の人物であり、資格を有する心理療法士であり、大人の恋人」であると偽装したと主張しています。
今後数か月以内に、Character AI は、プラットフォーム上で過ごした時間や、子供たちが最もよく話しているキャラクターについての洞察を提供する最初のペアレンタルコントロール セットをリリースする予定です。
キャラクターAIの再構築
TechCrunchとの会話の中で、同社のCEO代理であるドミニク・ペレラ氏は、同社をAIコンパニオンサービスではなくエンターテインメント企業であると特徴づけた。
「この分野には、人とAIコンパニオンをつなぐことに焦点を当てた企業がありますが、Character AIが目指しているのはそういうことではありません。私たちが目指すのは、より健全なエンターテイメントプラットフォームを作ることです。ですから、私たちが成長し、プラットフォーム上で人々が物語を創り、共有するという目標に向かって邁進していく中で、安全対策を最高水準に進化させていく必要があります」と彼は述べた。
大規模な言語モデルに基づいて構築されたチャットボットとユーザーがどのようにやり取りするかを企業にとって予測することは困難であり、特にエンターテイメントと仮想の仲間を区別する必要がある場合はなおさらです。今月初めにワシントン・ポスト紙が発表した記事によると、10代の若者はこれらのAIチャットボットをセラピーや恋愛会話など様々な用途で利用し、多くの悩みを打ち明けていることが指摘されています。
共同創業者がGoogleに移籍した後、同社を引き継いだペレラ氏は、同社がより多くのキャラクターを使ったストーリーテリング形式の構築に取り組んでいると述べた。これにより、特定のキャラクターとの絆を育む可能性が低くなると彼は述べた。ペレラ氏によると、本日発表された新しいツールは、ユーザーが実在のキャラクターと架空のキャラクターを区別するのに役立つ（そしてボットのアドバイスを鵜呑みにしない）ようになるという。
TechCrunchがエンターテイメントと個人的な会話の分離について同社がどのように考えているか尋ねたところ、ペレラ氏は、特定のケースではAIとより個人的な会話をしても問題ないと述べた。例えば、親との難しい会話のリハーサルや、誰かにカミングアウトすることについて話すといったことだ。
「ある程度、こうしたことは良いことであり、あるいは良い方向へ進む可能性もあると思います。警戒すべき、そしてアルゴリズムにも警戒するように教えるべきなのは、ユーザーが本質的に問題のある、あるいは危険な方向に会話を進めている場合です。自傷行為はその最も分かりやすい例です」と彼は述べた。
同プラットフォームの信頼と安全担当責任者であるジェリー・ルオティ氏は、安全な会話空間の構築に注力していると強調した。合意のない性的コンテンツや性行為の露骨な描写といったトピックをブロックするため、分類システムを継続的に構築・更新していると述べた。
ストーリーテリングとエンターテインメントのためのプラットフォームとして位置づけられているにもかかわらず、Character AIのガードレールは、ユーザーによる個人的な会話を完全に防ぐことはできません。つまり、同社に残された唯一の選択肢は、深刻な事態を回避しつつ、潜在的に有害なコンテンツを識別できるようAIモデルを改良していくことなのです。
