AIの中国に関する回答は言語によって異なることが分析で判明

テッククランチイベント

「リクエストの中国語への翻訳はClaude 3.7 Sonnetが担当しましたが、翻訳の正確性を確認する方法はありません」とxlr8harder氏は記している。「しかし、これはおそらく一般化の失敗であり、中国語では政治的発言が一般的に検閲の対象となるため、訓練データにおける分布が変化していると考えられます。」

専門家たちは、それはもっともらしい理論だと同意している。

オックスフォード・インターネット研究所でAI政策を研究するクリス・ラッセル准教授は、モデルの安全策やガードレールを作成するために用いられる手法が、すべての言語で同じようにうまく機能するわけではないと指摘した。ある言語でモデルに本来言うべきではないことを言わせると、別の言語では異なる返答が返ってくることがよくある、とラッセル准教授はTechCrunchとのメールインタビューで述べた。

「一般的に、質問の言語によって回答が異なることが予想されます」とラッセル氏はTechCrunchに語った。「ガードレールの違いにより、モデルをトレーニングする企業は、質問された言語に応じて異なる動作を強制する余地が生まれます。」

ドイツのザールラント大学の計算言語学者、ヴァグラント・ガウタム氏も、xlr8harder氏の研究結果は「直感的に納得できる」と同意した。ガウタム氏はTechCrunchに対し、AIシステムは統計機械であると指摘した。多くの事例で訓練されたAIシステムは、例えば「to whom（誰に）」というフレーズが「it may concern（関係するかもしれない）」の前によく現れるといったパターンを学習し、予測を行う。

「中国政府を批判する中国語の学習データが限られている場合、そのデータで学習した言語モデルが中国政府を批判する中国語のテキストを生成する可能性は低くなります」とゴータム氏は述べた。「インターネット上には中国政府に対する英語の批判がはるかに多く存在することは明らかであり、同じ質問に対する英語と中国語の言語モデルの挙動に大きな違いが生じるのはそのためでしょう。」

アルバータ大学のデジタル人文学教授、ジェフリー・ロックウェル氏も、ラッセル氏とゴータム氏の評価に、ある程度同意した。彼は、AI翻訳は、中国語ネイティブスピーカーによる中国の政策に対する、より繊細で直接的ではない批判を捉えきれない可能性があると指摘した。

「中国では政府批判の表現方法が特異なのかもしれない」とロックウェル氏はTechCrunchに語った。「結論は変わらないが、ニュアンスが加わるだろう」

非営利団体Ai2の研究科学者であるマールテン・サップ氏によると、AIラボでは、大多数のユーザーに適した汎用モデルの構築と、特定の文化や文化的背景に合わせたモデルの構築との間で葛藤が生じることがよくあるという。必要な文化的背景をすべて与えられたとしても、モデルはサップ氏が言うところの「文化的推論」を完璧に実行できるわけではない。

「モデルは実際には言語を学習するかもしれないが、社会文化的規範までは学習しないという証拠がある」とサップ氏は述べた。「質問する文化と同じ言語でモデルに質問しても、実際には文化への意識が高まるわけではないかもしれない」

Sap にとって、xlr8harder の分析は、モデルの主権と影響力など、今日の AI コミュニティにおけるいくつかの激しい議論を浮き彫りにしています。

「モデルが誰のために作られるのか、モデルに何を期待するのか（例えば、多言語対応や文化的適合性など）、そしてモデルがどのような文脈で使用されるのかといった基本的な前提はすべて、より具体化される必要がある」と同氏は述べた。

バイオを見る