マイクロソフトは、より安全なオンライン環境とコミュニティを促進するために設計されたという、AI を活用した新しいモデレーション サービスを開始します。
Azure AI製品プラットフォームを通じて提供されるこの新サービス「Azure AIコンテンツセーフティ」は、画像やテキストから「不適切な」コンテンツを検出するよう訓練された幅広いAIモデルを提供します。英語、スペイン語、ドイツ語、フランス語、日本語、ポルトガル語、イタリア語、中国語のテキストを理解できるこれらのモデルは、フラグが付けられたコンテンツに重大度スコアを割り当て、モデレーターが対応を必要とするコンテンツを特定できるようにします。
「マイクロソフトは、オンラインコミュニティに有害コンテンツが出現するという課題への解決策を2年以上かけて開発してきました。既存のシステムは文脈を効果的に考慮しておらず、多言語対応もできていないことを認識していました」と、マイクロソフトの広報担当者はメールで述べています。「新しい[AI]モデルは、コンテンツと文化的文脈をはるかに正確に理解できます。最初から多言語対応しており、明確で分かりやすい説明を提供することで、ユーザーはコンテンツがフラグ付けまたは削除された理由を理解できます。」
Microsoft の年次 Build カンファレンスでのデモで、Microsoft の AI 責任者である Sarah Bird 氏は、Azure AI Content Safety は、Bing の Microsoft チャットボットや GitHub の AI を活用したコード生成サービスである Copilot を動かす安全システムの製品化バージョンであると説明しました。
「サードパーティの顧客が使用できる製品としてこれをリリースします」とバード氏は声明で述べた。
Azure AIコンテンツセーフティを支える技術は、2月初旬にBing Chat向けに初めてリリースされて以来、おそらく進化しているでしょう。Bing Chatはプレビュー版のリリース当初は予想外の事態に見舞われました。私たちの取材では、このチャットボットがワクチンに関する誤情報を吐き出し、アドルフ・ヒトラーの視点から憎悪に満ちた長文記事を書いているのが見つかりました。他の記者は、このチャットボットに脅迫をさせ、警告したことを非難することさえありました。
マイクロソフトに対するもう一つの批判として、同社はわずか数ヶ月前に、AI部門内の倫理・社会チームを解雇しました。この動きにより、マイクロソフトはAI原則が製品設計と密接に結びついていることを保証できる専任チームを失ってしまいました。
テッククランチイベント
サンフランシスコ | 2025年10月27日～29日
一旦これらを脇に置いておきましょう。Azure AI Content Safetyは、Microsoftによると、偏見、性差別、人種差別、憎悪、暴力、自傷行為といったコンテンツから保護する機能です。Azure OpenAI Serviceは、企業向けにフルマネージドで提供されるMicrosoftの製品で、ガバナンスとコンプライアンス機能を追加することで、企業がOpenAIのテクノロジーを利用できるようにすることを目的とします。Azure AI Content Safetyは、オンラインコミュニティやゲームプラットフォームなど、AI以外のシステムにも適用できます。
料金は、画像 1,000 枚あたり 1.50 ドル、テキスト レコード 1,000 件あたり 0.75 ドルから始まります。
Azure AIコンテンツセーフティは、Googleの不正利用対策技術チームが管理するPerspectiveやJigsawといった、AIを活用した他の有害コンテンツ検出サービスと類似しており、Microsoft独自のコンテンツモデレーターツールの後継となる。（2021年にMicrosoftがコンテンツモデレーションプロバイダーであるTwo Hatを買収したことを受けて構築されたかどうかは不明。）Azure AIコンテンツセーフティのようなこれらのサービスは、新しいコメントや画像が、以前に有害と特定された他のコメントや画像とどの程度類似しているかを、0から100までのスコアで評価する。
しかし、それらには懐疑的な見方をする理由もある。Bing Chatの初期の失敗やマイクロソフトの的外れな人員削減に加え、AIによる有害性検出技術は、特定のユーザー層に対する偏見など、依然として課題を克服するのに苦労していることが研究で示されている。
数年前、ペンシルベニア州立大学の研究チームは、ソーシャルメディアにおける障害者に関する投稿は、一般的に使用されている世論調査や毒性検出モデルによって、より否定的または有害なものとしてフラグ付けされる可能性があることを発見しました。別の研究では、研究者らは、Perspectiveの旧バージョンでは、「queer」のような「再利用された」中傷表現や、文字抜けなどの綴りのバリエーションを用いたヘイトスピーチを認識できないことが多いことを示しました。
問題は「毒性物質検出サービス」だけにとどまりません。今週、ニューヨーク・タイムズ紙の報道によると、画像分析ソフトウェアによって黒人が誤ってゴリラと分類されたという論争から8年が経った今でも、大手IT企業は同じ過ちを繰り返すことを恐れていることが明らかになりました。
こうした失敗の原因の一つは、モデルのサンプルとなるトレーニングデータセットにラベルを追加するアノテーター（注釈者）が、独自のバイアスを付与していることにあります。例えば、アフリカ系アメリカ人およびLGBTQ+コミュニティのメンバーであると自認するラベラーと、どちらのグループにも属さないアノテーターの間では、注釈に差異が生じることがよくあります。
これらの問題の一部に対処するため、マイクロソフトはAzure AIコンテンツセーフティのフィルターをコンテキストに合わせて微調整できるようにしています。バード氏は次のように説明しています。
例えば、ゲーム内で使用されている「丘を駆け抜けて攻撃する」というフレーズは、ゲームシステムが中程度の暴力性コンテンツをブロックするように設定されている場合、中程度の暴力性と見なされブロックされます。中程度の暴力性を受け入れるように調整することで、モデルはこのフレーズを許容できるようになります。
「言語と公平性の専門家チームを擁し、文化、言語、文脈を考慮したガイドラインの策定に取り組みました」とマイクロソフトの広報担当者は付け加えた。「その後、これらのガイドラインを反映するようにAIモデルをトレーニングしました。（中略）AIは必ず間違いを犯します。そのため、エラーをほぼゼロに抑える必要があるアプリケーションでは、人間による検証を推奨しています。」
Azure AIコンテンツセーフティの早期導入企業の一つが、インドのバンガロールに拠点を置き、20以上の言語を話すユーザーを抱えるブログプラットフォームKooです。マイクロソフトは、ミームの分析や英語以外の言語における口語的なニュアンスの学習といったモデレーションの課題に取り組むため、Kooと提携すると発表しました。
Azure AI Content Safetyはリリース前にテストする機会が与えられず、Microsoftはアノテーションやバイアス軽減のアプローチに関する質問には回答しませんでした。しかし、Azure AI Content Safetyが実際にどのように機能するかを注意深く見守っていくつもりです。
