Googleが昨日のI/Oカンファレンスでデモを行った機能は、生成AI技術を用いて音声通話をリアルタイムでスキャンし、金融詐欺に関連する会話パターンを検出するというものだが、プライバシーとセキュリティの専門家たちは、この機能がまだほんの一部に過ぎないと警告し、一様に戦慄している。クライアント側でのスキャンがモバイルインフラに組み込まれれば、中央集権的な検閲の時代が到来する可能性があると彼らは警告している。
グーグルが行った詐欺電話検出機能のデモは、世界のスマートフォンの約4分の3で稼働すると推定される同社のAndroid OSの将来のバージョンに組み込まれる予定で、デバイス上で完全に稼働することを目的とした現世代のAIモデルの中で最小のGemini Nanoを搭載している。
これは本質的にはクライアント側のスキャンです。これは、児童性的虐待コンテンツ（CSAM）やメッセージング プラットフォーム上のグルーミング行為を検出するための取り組みに関連して、近年大きな論争を巻き起こしている新興技術です。
Appleは、プライバシーに関する大きな反発を受け、2021年にCSAM向けのクライアント側スキャンを導入する計画を断念しました。しかし、政策立案者たちは、テクノロジー業界に対し、プラットフォーム上で行われる違法行為を検出する手段を見つけるよう、引き続き圧力をかけています。そのため、デバイス上でのスキャンインフラ構築に向けた業界のあらゆる動きは、政府主導のものであろうと特定の商業目的のものであろうと、あらゆる種類のコンテンツスキャンがデフォルトで行われるようになる道を開く可能性があります。
米国を拠点とする暗号化メッセージアプリSignalの社長、メレディス・ウィテカー氏は、Xへの投稿でGoogleの通話スキャンデモに対し、「これは非常に危険です。デバイスレベルで集中管理されたクライアントサイドスキャンへの道を開くものです」と警告した。
「『詐欺』の検出から、『生殖医療を求める際によく見られるパターンの検出』や『LGBTQリソースの提供によく見られるパターンの検出』、あるいは『技術系従業員の内部告発によく見られるパターンの検出』へと進むのは簡単です。」
ジョンズ・ホプキンス大学の暗号学専門家マシュー・グリーン教授もXで警鐘を鳴らした。「将来的には、AIモデルがテキストメッセージや音声通話を推論し、不正行為を検知・報告するようになるだろう」とグリーン教授は警告した。「データをサービスプロバイダーに渡すには、スキャンが行われたことを示すゼロ知識証明を添付する必要がある。これにより、オープンクライアントがブロックされることになる」
テッククランチイベント
サンフランシスコ | 2025年10月27日～29日
グリーン氏は、検閲がデフォルトとなるこのディストピア的な未来は、技術的に実現可能になるまであと数年だと示唆した。「この技術が実現できるほど効率的になるまでには、まだ少し時間がかかるでしょうが、それはほんの数年、せいぜい10年程度でしょう」と彼は示唆した。
欧州のプライバシーとセキュリティの専門家たちもすぐに反対した。
ポーランドを拠点とするプライバシーとセキュリティ問題の独立研究者兼コンサルタントであるルカス・オレニク氏は、GoogleのXでのデモに反応し、同社の詐欺対策機能を歓迎する一方で、このインフラがソーシャル監視に転用される可能性があると警告した。「これはまた、通話、創作、テキストや文書の作成を監視するための技術的機能が既に開発されている、あるいは開発中であることを意味します。例えば、違法、有害、憎悪、あるいは誰かの基準に照らして好ましくない、あるいは不道徳なコンテンツを探すためです」とオレニク氏は記している。
「さらに、このようなモデルは、例えば警告を表示したり、続行をブロックしたりすることも可能です」とオレニク氏は力説した。「あるいは、どこかに報告したり。社会行動の技術的変調など。これはプライバシーに対する大きな脅威であるだけでなく、様々な基本的価値観や自由に対する脅威でもあります。そうした機能は既に存在しています。」
オレニク氏は懸念事項をさらに具体化するため、TechCrunchに対し次のように語った。「技術的な詳細は確認していませんが、Googleは検出はデバイス上で行われると保証しています。これはユーザーのプライバシーにとって素晴らしいことです。しかし、プライバシー以外にも多くのリスクが存在します。これは、ソフトウェアやオペレーティングシステムに組み込まれたAI/LLMが、様々な形態の人間の活動を検知または制御するために利用される可能性があることを浮き彫りにしています。」
これは、ソフトウェアやオペレーティング システムに組み込まれた AI/LLM が、さまざまな形態の人間の活動を検出したり制御したりするためにどのように活用できるかを示しています。
ルカス・オレニク
「今のところは幸いなことに状況は好転しています。しかし、もし技術的能力が存在し、それが組み込まれていたら、今後どうなるでしょうか？ このような強力な機能は、AIを用いて社会の行動を大規模に、あるいは選択的に制御する能力に関連する、将来の潜在的なリスクを示唆しています。これはおそらく、これまでに開発された情報技術能力の中で最も危険なものの一つでしょう。そして、私たちはまさにその段階に近づいています。私たちはこれをどのように管理するのでしょうか？ 行き過ぎているのではないでしょうか？」
ロンドン大学ロンドン校（UCL）の技術法准教授マイケル・ヴィール氏も、グーグルの会話スキャンAIがもたらす機能拡張の恐ろしい脅威を指摘し、Xへの反応投稿で「このAIは、これ以外の目的でデバイス上のクライアント側スキャンのインフラを構築するものであり、規制当局や立法府はこれを悪用したがるだろう」と警告した。
欧州のプライバシー専門家が懸念するのには特別な理由がある。欧州連合（EU）は2022年以来、物議を醸しているメッセージスキャン法案を提出しており、EUのデータ保護監督官を含む批評家は、この法案はプラットフォームにデフォルトでプライベートメッセージをスキャンすることを強制するものであるため、この地域の民主的権利にとっての転換点となると警告している。
現在の法案は技術に依存しないと主張しているが、そのような法律が制定されれば、プラットフォームがクライアント側のスキャンを導入し、既知と未知の両方の CSAM を見つけ、グルーミング活動をリアルタイムで検出することを要求する、いわゆる検出命令に対応できるようになると広く予想されている。
今月初め、何百人ものプライバシーおよびセキュリティの専門家が公開書簡を書き、法的命令に応じてプラットフォームが導入する可能性のあるクライアント側のスキャン技術は実証されておらず、重大な欠陥があり、攻撃に対して脆弱であるため、この計画により1日あたり数百万件の誤検知が発生する可能性があると警告した。
会話をスキャンするAIが人々のプライバシーを侵害する可能性があるという懸念について、Googleに回答を求めたが、記事執筆時点では回答がなかった。
AIニュースレターを始めます！6月5日から受信ボックスに配信を開始するには、こちらからご登録ください。
ナターシャは2012年9月から2025年4月まで、ヨーロッパを拠点とするTechCrunchのシニアレポーターを務めていました。CNET UKでスマートフォンレビューを担当した後、TechCrunchに入社しました。それ以前は、silicon.com（現在はTechRepublicに統合）で5年以上ビジネステクノロジーを担当し、モバイルとワイヤレス、通信とネットワーク、ITスキルに関する記事を主に執筆しました。また、ガーディアン紙やBBCなどのフリーランスとして活動した経験もあります。ケンブリッジ大学で英語学の優等学位を取得し、ロンドン大学ゴールドスミス・カレッジでジャーナリズムの修士号を取得しています。
バイオを見る
