画面を読めるマイクロソフトのAIツール「Copilot Vision」がプレビュー版をリリース

画面を読めるマイクロソフトのAIツール「Copilot Vision」がプレビュー版をリリース

Microsoft の AI は、ユーザーの画面、つまりユーザーが閲覧している Web サイトを読み取ることができるようになりました。

同社は木曜日、Microsoft Edgeでアクセスしたサイトに関する質問を理解し、回答できるツール「Copilot Vision」の米国限定プレビュー版の提供を開始しました。実験的なAI機能のオプトインプログラムであるCopilot Labsの支援を受け、Copilot Visionはウェブページ上のテキストや画像を分析し、「このラザニアのレシピは?」といった質問に答えることができます。

Copilot Labs では、月額 20 ドルの Microsoft Copilot Pro プランのサブスクリプションが必要であることに注意してください。

Copilot Visionは質問に答えるだけでなく、テキストの要約や翻訳、店舗カタログでの割引商品のスポットライト表示といったタスクにも対応します。また、Chess.comでの対戦中にヒントを提供するなど、ゲームアシスタントとしても機能します。

「Copilot Visionを有効にすると、現在開いているページを認識し、一緒に読み上げ、直面している問題について一緒に話し合うことができます」と、MicrosoftはTechCrunchに共有されたブログ記事で述べています。「これは、Webを閲覧する際にAIを一緒に使う新しい方法で、いつでもEdgeブラウザの下部にすっきりと配置され、助けを求めることができます。」

マイクロソフト コパイロット ビジョン
画像クレジット: Microsoft

AIのプライバシーに関する失態によるさらなる悪評を避けたいマイクロソフトは、Copilot Visionがセッションごとにデータを削除することを強調している。処理された音声、画像、テキストは保存されず、モデルの学習にも使用されない、と同社は述べている。少なくとも今回のプレビュー版ではそうではない。

Copilot Visionは閲覧できるウェブサイトの種類も制限されています。Microsoftは現時点では、有料コンテンツや「センシティブ」なコンテンツではこの機能をブロックしており、Visionは事前に承認された「人気」サイトのリストのみを閲覧できるようになっています。

テッククランチイベント

サンフランシスコ | 2025年10月27日~29日

「センシティブ」とは具体的に何を意味するのでしょうか?ポルノ?暴力描写?マイクロソフトは何も言いませんでした。

「許可されるウェブサイトのリストは、カテゴリーごとに、またケースバイケースで決定されます」とマイクロソフトの広報担当者は述べた。「まずは徹底的にテストした少数のサイトから開始し、今後さらにサイトを追加していく予定です。」

マイクロソフトの慎重な姿勢は、報道機関との法廷闘争が一因となっている。進行中の訴訟の一つでは、ニューヨーク・タイムズ紙が、マイクロソフトがBingのコパイロット・チャットボットを通じてニューヨーク・タイムズ紙の記事を提供することで、ユーザーが同社の有料購読を回避できるようにしていると主張している。

多くの大手パブリッシャーは、データが許可なく使用されることを恐れるだけでなく、これらのツールによってサーバーコストが急騰するのを防ぐため、AIツールによるウェブサイトの閲覧をブロックすることを選択しています。マイクロソフトは、Copilot Visionは、ボットによるAIトレーニングのためのデータスクレイピングを禁止するルールなど、サイトの「AIに関する機械可読制御」を尊重すると述べています。しかし、同社は Visionが具体的にどの制御を尊重するかを明らかにしていません。すでに 複数の制御が採用されています。

現在の傾向が続くと、Copilot Visionはウェブ上の主要ニュースサイトの一部では機能しない可能性があります。しかし、マイクロソフトはパブリッシャーの懸念を和らげるために「フィードバックを受け入れる」ことに尽力していると述べています。

「私たちが協力している企業の中には、サードパーティのパブリッシャーもいます。彼らは、Visionをどのように活用すれば、人々がページ上でより効果的にエンゲージメントを高め、意思決定を行えるようになるかを理解する上で、私たちを助けてくれます」と、同社はブログに記している。「これらの意見は、Visionがウェブページとより効果的に連携できるよう設計する上で役立つでしょう。」

TechCrunchではAIに特化したニュースレターを配信しています!  毎週水曜日に受信ボックスに配信されますので、こちらからご登録ください。

カイル・ウィガーズは2025年6月までTechCrunchのAIエディターを務めていました。VentureBeatやDigital Trendsに加え、Android Police、Android Authority、Droid-Life、XDA-Developersといった様々なガジェットブログにも記事を寄稿しています。音楽療法士のパートナーとマンハッタンに在住。

バイオを見る