GoogleはGemini AIのおかげで、動画を使った検索を実験している

Googleは既に、TikTokやInstagramなどの動画プラットフォームが、特に若いZ世代のユーザー層において、自社のコア検索製品を侵食していることを認めています。そして今、Gemini AIを活用し、Google検索における動画検索のより大きな役割を担うことを目指しています。火曜日に開催された開発者会議「Google I/O 2024」において、Googleはユーザーがアップロードした動画とテキストクエリを組み合わせて検索を行い、AIが必要な回答を概観できるようになると発表しました。

この機能は当初、米国のユーザー向けに Search Labs で英語版の実験として提供される予定です。

このマルチモーダル機能は、ユーザーがビジュアル検索にテキストを追加できる既存の検索機能を基盤としています。2021年に初めて導入された、写真とテキストを組み合わせた検索機能は、Googleが通常苦手とする領域、例えば、探しているものに説明が難しい視覚的要素がある場合や、複数の方法で説明できる場合などに役立っています。例えば、Google検索で気に入ったシャツの写真を表示し、Googleレンズを使って同じ柄の靴下を見つけるといったことが、当時Googleが提案していました。

今回、動画検索機能を追加したことで、同社はユーザー、特に若いユーザーがスマートフォンを通して世界とどのように関わっているかという点に着目しました。彼らは写真ではなく動画を撮影することが多く、動画を使って創造的に自己表現もします。ですから、彼らが時折、動画を使って検索したいと考えるのも当然と言えるでしょう。

この機能では、ユーザーが動画をアップロードし、質問をすることで検索クエリを作成できます。デモでは、Googleは壊れたレコードプレーヤーのアームがレコードから外れてしまう動画を披露しました。クエリには、問題のある動画と「なぜアームが外れてしまうのですか？」という質問（アームを指して）が含まれていました。すると、GoogleのGemini AIが動画をフレームごとに分析し、何を見ているのかを理解し、AIが問題の解決方法に関するヒントを概観的に提示します。

さらに詳しく知りたい場合は、ディスカッション フォーラムへのリンクもあります。また、ターンテーブルのアームのバランスを再調整する方法に関するビデオを視聴することもできます。

Google は、Google 検索クエリと組み合わせてビデオ コンテンツを理解するこの機能のデモを行いましたが、これは、携帯電話上のビデオ、Google フォトなどのプライベート クラウド ストレージにアップロードされたビデオ、YouTube で公開されているビデオを理解するなど、他の領域にも影響を及ぼします。