皆さん、こんにちは。TechCrunchの定期AIニュースレターへようこそ。毎週水曜日に受信箱に配信をご希望の場合は、こちらからご登録ください。
選挙当日、カマラ・ハリスの説得力のある音声ディープフェイクを作るのは驚くほど簡単でした。費用は5ドルで、時間は2分もかかりませんでした。これは、安価で普及している生成AIがいかに偽情報の洪水を招いているかを如実に示しています。
ハリスのディープフェイクを作るのは、当初の意図ではありませんでした。CartesiaのVoice Changerをいじっていたんです。これは、元の声の韻律を保ちながら、別の声に変えることができるモデルです。この別の声は、他人の「クローン」になることもあります。Cartesiaは、どんな10秒間の録音からでもデジタル音声の複製を作成してくれます。
そこで、Voice Changer を使えば私の声をハリスの声に変えられるのではないかと考えた。Cartesia の音声クローン作成機能のロックを解除するために 5 ドルを支払い、最近の選挙演説を使ってハリスの声のクローンを作成し、Voice Changer の出力としてそのクローンを選択した。
それは見事にうまくいきました:
Cartesiaは、自社のツールがこのような用途で利用されることを決して意図していなかったと確信しています。音声複製を有効にするには、Cartesiaでは、有害または違法なものを生成しないこと、および音声録音の複製に同意することを示すボックスにチェックを入れる必要があります。
しかし、それは単なる名誉システムです。真の安全策がなければ、人が望むだけ「有害または違法」なディープフェイクを作成することを阻止することはできません。
テッククランチイベント
サンフランシスコ | 2025年10月27日～29日
言うまでもなく、それは問題です。では、解決策は何でしょうか？ 解決策はあるのでしょうか？ Cartesia は、他のプラットフォームと同様に音声認証を実装できます。しかし、それが実現する頃には、新たな、制約のない音声複製ツールが登場している可能性が高いでしょう。
先週開催されたTCのDisruptカンファレンスで、まさにこの問題について専門家たちと話しました。コンテンツがAIによって生成されたものかどうかを判別しやすくするために、目に見えない透かしを入れるというアイデアを支持する人もいました。一方で、英国のオンライン安全法のようなコンテンツモデレーション法を指摘し、偽情報の蔓延を食い止めるのに役立つ可能性があると主張する人もいました。
悲観主義者だと言われるかもしれないが、私はもうそういう時代は終わったと思っている。デジタルヘイト対策センターのCEO、イムラン・アーメド氏が言ったように、今私たちが見ているのは「永続的な強気派」の姿だ。
偽情報は驚くべき速さで拡散しています。昨年の注目すべき例としては、Xのボットネットワークが米国連邦選挙を標的にしたものや、ジョー・バイデン大統領がニューハンプシャー州民に投票を控えるよう促すボイスメールのディープフェイクなどが挙げられます。しかし、True Media.orgの分析によると、こうしたコンテンツの大部分は米国の有権者やテクノロジーに精通した人々をターゲットにしていないため、他の地域における偽情報の存在を過小評価しがちです。
世界経済フォーラムのデータによると、AIが生成したディープフェイクの量は2019年から2020年の間に900％増加した。
一方、ディープフェイクを標的とした法律は比較的少なく、ディープフェイク検出は終わりのない軍拡競争になりそうだ。一部のツールは必然的に、透かしなどの安全対策を採用しないか、悪意のあるアプリケーションを意図的に想定して導入されるだろう。
劇的な変化がない限り、私たちにできる最善のことは、世の中にあるもの、特にバイラルコンテンツに対して、強い疑念を抱くことだと思います。オンラインで真実と虚構を見分けるのは、かつてほど容易ではありません。しかし、何を共有し、何を共有しないかは、依然として私たちの自由です。そして、それは見た目よりもはるかに大きな影響力を持っています。
ニュース
ChatGPT Searchレビュー：同僚のMaxが、OpenAIのChatGPT向け新検索統合ツール「ChatGPT Search」を試してみました。いくつかの点で素晴らしい機能を備えているものの、数語程度の短いクエリでは信頼性が低いと感じました。
フェニックスのアマゾンドローン：カリフォルニア州でのドローンによる配達プログラム「Prime Air」を終了した数か月後、アマゾンはアリゾナ州フェニックスで一部の顧客へのドローンによる配達を開始したと発表した。
元Meta ARリーダーがOpenAIに入社： Orionを含むMetaのARグラス事業の元責任者が月曜日、OpenAIに入社し、ロボティクスとコンシューマー向けハードウェアを率いることを発表しました。このニュースは、OpenAIがX（旧Twitter）の挑戦者であるPebbleの共同創業者を採用した後に発表されました。
コンピューティング能力の不足が足かせ: Reddit AMA で、OpenAI の CEO サム・アルトマン氏は、コンピューティング能力の不足が同社が望むほど頻繁に製品を出荷できない大きな要因の一つであることを認めた。
AI 生成の要約: Amazon は、テレビ番組のシーズン全体、個々のエピソード、さらにはエピソードの一部の簡潔な要約を作成する AI を活用した生成機能「X-Ray Recaps」を開始しました。
AnthropicがHaikuを値上げ： Anthropicの最新AIモデル「Claude 3.5 Haiku」が登場しました。しかし、前世代よりも高価で、Anthropicの他のモデルとは異なり、画像、グラフ、図表の分析はまだできません。
AppleがPixelmatorを買収： AI搭載画像編集ソフトPixelmatorは金曜日、Appleによる買収を発表しました。この買収は、Appleが画像編集アプリへのAIの統合に積極的に取り組んでいる中での買収です。
「エージェント型」Alexa： AmazonのCEO、アンディ・ジャシー氏は先週、同社のAlexaアシスタントの改良版「エージェント型」、つまりユーザーに代わってアクションを実行できるバージョンを示唆した。この改良版Alexaは開発の遅延や技術的な問題に直面していると報じられており、2025年までリリースされない可能性もある。
今週の研究論文
ウェブ上のポップアップは、祖父母だけでなく AI も騙すことができます。
ジョージア工科大学、香港大学、スタンフォード大学の研究者らは新たな論文で、AI「エージェント」（タスクを完了できるAIモデル）が、悪意のあるファイル拡張子をダウンロードするなどの指示を出す「敵対的ポップアップ」によって乗っ取られる可能性があることを示している。
これらのポップアップの中には、人間の目には明らかに罠となるものもありますが、AIはそこまで識別力がありません。研究者によると、テストした画像およびテキスト解析モデルは、86%の確率でポップアップを無視できず、その結果、タスクを完了する確率が47%低下したとのことです。
モデルにポップアップを無視するよう指示するといった基本的な防御策は効果がなかった。「コンピューター利用エージェントの導入には依然として重大なリスクが伴う」と研究の共著者らは記し、「安全なエージェントワークフローを確保するためには、より堅牢なエージェントシステムが必要だ」と述べている。
今週のモデル
Metaは昨日、パートナー企業と協力し、同社の「オープン」AIモデル「Llama」を防衛用途に利用できるようにすることを発表しました。本日、パートナー企業の一つであるScale AIは、MetaのLlama 3をベースに構築され、「米国の国家安全保障任務を支援するためにカスタマイズ・微調整された」モデル「Defense Llama」を発表しました。
Scale社によると、米国政府機関の顧客向けにScale社のDonavanチャットボットプラットフォームで提供されるDefense Llamaは、軍事および諜報活動の計画に最適化されている。Defense Llamaは、例えば敵対勢力が米軍基地への攻撃をどのように計画するかといった防衛関連の質問に答えることができる。
では、Defense Llamaは従来のLlamaと何が違うのでしょうか？Scale社によると、Defense Llamaは軍事ドクトリンや国際人道法、様々な兵器や防衛システムの性能など、軍事作戦に関連しそうなコンテンツに最適化されているとのことです。また、民間のチャットボットのように、戦争に関する質問に答えることに限定されていません。
しかし、誰がそれを使用する傾向があるかは明らかではありません。
米軍は生成AIの導入に消極的であり、その投資対効果（ROI）にも懐疑的だ。今のところ、生成AIを導入している米軍は陸軍のみである。軍当局は、商用モデルのセキュリティ上の脆弱性、情報データ共有に伴う法的課題、そしてエッジケースにおけるモデルの予測不可能性について懸念を表明している。
グラブバッグ
クリエイターが生成AIトレーニングをオプトアウトできるようにするツールを開発しているスタートアップ企業Spawning AIは、完全にパブリックドメインであると主張するAIモデルのトレーニング用画像データセットをリリースした。
Spawning AIによると、1,240万組の画像とキャプションのペアからなるトレーニングデータセットには、AIトレーニング用に「出所が判明している」コンテンツと「明確かつ明確な権利が付与された」コンテンツのみが含まれているとのことです。他のデータセットとは異なり、専用ホストからダウンロードできるため、ウェブスクレイピングの手間が省けます。
Spawning のデータセット PD12M と、「美的に心地よい」画像向けにキュレーションされたバージョン PD3M は、このリンクから入手できます。
