OpenAI の ChatGPT は、コンピューター上の他のアプリと連携し始めています。
同社は木曜日、macOS用のChatGPTデスクトップアプリが、VS Code、Xcode、TextEdit、Terminal、iTerm2など、開発者向けのコーディングアプリでコードを読み取れるようになったと発表した。
これにより、開発者はChatGPTにコードをコピー＆ペーストする必要がなくなります。これはチャットボットの一般的な使い方となっています。この機能を有効にすると、OpenAIは作業中のコードセクションをプロンプトと共にコンテキストとしてチャットボットに自動的に送信します。
ただし、Cursor や GitHub Copilot などの一般的な AI コーディング ツールとは異なり、ChatGPT は現在、ユーザーに代わって開発者アプリに直接コードを書き込むことはできません。
「Work with Apps（アプリとの連携）」と呼ばれるこの機能は、AIエージェントとは程遠いものですが、OpenAIはChatGPTに他のアプリを理解させることが、エージェントシステム構築に向けた「重要な構成要素」であると述べています。現在、AIエージェントが直面している最大の課題の一つは、プロンプトやエージェント自身の応答ではなく、コンピューター画面の残りの部分を理解させることです。
OpenAIは、この機能をまずコーディングアプリに重点的に導入すると発表しています。これは、AIコーディングアシスタントがLLMの最も人気のあるユースケースの一つとして急成長していることが理由と考えられます。この機能は現在、PlusおよびTeamsユーザーに提供されており、今後数週間以内にEnterpriseおよびEduにも展開される予定です。OpenAIによると、ChatGPTは今後、他の種類のアプリ、特にライティングタスクに使用できるテキストベースのアプリでも動作できるようになる予定です。
TechCrunchのデモでは、OpenAIの従業員がChatGPTアプリとXcode環境を開き、太陽系をモデリングするシンプルなプロジェクト（ただし地球は含まれていません）を作成した。従業員はChatGPT内のXcodeタブを選択し、AIチャットボットにアプリを参照するよう指示し、「不足している惑星を追加」するよう指示した。チャットボットはタスクを完了し、プロジェクトの残りのフォーマットと一致する地球を表すコード行を記述した。ただし、ChatGPTの回答を環境に貼り付ける作業は残っていた。
テッククランチイベント
サンフランシスコ | 2025年10月27日～29日
OpenAIのデスクトップ製品リーダーであるアレクサンダー・エンビリコス氏によると、OpenAIは様々なアプリを読み込むために、主にmacOSのアクセシビリティAPIを利用してテキストを読み取り、ChatGPTに変換しているという。macOSのスクリーンリーダーはAppleのVoiceOver機能の基盤となっており、20年近く前から存在している。一般的なアプリのほとんどでは非常に信頼性が高いと考えられているが、すべてのアプリで使えるわけではない。
MicrosoftのVS Codeなど、一部のアプリでは、Work with Appsを利用するために特別な拡張機能をインストールする必要があります。また、その名の通り、Appleのスクリーンリーダーはテキストしか読み取れないため、ChatGPTが写真、オブジェクトの向き、動画などの視覚要素を理解するのを支援することはできません。
Work with Appsは、特定のアプリのすべてのプロンプトと共に、最後の200行のコードをChatGPTに送信します。他のアプリの場合は、最前面のウィンドウにあるすべてのコードがチャットボットの入力として使用されます。ChatGPTがプロジェクトの適切な部分に焦点を絞れるように、コードやテキストの一部をハイライト表示できますが、ChatGPTはその周囲のテキストも含めます。これらを見ると、多くの入力トークンを使用するように見えます。
OpenAIがこの機能を、Appleのスクリーンリーダーと互換性のない他のアプリにどのように展開していく予定なのかは不明です。OpenAIの競合企業の一つであるAnthropicは、ユーザーのデスクトップのスクリーンショットを分析して他のアプリを理解し、使用するAIシステムをリリースしました。率直に言って、Anthropicのアプローチは現状では改善の余地が大いにあります。動作が遅く、ミスも多いのです。しかしながら、これはAPIに依存せず、別のウィンドウでテキストを読み上げる以上の機能を持つ、より汎用性の高いAIエージェントです。
「これはエージェントとしてではなく、まずはコーディングツールと連携するための手段です。今後、さらに多くのツールが登場する予定です」と、エンビリコス氏はTechCrunchとのブリーフィングで述べた。「エージェント側から見ると、これは非常に重要な構成要素になると思います。ChatGPTがユーザーのあらゆるコンテンツを理解し、あるいは操作することで、そのサポートを行えるというアイデアです。」
ブルームバーグによると、OpenAIが汎用AIエージェント（コードネーム「Operator」）のリリースを間近に控えているという最近の報道を踏まえると、エージェント開発に向けたこの一歩は特に注目に値する。このツールは2025年初頭のリリースが予定されており、AnthropicのComputer useやGoogleが発表したとされる「Jarvis」エージェントなど、汎用AIエージェントの初期の試みに匹敵することになるだろう。
OpenAIは、Appleが12月にChatGPTとの連携を開始する直前に、これらの機能をmacOSで初めてリリースします。OpenAIの最大の支援者であるMicrosoftが開発したオペレーティングシステムであるWindowsにWork with Appsがいつ導入されるかは不明です。
マックスウェル・ゼフは、TechCrunchのAI専門シニアレポーターです。以前はGizmodo、Bloomberg、MSNBCでAIの台頭やシリコンバレーの銀行危機などを取材してきました。サンフランシスコを拠点としています。取材以外の時間は、ハイキング、サイクリング、ベイエリアのグルメ巡りを楽しんでいます。
Maxwell からの連絡を確認したり連絡を受けたりする場合は、[email protected]にメールを送信するか、Signal の mzeff.88 に暗号化されたメッセージを送信してください。
バイオを見る
