最新 GPU の購入を奨励することに熱心な Nvidia は、GeForce RTX 30 シリーズおよび 40 シリーズ カードの所有者が Windows PC 上で AI 搭載チャットボットをオフラインで実行できるようにするツールをリリースしています。
「Chat with RTX」と呼ばれるこのツールを使用すると、ユーザーはクエリを実行できるドキュメント、ファイル、メモに接続することで、OpenAI の ChatGPT に沿って GenAI モデルをカスタマイズできます。
「メモや保存したコンテンツを検索する代わりに、ユーザーはクエリを入力するだけで済みます」とNvidiaはブログ記事に記しています。「例えば、『ラスベガスでパートナーが勧めてくれたレストランはどこだった？』と尋ねると、Chat with RTXはユーザーが指定したローカルファイルをスキャンし、文脈に沿った回答を提供します。」
Chat with RTX は、AI スタートアップ Mistral のオープンソース モデルをデフォルトとしていますが、Meta の Llama 2 など、他のテキストベースのモデルもサポートしています。Nvidia は、必要なファイルをすべてダウンロードすると、選択したモデルに応じて 50 GB から 100 GB というかなりの量のストレージが消費されると警告しています。
現在、Chat with RTXはテキスト、PDF、.doc、.docx、.xml形式に対応しています。サポートされているファイルを含むフォルダをアプリに指定すると、それらのファイルがモデルの微調整データセットに読み込まれます。さらに、Chat with RTXはYouTubeプレイリストのURLを取得してプレイリスト内の動画の文字起こしを読み込むことができるため、選択されたモデルはそれらのコンテンツを照会できます。
さて、念頭に置いておくべき制限がいくつかありますが、Nvidia はそれをハウツー ガイドで概説しています。
Chat with RTXは文脈を記憶できないため、アプリは追加の質問に答える際に以前の質問を考慮しません。例えば、「北米でよく見られる鳥は何ですか？」と質問し、その後「その色は何ですか？」と続けて質問した場合、Chat with RTXはあなたが鳥について話していることを認識できません。
テッククランチイベント
サンフランシスコ | 2025年10月27日～29日
NVIDIAは、アプリの応答の関連性は、質問の表現、選択されたモデルのパフォーマンス、微調整データセットのサイズなど、制御しやすい要因とそうでない要因を含む様々な要因によって影響を受ける可能性があることを認めています。複数の文書で網羅されている事実を尋ねる方が、文書または文書セットの要約を尋ねるよりも良い結果が得られる可能性が高くなります。また、データセットが大きいほど応答品質は一般的に向上し、Chat with RTXを特定の主題に関するより多くのコンテンツに向けることも同様に向上するとNVIDIAは述べています。
つまり、Chat with RTXは実稼働での使用を想定したものではなく、あくまでもおもちゃのようなものと言えるでしょう。とはいえ、AIモデルをローカルで簡単に実行できるアプリには一定のメリットがあり、これは近年ますます増加傾向にあります。
世界経済フォーラムは最近のレポートで、PC、スマートフォン、IoTデバイス、ネットワーク機器など、GenAIモデルをオフラインで実行できる手頃な価格のデバイスが「劇的に」増加すると予測しました。WEFによると、その理由は明らかな利点にあります。オフラインモデルは本質的にプライバシーが高い（処理するデータが実行デバイスから外に出ることはない）だけでなく、クラウドホスト型モデルよりもレイテンシが低く、コスト効率に優れています。
もちろん、モデルの実行と学習のためのツールを民主化することは、悪意のある行為者にとっての扉を開くことになります。Googleでざっと検索するだけで、悪質なウェブ上の隅々から集められた有害なコンテンツに合わせて微調整されたモデルのリストが多数表示されます。しかし、「Chat with RTX」のようなアプリの支持者は、メリットがデメリットを上回ると主張しています。今後の展開を見守るしかありません。
カイル・ウィガーズは2025年6月までTechCrunchのAIエディターを務めていました。VentureBeatやDigital Trendsに加え、Android Police、Android Authority、Droid-Life、XDA-Developersといった様々なガジェットブログにも記事を寄稿しています。音楽療法士のパートナーとマンハッタンに在住。
バイオを見る
