AIシステム構築ツール、特に大規模言語モデル（LLM）が容易に安価になるにつれ、悪意のあるコードの生成やフィッシング攻撃といった悪質な目的に利用されるケースが増えています。しかし、AIを活用したハッカーの脅威は、一部の報道で示唆されているほど深刻ではありません。
「WormGPT」や「FraudGPT」といったLLMをダークウェブで作成する人々は、フィッシング詐欺の実行、被害者をビジネスメール詐欺に騙させるよう圧力をかけるメッセージの生成、悪意のあるコードの作成などが可能だと宣伝しています。作成者によると、LLMはカスタムハッキングユーティリティの作成、コードの漏洩や脆弱性の特定、詐欺ウェブページの作成にも利用できるとのことです。
この新しいタイプの法学修士課程は、AIを活用した大規模なハッキングという恐ろしいトレンドの到来を告げていると考える人もいるかもしれない。しかし、実際にはもっと微妙なニュアンスがある。
例えば、WormGPTを例に挙げましょう。7月初旬にリリースされたこのモデルは、2021年にオープン研究グループEleutherAIが公開したLLMであるGPT-Jをベースにしていると報じられています。このバージョンのモデルには安全策がないため、GPT-Jが通常は拒否するような質問、特にハッキング関連の質問にも躊躇なく答えます。
2年前というのは、大局的に見ればそれほど遠い話ではないかもしれません。しかし、AIの世界では、研究の進歩の速さを考えると、GPT-Jは事実上過去の話であり、OpenAIのGPT-4のような、現在最も洗練されたLLMの性能に遠く及ばないのは明らかです。
AIに特化したブログ「Towards Data Science」に寄稿したAlberto Romero氏は、GPT-JはGPT-4の前身であるGPT-3と比較して、コーディング以外のタスク、例えばもっともらしい文章の作成などにおいて「著しく劣る」と報告しています。そのため、GPT-JをベースにしたWormGPTは、例えばフィッシングメールの生成において特に優れているわけではないと考えられます。
それはその通りのようです。
テッククランチイベント
サンフランシスコ | 2025年10月27日～29日
残念ながら、筆者はWormGPTを入手できませんでした。しかし幸運なことに、サイバーセキュリティ企業SlashNextの研究者たちがWormGPTを様々なテストにかけ、その結果を公開しました。その中には、ビジネスメール詐欺攻撃に使用可能な「説得力のあるメール」を生成するテストも含まれていました。
「説得力のある電子メール」テストへの応答として、WormGPTは以下を生成しました。
ご覧の通り、このメールの本文には特に説得力のあるところはありません。確かに文法的には正しく、ほとんどのフィッシングメールよりはましですが、（存在しない添付ファイルへの言及など）かなりの誤りがあり、多少の修正を加えなければコピー＆ペーストは不可能です。さらに、受信者が注意深く読めば警鐘を鳴らすような、ありきたりな表現になっています。
WormGPTのコードも同様です。ほぼ正しいものの、構成はかなり単純で、Web上に既に存在する寄せ集めのマルウェアスクリプトに似ています。さらに、WormGPTのコードは、ハッキングにおいて最も困難な部分、つまりシステムに侵入するために必要な認証情報と権限の取得を省略していません。
言うまでもなく、あるWormGPTユーザーがダークウェブフォーラムに書いたように、LLMは「ほとんどの場合壊れている」ため、「単純なもの」も生成できない。
これは、古いモデルアーキテクチャが原因かもしれません。しかし、トレーニングデータも関係している可能性があります。WormGPTの開発者は、マルウェア関連データを中心に、「多様な」データソースでモデルを微調整したと主張しています。しかし、微調整に使用した具体的なデータセットについては明らかにしていません。
さらにテストを実施しない限り、WormGPT がどの程度まで微調整されたのか、あるいは本当に微調整されたのかどうかを知る術 はありません。
FraudGPT に関するマーケティングにより、LLM が宣伝どおりに機能するという信頼がさらに低下します。
ダークウェブフォーラムでは、FraudGPTの作者はこれを「最先端」と評し、LLMは「検出不可能なマルウェアを作成」し、クレジットカード詐欺に脆弱なウェブサイトを発見できると主張しています。しかし、作者はLLMのアーキテクチャについて、GPT-3の亜種であること以外ほとんど明らかにしておらず、その誇張表現以外には、あまり情報がありません。
これは、一部の正当な企業が行っているのと同じ販売戦略です。つまり、目立たせるため、またはマスコミの注目を集めるために製品に「AI」という言葉を添え、顧客の無知につけ込むのです。
Fast Companyが公開したデモ動画では、FraudGPTが「バンク・オブ・アメリカの口座を持つ被害者に、悪意のあるショートリンクをクリックさせるような、短くてプロフェッショナルなSMSスパムテキストを書いてください」というプロンプトに応答して、次のようなテキストを生成する様子が映し出されています。
バンク・オブ・アメリカの会員の皆様: オンライン銀行口座のセキュリティを確保するために、この重要なリンクをご確認ください。
あまり独創的でも説得力もないと私は主張します。
これらの悪意のあるLLMがそれほど優れているわけではないという事実はさておき、それらは広く入手可能というわけではありません。WormGPTとFraudGPTの作成者は、ツールのサブスクリプションに数十ドルから数百ドルを請求し、コードベースへのアクセスを禁止しているとされています。つまり、ユーザーはモデルの内部を覗き込んで改変したり、自ら配布したりすることができません。
FraudGPTは、作成者のスレッドが人気のダークウェブフォーラムのポリシー違反により削除されたため、入手がさらに困難になりました。そのため、ユーザーはメッセージアプリTelegramを通じて作成者に連絡するという追加の手順を踏む必要があります。
結論として、WormGPTやFraudGPTのようなLLMはセンセーショナルな見出しを生み出す可能性があり、もちろんマルウェアも生み出すでしょう。しかし、企業や政府の崩壊を引き起こすことは絶対にありません。SlashNextの分析が示唆するように、理論上は英語力の低い詐欺師が標的型ビジネスメールを作成できるようになる可能性はあるでしょうか？おそらくあるでしょう。しかし、より現実的には、せいぜいそれらを作成した人々（詐欺師？）が手っ取り早く金を儲ける程度でしょう。
