調査によると、2026 年までに企業の 80% 以上が生成 AI モデル、API、またはアプリケーションを活用するようになり、現在は 5% 未満となっています。
この急速な導入は、サイバーセキュリティ、倫理、プライバシー、そしてリスク管理に関する新たな考慮事項を生じさせています。現在、生成AIを活用している企業のうち、サイバーセキュリティリスクを軽減しているのはわずか38%、モデルの不正確さへの対処に取り組んでいるのはわずか32%です。
セキュリティ専門家や起業家との会話では、主に次の 3 つの要素に焦点が当てられました。
- 企業における生成型AIの導入は、過剰な権限アクセスなど、セキュリティ上の課題にさらなる複雑さをもたらします。例えば、従来のデータ損失防止ツールはAIアプリケーションへのデータフローを効果的に監視・制御しますが、非構造化データや、倫理規則やプロンプト内の偏ったコンテンツといったより微妙な要素には対応できないことがよくあります。
- GenAIの様々なセキュリティ製品に対する市場の需要は、ROIの可能性と、アプリケーションが適用されるユースケースに内在するセキュリティ脆弱性との間のトレードオフに密接に結びついています。この機会とリスクのバランスは、AIインフラ標準の継続的な発展と規制環境の変化に応じて変化し続けています。
- 従来のソフトウェアと同様に、生成AIはアーキテクチャのあらゆるレベル、特にコアインターフェース、アプリケーション、データ層でセキュリティを確保する必要があります。以下は、テクノロジースタック内の様々なセキュリティ製品カテゴリーのスナップショットであり、セキュリティリーダーがROIとリスクの可能性を高く認識している領域に焦点を当てています。
インターフェース層: 使いやすさとセキュリティのバランス
企業は、顧客対応チャットボット、特に業界や企業固有のデータに基づいてトレーニングされたカスタマイズされたモデルを活用することに大きな可能性を見出しています。ユーザーインターフェースは、モデルの応答や動作を操作することを目的としたインジェクション攻撃の一種であるプロンプトインジェクションの影響を受けやすいです。
さらに、最高情報セキュリティ責任者（CISO）やセキュリティリーダーは、組織内でGenAIアプリケーションを導入するよう、ますますプレッシャーを感じています。企業のコンシューマライゼーションは継続的なトレンドですが、ChatGPTのようなテクノロジーの急速かつ広範な導入は、職場での活用に向けた従業員主導のかつてないほどの推進力となっています。
GenAIチャットボットの普及に伴い、ユーザーエクスペリエンスを損なうことなく、入力とそれに対応する出力を大規模かつ正確かつ迅速に傍受、レビュー、検証する能力が重要になります。既存のデータセキュリティツールは、多くの場合、事前設定されたルールに依存しており、誤検知が発生しています。Protect AIのRebuffやHarmonic Securityなどのツールは、AIモデルを活用して、GenAIアプリケーションを通過するデータが機密情報であるかどうかを動的に判断します。
テッククランチイベント
サンフランシスコ | 2025年10月27日～29日
GenAIツールは本質的に非決定論的な性質を持つため、セキュリティベンダーはモデルの想定される動作を理解し、個人識別情報（PII）や知的財産など、保護対象となるデータの種類に応じて対応を調整する必要があります。GenAIアプリケーションは金融、運輸、医療など特定の業界に特化していることが多いため、これらの対応はユースケースによって大きく異なる可能性があります。
ネットワークセキュリティ市場と同様に、このセグメントも最終的には複数のベンダーが参入する可能性があります。しかし、この大きなチャンスのある分野では、当初は新規参入企業の間でブランド認知度と差別化を確立するための競争が激化すると予想されます。
アプリケーション層: 進化するエンタープライズ環境
生成AIプロセスは、高度な入出力ダイナミクスを前提としています。しかし同時に、運用上の敵対的攻撃、意思決定バイアス、意思決定プロセスの追跡といった、モデルの整合性に対する脅威にも直面しています。オープンソースモデルは、コラボレーションと透明性の恩恵を受けますが、モデル評価と説明可能性の課題に対して、より脆弱になる可能性があります。
セキュリティリーダーは、MLモデルと関連ソフトウェアの安全性検証への投資に大きな可能性を見出していますが、アプリケーション層は依然として不確実性に直面しています。既存のテクノロジー企業以外では、エンタープライズAIインフラストラクチャの成熟度は比較的低いため、MLチームは現在、ミスアライメントやその他の重要な機能のテストに、主にAmazon SageMakerなどの既存のツールとワークフローに依存しています。
長期的には、モデルパイプラインの複雑さやマルチモデル推論によって攻撃対象領域が拡大する中で、アプリケーション層がスタンドアロンのAIセキュリティプラットフォームの基盤となる可能性があります。HiddenLayerのような企業は、オープンソースの機械学習モデルや関連ソフトウェア向けの検知・対応機能を提供しています。また、Calypso AIのような企業は、機械学習モデルの堅牢性と精度をストレステストするためのテストフレームワークを開発しています。
テクノロジーは、モデルが管理された枠組みの中で微調整され、訓練されることを保証するのに役立ちますが、この状況を形成する上で規制が重要な役割を果たす可能性が高いでしょう。アルゴリズム取引における独自モデルは、2007～2008年の金融危機以降、広範な規制の対象となりました。生成型AIアプリケーションは様々な機能とそれに伴うリスクを伴う一方で、倫理的配慮、誤情報、プライバシー、知的財産権への広範な影響が、規制当局の精査の対象となっています。規制当局による初期の取り組みとしては、欧州連合のAI法やバイデン政権のAIに関する大統領令などが挙げられます。
データ層: 安全な基盤の構築
データ層は、機械学習モデルの学習、テスト、運用の基盤です。過去1年間で基礎的な法務・法務（LLM）が目覚ましい進歩を遂げたにもかかわらず、生成AI企業にとって、モデルだけでなく独自のデータも中核資産とみなされています。
生成AIアプリケーションは、意図的・非意図的を問わずデータポイズニングや、主にベクターデータベースやサードパーティ製AIモデルにリンクされたプラグインを介したデータ漏洩といった脅威に対して脆弱です。データポイズニングや漏洩に関するいくつかの注目すべき出来事があったにもかかわらず、私が話をしたセキュリティリーダーたちは、インターフェース層やアプリケーション層と比較して、データ層を短期的なリスク領域とは認識していませんでした。むしろ、彼らはGenAIアプリケーションへのデータ入力を、Google検索やDropboxへのファイル保存のような標準的なSaaSアプリケーションに例えることが多かったのです。
初期の調査では、データ汚染攻撃はこれまで考えられていたよりも簡単に実行でき、数百万のデータポイントではなく 100 個未満の強力なサンプルが必要になる可能性があることが示唆されているため、この状況は変わる可能性があります。
現時点では、データに関するより差し迫った懸念はインターフェース層、特にMicrosoft Copilotのようなツールによるデータのインデックス作成と取得機能に関するものでした。こうしたツールは既存のデータアクセス制限を尊重しますが、検索機能はユーザー権限と過剰なアクセスの管理を複雑化させます。
生成AIの統合は複雑さをさらに増し、データの起源を遡って追跡することが困難になります。データセキュリティポスチャ管理などのソリューションは、データの検出、分類、アクセス制御に役立ちます。しかし、適切なテクノロジー、ポリシー、プロセスを確実に導入するには、セキュリティチームとITチームの多大な労力が必要です。
AIファーストの世界では、モデルのトレーニングに膨大なデータが必要となるため、データの品質とプライバシーの確保は新たな大きな課題となります。Gretel AIのような合成データと匿名化は、データ分析に広く応用できるだけでなく、不正確なデータ収集による意図しないデータ汚染を防ぐのに役立ちます。一方、Sarusのような差分プライバシーベンダーは、データ分析中の機密情報を制限し、データサイエンスチーム全体が本番環境にアクセスするのを防ぐことで、データ侵害のリスクを軽減するのに役立ちます。
生成AIセキュリティの今後の展望
組織が生成型AI機能への依存度を高めるにつれ、成功にはAIセキュリティプラットフォームが不可欠です。特にAIインフラと規制環境が進化する中で、この市場機会は新規参入者にとって絶好の機会となっています。私は、AI革命の次の段階、つまり企業の安全かつセキュアなイノベーションと成長を支えるセキュリティおよびインフラ関連のスタートアップ企業の皆様とお会いできることを楽しみにしています。
