Lakeraは、悪意のあるプロンプトから大規模な言語モデルを保護するために開始されました

Lakeraは、悪意のあるプロンプトから大規模な言語モデルを保護するために開始されました

大規模言語モデル (LLM) は、急成長を遂げている生成 AI の動きの原動力であり、簡単なプロンプトから人間の言語のテキストを解釈して作成することができます。これは、文書の要約から詩の作成、無数のソースからのデータを使用した質問への回答まで、あらゆることが可能になります。

しかし、これらのプロンプトは、いわゆる「プロンプトインジェクション」技術を使用して悪意のある人物によって操作され、はるかに疑わしい結果を達成することもできます。この技術では、個人が LLM 搭載のチャットボットに慎重に作成されたテキストプロンプトを入力し、たとえばシステムに不正アクセスするように仕向けたり、ユーザーが厳格なセキュリティ対策を回避できるようにしたりします。

こうした背景の中、スイスのスタートアップ企業Lakeraは本日、LLMのセキュリティ脆弱性(プロンプトインジェクションやデータ漏洩など)から企業を保護することを約束するサービスを正式に世界に向けて開始しました。また、同社はサービス開始に併せて、今年初めにこれまで公表されていなかった1,000万ドルの資金調達ラウンドを実施したことも発表しました。

データの魔法

Lakera は、公開されているオープンソースのデータセット、独自の社内調査、そして興味深いことに、同社が今年初めにリリースした Gandalf というインタラクティブ ゲームから収集したデータなど、さまざまなソースからの洞察で構成されるデータベースを開発しました。

Gandalfでは、ユーザーは言語的トリックを用いてLLMの基盤を「ハッキング」し、秘密のパスワードを明かそうとします。ユーザーがこれに成功すると次のレベルに進み、Gandalfはレベルが進むにつれて、より洗練された防御力を発揮していきます。

ラケラのガンダルフ
Lakeraのガンダルフ。画像提供: TechCrunch画像提供: Lakera

OpenAIのGPT3.5とCohereおよびAnthropicのLLMを搭載したGandalfは、少なくとも表面的には、LLMの弱点を暴くために設計された楽しいゲームに過ぎないように見える。しかし、Gandalfから得られる知見は、このスタートアップの主力製品であるLakera Guardにフィードバックされ、企業はAPIを通じて自社のアプリケーションに統合することができる。

「ガンダルフは文字通り、6歳くらいの子供から私の祖母まで、そしてその間のあらゆる年齢の人たちがプレイしています」と、LakeraのCEO兼共同創業者であるDavid Haber氏はTechCrunchに説明した。「しかし、このゲームをプレイしている人の多くは、実はサイバーセキュリティコミュニティの人たちなのです。」

テッククランチイベント

サンフランシスコ | 2025年10月27日~29日

ハーバー氏によると、同社は過去6ヶ月間で100万人のユーザーから約3000万件のインタラクションを記録しており、これにより攻撃の種類を10のカテゴリーに分類する「プロンプト・インジェクション分類法」を開発したという。これらのカテゴリーは、直接攻撃、脱獄、サイドステップ攻撃、マルチプロンプト攻撃、ロールプレイング攻撃、モデル複製、難読化(トークン密輸)、多言語攻撃、そして偶発的なコンテキスト漏洩である。

これにより、Lakera の顧客は、自社の入力内容をこれらの構造と大規模に比較できるようになります。

「私たちは迅速な注入を統計的構造に変えている。それが最終的に私たちがやっていることだ」とハーバー氏は語った。

プロンプトインジェクションは、Lakera が注力しているサイバーリスク分野の 1 つに過ぎません。同社はまた、企業の個人情報や機密データが誤って公開領域に漏洩することを防ぐ取り組みや、LLM が子供に不適切なコンテンツを提供しないようにコンテンツを管理しています。

「安全性に関して言えば、人々が最も求めているのは有害な言葉遣いの検出機能です」とハーバー氏は述べた。「そこで私たちは、子供向けのAI生成アプリケーションを提供している大手企業と協力し、子供たちが有害なコンテンツにさらされないようにしています。」

ラケラガード
Lakeraガード。画像提供: Lakera画像提供: Lakera

さらに、LakeraはLLMによってもたらされる誤情報や事実の不正確さにも対処しています。ハーバー氏によると、Lakeraがいわゆる「幻覚」の解決に役立つシナリオは2つあります。1つはLLMの出力がシステムの初期指示と矛盾する場合、もう1つはモデルの出力が参考知識に基づく事実と異なる場合です。

「いずれの場合でも、お客様は Lakera にモデルが相互作用するコンテキストを提供し、当社はモデルがその境界外で動作しないことを確認します」と Haber 氏は言います。

つまり、Lakera は、セキュリティ、安全性、データのプライバシーに関するさまざまな問題を抱えた複雑な組織なのです。

EU AI法

EU AI法という形で最初の主要なAI規制が間近に迫る中、Lakeraは絶好のタイミングでサービスを開始します。具体的には、EU AI法第28条b項は、LLMプロバイダーに法的要件を課すことで生成AIモデルの保護に焦点を当てており、リスクを特定し、適切な対策を講じることを義務付けています。

実際、ハーバー氏と彼の2人の共同設立者はこの法律の顧問役を務め、今後1、2年以内に導入されると予想される同法の導入に先立ち、技術的な基盤の構築に貢献してきた。

「生成AIモデルを他のAIとは異なり、実際にどのように規制するかについては、不確実な点があります」とハーバー氏は述べた。「技術の進歩は規制環境よりもはるかに速いペースで進んでおり、これは非常に困難です。こうした議論における私たちの役割は、開発者中心の視点を共有することです。なぜなら、規制要件を策定する際に、これらのモデルを実稼働に導入している現場の人々にとって、それが実際に何を意味するのかを理解することで、政策立案を補完したいと考えているからです。」

Lakera の創設者: CEO の David Haber と CPO の Matthias Kraft (左) および CTO の Mateo Rojas-Carulla が並ぶ。画像クレジット:ラケラ

セキュリティブロッカー

要するに、ChatGPT とその類似技術は、最近の他のテクノロジーとは異なり、この 9 か月間で世界を席巻しましたが、企業はセキュリティ上の懸念から、アプリケーションに生成 AI を導入することに躊躇している可能性があります。

「私たちは、最も優れたスタートアップ企業や世界をリードする企業と話をしています。彼らは既にこれらの(生成AIアプリ)を本番環境で運用しているか、今後3~6ヶ月で導入を検討しています」とハーバー氏は述べた。「そして、私たちは既に彼らと水面下で協力し、問題なく展開できるよう尽力して​​います。多くの企業にとって、生成AIアプリを本番環境に導入する上でセキュリティが大きな障壁となっています。そこで私たちの出番です。」

2021年にチューリッヒで設立されたLakeraは、既に大口の有料顧客を抱えていると主張している。同社は、使用している保護ツールの種類について詳細を開示しすぎるとセキュリティ上の問題が生じるため、顧客名を挙げることはできないとしている。しかし、同社はLLM開発会社であるCohere(最近20億ドルの評価額を達成した企業)が、「大手エンタープライズクラウドプラットフォーム」や「世界最大級のクラウドストレージサービス」といった企業と並んで顧客であることを認めている。

同社は銀行に1,000万ドルを保有しており、プラットフォームが正式にパブリックドメインとなった今、プラットフォームを構築するための十分な資金を確保している。

「人々が生成AIを自社のスタックに統合する際に、その安全性を確保し、リスクを軽減できるよう、常にサポートしていきたいと考えています」とハーバー氏は述べた。「そのため、脅威の状況に応じて製品を進化させていきます。」

Lakeraへの投資はスイスのVC Redalpineが主導し、Fly Ventures、Inovia Capital、および複数のエンジェル投資家が追加資本を提供した。