GenAI が虚偽や嘘を吐き出すのに、それほど時間はかかりません。
先週は、マイクロソフトとグーグルのチャットボットが試合開始前にスーパーボウルの勝者を宣言するという好例がありました。しかし、真の問題は、GenAIの幻覚が有害なものになった時に始まります。拷問を推奨したり、民族的・人種的ステレオタイプを強化したり、陰謀論について説得力のある文章を書いたりするのです。
NvidiaやSalesforceといった既存企業からCalypsoAIのようなスタートアップ企業まで、GenAIからの不要で有害なコンテンツを軽減できると主張する製品を提供するベンダーが増えています。しかし、それらはブラックボックスであり、個別にテストしない限り、これらの幻覚対策製品を比較することは不可能であり、実際に宣伝文句通りの効果を発揮するかどうかも分かりません。
Shreya Rajpal 氏はこれを大きな問題と捉え、その解決を目指して Guardrails AI という会社を設立しました。
「ほとんどの組織は、AIアプリケーションの責任ある導入に関する一連の問題に悩まされており、最善かつ最も効率的な解決策を見つけ出すのに苦労しています」と、Rajpal氏はTechCrunchのメールインタビューで語った。「彼らは、自社にとって重要な一連のリスクを管理するという点で、結局は車輪の再発明を繰り返すことになることが多いのです。」
Rajpal 氏の指摘によれば、調査では、複雑さ、ひいてはリスクが、組織が GenAI を導入する上で最大の障壁となっていることが示されています。
インテルの子会社Cnvrg.ioが最近実施した調査によると、GenAIアプリを導入している企業の約4分の1が、コンプライアンスとプライバシー、信頼性、導入コストの高さ、そして技術スキルの不足を懸念していることが明らかになりました。リスク管理ソフトウェアプロバイダーであるRiskonnectの別の調査では、経営幹部の半数以上が、従業員がGenAIツールから得られる不正確な情報に基づいて意思決定を行うことを懸念していると回答しました。
テッククランチイベント
サンフランシスコ | 2025年10月27日～29日
ラジパル氏は以前、自動運転スタートアップのDrive.aiで勤務し、AppleによるDrive.ai買収後は同社の特別プロジェクトグループに所属していましたが、ディエゴ・オッペンハイマー氏、セイファー・モヒウディン氏、ザイド・シムジー氏と共にGuardrailsを共同設立しました。オッペンハイマー氏はかつて機械学習運用プラットフォームのAlgorithmiaを率いており、モヒウディン氏とシムジー氏はAWSで技術・エンジニアリングのリーダーを務めていました。
ある意味、Guardrailsが提供するものは、既存のものとそれほど変わりません。このスタートアップのプラットフォームは、GenAIモデル、特にオープンソースおよびプロプライエタリ（OpenAIのGPT-4など）のテキスト生成モデルをラッパーとして扱い、それらのモデルの信頼性、信頼性、安全性を高めています。
しかし、Guardrails が他と異なるのは、そのオープンソース ビジネス モデル (プラットフォームのコードベースは GitHub で公開され、無料で使用可能) とクラウドソーシング アプローチです。
Guardrails Hubと呼ばれるマーケットプレイスを通じて、開発者は「バリデータ」と呼ばれるモジュール型コンポーネントを提出できます。バリデータは、GenAIモデルの特定の動作、コンプライアンス、パフォーマンス指標を調査するものです。バリデータは他の開発者やGuardrailsの顧客によってデプロイ、再利用、そして再利用することができ、カスタムGenAIモデルモデレーションソリューションの構成要素として機能します。
「このハブで私たちが目指しているのは、知識を共有し、AI導入をさらに進めるための最も効果的な方法を見つけるためのオープンフォーラムを作ることです。また、あらゆる組織が導入できる再利用可能なガードレールのセットを構築することも目標です」とラジパル氏は述べた。
Guardrails Hubのバリデータは、単純なルールベースのチェックから、モデルの問題を検出・軽減するアルゴリズムまで多岐にわたります。現在、幻覚やポリシー違反の検出機能から、機密情報や安全でないコードを検出するフィルターまで、約50種類が提供されています。
「ほとんどの企業は、卑猥な表現や個人を特定できる情報などについて、画一的なチェックを広範囲に実施しています」とRajpal氏は述べた。「しかし、特定の組織やチームにとって許容される使用方法を明確に定義できる普遍的な定義は存在しません。組織固有のリスクを把握する必要があります。例えば、組織ごとにコミュニケーションポリシーは異なります。Hubを利用することで、当社が提供するソリューションをすぐに使用することも、あるいは、それらを強力な出発点として活用し、特定のニーズに合わせてさらにカスタマイズすることも可能です。」
モデルガードレールのハブは興味深いアイデアです。しかし、懐疑的な私としては、何らかの報酬が約束されていないプラットフォーム、それもまだ初期段階のプラットフォームに開発者が貢献するだろうかと疑問に思います。
ラジパル氏は、認知度向上と、業界が「より安全な」GenAI の構築に向けて献身的に支援するという理由だけでも、そうなるだろうと楽観的な見方をしている。
「ハブを利用することで、開発者は他の企業が直面しているリスクの種類と、それらのリスクを解決・軽減するために導入しているガードレールを把握できます」と彼女は付け加えた。「バリデーターは、企業がそれぞれのユースケースに適用できるガードレールのオープンソース実装です。」
Guardrails AIは、まだサービスやソフトウェアに料金を請求していませんが、最近、Zetta Venture Partnersがリードし、Factory、Pear VC、Bloomberg Beta、GitHub Fund、そして著名なAI専門家であるIan Goodfellow氏をはじめとする関係者が参加したシードラウンドで750万ドルを調達しました。Rajpal氏によると、調達資金はGuardrailsの6人からなるチームの拡大と、新たなオープンソースプロジェクトに充てられる予定です。
「私たちは、企業、小規模なスタートアップ、そして個人開発者など、多くの人々と話をしてきました。彼らは、必要な保証とリスク軽減策が不足しているため、GenAIアプリケーションのリリースに至っていません」と彼女は続けた。「これは、ChatGPTやあらゆる基盤モデルの登場によって、この規模ではこれまで存在しなかった新たな問題です。私たちは、この問題を解決する存在になりたいのです。」
