AI モデルのパフォーマンスをテスト、ベンチマーク、検証するためのツールを構築するスタートアップ企業 Kolena は本日、Lobby Capital が主導し、SignalFire と Bloomberg Beta が参加した資金調達ラウンドで 1,500 万ドルを調達したことを発表しました。
この新たな資金により、Kolenaが調達した総額は2,100万ドルとなり、同社の研究チームの拡大、規制当局との提携、Kolenaの販売およびマーケティング活動の拡大に充てられると、共同創業者兼CEOのMohamed Elgendy氏はTechCrunchとのメールインタビューで語った。
「AIの活用事例は膨大ですが、開発者と一般の人々の両方からAIへの信頼が欠けています」とエルゲンディ氏は述べた。「この技術は、デジタル体験を悪化させるのではなく、より良くするような形で展開されなければなりません。魔神は瓶の中に戻ってはいませんが、業界として私たちは正しい願いを叶えることができるのです。」
エルゲンディ氏は、アマゾン、パランティア、楽天、シナプスなどの企業のAI部門で約6年間共に働いたアンドリュー・シー氏とゴードン・ハート氏と共に、2021年にKolenaを立ち上げました。Kolenaを通じて、3人はモデルのユニットテストとエンドツーエンドテストを、カスタマイズ可能でエンタープライズ向けのパッケージで提供する「モデル品質フレームワーク」の構築を目指しました。
「何よりもまず、モデル品質のための新たなフレームワークを提供したいと考えました。既存のアプローチを簡素化するツールだけではありません」とエルゲンディ氏は述べた。「Kolenaは、シナリオレベルまたはユニットレベルのテストを継続的に実行することを可能にします。また、サブコンポーネントだけでなく、AIおよび機械学習製品全体のエンドツーエンドのテストも提供します。」
エルゲンディ氏によると、KolenaはAIモデルのテストデータカバレッジにおけるギャップを特定するための洞察を提供できるという。また、このプラットフォームには、特定のAIシステム（場合によっては複数）の導入に関連するリスクを追跡するのに役立つリスク管理機能が組み込まれている。KolenaのUIを使用すると、ユーザーはモデルのパフォーマンスを評価するためのテストケースを作成し、他のさまざまなモデルとパフォーマンスを比較しながら、モデルのパフォーマンスが低い潜在的な理由を確認することができる。
「Kolenaを使えば、チームはAI製品が対応しなければならない特定のシナリオについて、テストを管理・実行できます。精度スコアのような包括的な『集計』指標を適用すると、モデルのパフォーマンスの詳細が見えにくくなる可能性があるからです」とエルゲンディ氏は述べた。「例えば、車両検知の精度が95%のモデルが、必ずしも89%のモデルよりも優れているわけではありません。それぞれのモデルには長所と短所があり、例えば、さまざまな気象条件や遮蔽レベルにおける車両の検知、車両の向きの特定などです。」
テッククランチイベント
サンフランシスコ | 2025年10月27日～29日
Kolena が宣伝どおりに機能すれば、AI アプリを動かすモデルの構築に多くの時間を費やすデータ サイエンティストにとって、確かに役立つ可能性があります。
ある調査によると、AIエンジニアはモデルの分析と開発に費やす時間はわずか20%で、残りの時間はトレーニングに使用するデータの収集とクレンジングに費やされていると報告されています。別のレポートでは、正確で高性能なモデルの開発が困難であるため、パイロットから本番環境に移行するモデルは最終的に約54%に過ぎないことが示されています。
しかし、モデルのテスト、監視、検証のためのツールを開発している企業は他にも存在します。Amazon、Google、Microsoftといった既存企業以外にも、多くのスタートアップ企業が、モデルの実稼働前と稼働後にその精度を測定するための斬新なアプローチを試行しています。
Prolificは最近、クラウドソーシングによるテスターネットワークを活用したAIモデルのトレーニングとストレステストを行うプラットフォームに3,200万ドルを調達しました。一方、Robust IntelligenceとDeepchecksは、企業向けにAIモデルの不具合を防ぎ、継続的に検証するための独自のツールセットを開発しています。また、Bobidiは企業のAIモデルをテストした開発者に報酬を提供しています。
しかしエルゲンディ氏は、Kolenaのプラットフォームは、顧客がAIモデルテストを構成するデータタイプ、評価ロジック、その他のコンポーネントを「完全に制御」できる数少ないプラットフォームの一つだと主張している。また、彼はKolenaのプライバシーへのアプローチを強調し、顧客がデータやモデルをプラットフォームにアップロードする必要がないことを強調している。Kolenaは将来のベンチマークのためにモデルテストの結果のみを保存し、リクエストに応じて削除できる。
「AIおよび機械学習システムのリスクを最小限に抑えるには、導入前に厳格なテストを実施する必要がありますが、企業にはモデル検証に関する強力なツールやプロセスが不足しています」とエルゲンディ氏は述べています。アドホックなモデルテストが今日では当たり前となっており、残念ながら機械学習の概念実証（PoC）も失敗に終わっています。Kolenaは、包括的かつ徹底的なモデル評価に重点を置いています。機械学習マネージャー、プロダクトマネージャー、そして経営幹部の皆様に、モデルのテスト範囲と製品固有の機能要件に関する比類のない可視性を提供することで、開発初期から製品の品質向上に効果的に貢献できるよう支援します。
サンフランシスコに拠点を置き、フルタイム従業員28名を擁するKolenaは、現在取引のある顧客数を公表していない。しかし、エルゲンディ氏は、同社は今のところ「ミッションクリティカル」な企業との提携に「厳選されたアプローチ」を取っており、2024年第2四半期には中規模組織と初期段階のAIスタートアップ向けのチームバンドルを展開する予定だと述べた。
カイル・ウィガーズは2025年6月までTechCrunchのAIエディターを務めていました。VentureBeatやDigital Trendsに加え、Android Police、Android Authority、Droid-Life、XDA-Developersといった様々なガジェットブログにも記事を寄稿しています。音楽療法士のパートナーとマンハッタンに在住。
バイオを見る
