OctoAIはOctoStackでプライベートAIモデルの導入を容易にしたいと考えている

OctoAI（旧称OctoML）は、オンプレミスでも、AWS、Google、Microsoft、Azure、CoreWeave、Lambda Labs、Snowflakeなどの大手ベンダーの仮想プライベートクラウドでも、企業のプライベートクラウドに生成AIモデルを展開するための新しいエンドツーエンドソリューションであるOctoStackのリリースを発表しました。

OctoAIは創業当初、モデルの最適化と効率的な実行にほぼ特化していました。Apache TVM機械学習コンパイラフレームワークをベースとしたTVM-as-a-Serviceプラットフォームを立ち上げ、その後、最適化機能とDevOpsプラットフォームを組み合わせた本格的なモデルサービングサービスへと拡張しました。生成AIの台頭に伴い、チームはユーザーが既存モデルをサービングおよび微調整できるよう支援する、フルマネージドのOctoAIプラットフォームを立ち上げました。OctoStackは、そのOctoAIプラットフォームをプライベートデプロイメント向けに設計したものです。

OctoAIのCEO兼共同創業者であるルイス・セゼ氏は、同社のプラットフォームには2万5000人以上の開発者がおり、本番環境で利用している有料顧客も数百社あると語った。セゼ氏によると、これらの企業の多くはGenAIネイティブ企業だという。しかし、生成AIの導入を希望する従来型企業の市場ははるかに大きいため、OctoAIがOctoStackでこうした企業にも参入し始めているのも不思議ではないだろう。

「エンタープライズ市場が昨年の実験段階から本格的な導入段階へと移行する中で、一つ明らかになったことがあります。一つは、API経由でデータを送信することに不安を感じ、どの企業もAPIを巡回しているということです」とセゼ氏は述べた。「二つ目は、多くの企業が既に自社でコンピューティングリソースを確保しているため、既に自社でコンピューティングリソースを持っているのに、なぜAPIを購入する必要があるのか​​？そして三つ目は、どんな認証を取得し、どんなに知名度が高くても、AIは自社データと同様に貴重であり、外部に送りたくないと考えていることです。つまり、企業には、導入を自社で管理したいという明確なニーズがあるのです。」

Ceze氏は、チームがSaaSとホスト型プラットフォームの両方を提供するためのアーキテクチャをしばらく前から構築してきたと述べました。SaaSプラットフォームはNVIDIAハードウェア向けに最適化されていますが、OctoStackはAMD GPUやAWSのInferentiaアクセラレータなど、はるかに幅広いハードウェアをサポートできるため、最適化の課題はかなり困難になります（同時にOctoAIの強みも活かされます）。

OctoAIは、すぐに使えるコンテナとそれに関連するHelmチャートを備えたプラットフォームを提供するため、ほとんどの企業にとってOctoStackの導入は容易です。開発者にとって、SaaS製品を対象にするか、プライベートクラウド内のOctoAIを対象にするかに関わらず、APIは同じです。

標準的なエンタープライズユースケースでは、テキスト要約と RAG を使用してユーザーが社内ドキュメントでチャットできるようにしていますが、一部の企業では、社内コードベースでこれらのモデルを微調整して、独自のコード生成モデル (GitHub が現在 Copilot Enterprise ユーザーに提供しているものと同様) を実行しているところもあります。