OctoMLを使用すると、AI/MLモデルの本番環境への導入が容易になります。

企業の機械学習モデルの最適化と導入を支援する、潤沢な資金を持つスタートアップ企業OctoMLは本日、開発者がMLモデルをアプリケーションに統合することを大幅に容易にする製品のメジャーアップデートを発表しました。この新リリースにより、OctoMLはMLモデルを、開発者が一貫したAPIを介して操作できるポータブルなソフトウェア関数に変換できるようになりました。これにより、これらのモデルを既存のDevOpsワークフローに統合することも容易になります。

OctoMLの創業者兼CEOであるルイス・セゼ氏は、これが同社にとって重要な瞬間だと考えていると語った。セゼ氏は、同社のチーフテクノロジストであるティアンキ・チェン氏、CPOのジェイソン・ナイト氏、CTOのジャレッド・ロッシュ氏、そしてテクノロジーパートナーシップ担当VPのティエリー・モロー氏とともに、機械学習エンジニアが特定のハードウェア向けにモデルを最適化できるよう支援するオープンソースの機械学習コンパイラフレームワークであるTVMを製品化するために同社を設立した。

「 OctoMLを立ち上げた時 、『TVMをサービスとして作ろう』と言いました」とCeze氏は語る。「そこから多くのことを学びましたが、その後、より多くの顧客と仕事をするうちに、AI/MLの導入は依然として困難であることが明らかになりました。」    

彼は、ここ数年でデータを取り込んでモデルを構築するツールが改良されるにつれ、モデルの機能と実際にアプリケーションに統合することの間にあるギャップは拡大する一方だと指摘しました。そのため、モデルを本質的に関数に変換することで、このギャップはほぼ解消されます。この新しいシステムは、開発者にとって多くの複雑さを抽象化するため、より多くのモデルを本番環境に導入するのに役立つことは間違いありません。現在、誰の数字を信じるかにもよりますが、結局のところ、訓練された機械学習モデルの半分以上が本番環境に導入されていません。

OctoMLは既に、これらのモデルを実質的にどこでも実行できるようにするツールを提供しているため、モデルのデプロイ先に関する多くの選択も自動化できるようになりました。「当社のソリューションが他のソリューションと一線を画しているのは、デプロイ用のモデルを入手し、アプリケーションに統合し、あらゆるエンドポイントで実行できる点 です」とCeze氏は述べ、これはオートスケーリングにも大きな変革をもたらすと指摘しました。エンジニアは、必要に応じてパフォーマンス特性の異なるCPUやアクセラレータにモデルを移動できるオートスケーリングシステムを構築できるからです。 

しかしながら、Models-as-Function機能は、本日発表された機能の一部に過ぎません。このプラットフォームには、OctoMLが機械学習を用いて機械学習モデルを最適化するための新しいツールも追加されました。このサービスは、依存関係を自動的に検出・解決し、モデルコードをクリーンアップ・最適化します。また、新しいローカルOctoMLコマンドラインインターフェースと、NVIDIAのTriton推論サーバーのサポートも追加され、新しいModel-as-Functionサービスで利用できるようになりました。

「NVIDIA Tritonは強力な抽象化技術であり、ユーザーはCPUとNVIDIA GPUの両方で複数のディープラーニングフレームワークとアクセラレーション技術を活用できます」と、OctoMLのCTOであるJared Roesch氏は述べています。「さらに、NVIDIA TritonとOctoMLを組み合わせることで、ユーザーはTritonを活用した機能をより容易に選択、統合、導入できるようになります。OctoMLワークフローは、OctoMLアクセラレーション技術をシームレスに統合することでTritonベースの導入におけるユーザー価値をさらに高め、サービス層とモデル層の両方を最大限に活用できるようにします。」