AIプラットフォームClarifaiは木曜日、AIモデルの実行速度を2倍に高め、コストを40%削減する新しい推論エンジンを発表しました。様々なモデルやクラウドホストに適応できるように設計されたこのシステムは、同じハードウェアでより高い推論能力を引き出すために、様々な最適化を採用しています。
「CUDAカーネルから高度な投機的デコード技術に至るまで、多種多様な最適化が採用されています」とCEOのマシュー・ザイラー氏は述べた。「つまり、同じカードでより多くのパフォーマンスを引き出せるということです。」
この結果は、サードパーティ企業の Artificial Analysis による一連のベンチマーク テストによって検証され、スループットとレイテンシの両方で業界最高の記録を記録しました。
このプロセスは、既に学習済みのAIモデルを運用するために必要な計算負荷、つまり推論に特化しています。この計算負荷は、単一のコマンドに対して複数のステップを必要とするエージェントモデルや推論モデルの台頭により、特に増大しています。
Clarifaiは当初、コンピュータービジョンサービスとして立ち上げられましたが、AIブームの到来によりGPUとそれを収容するデータセンターの需要が劇的に増加したことを受け、コンピューティングオーケストレーションへの注力を強化してきました。同社は12月のAWS re:Inventで初めてコンピューティングプラットフォームを発表しましたが、この新しい推論エンジンは、マルチステップエージェントモデルに特化した初の製品です。
この製品は、AIインフラへの強いプレッシャーが高まり、数十億ドル規模の取引が相次ぐ中で登場しました。OpenAIは、最大1兆ドル規模の新規データセンター投資計画を策定し、コンピューティングに対する将来的な需要がほぼ無限であると予測しています。しかし、ハードウェアの増強が活発に行われている一方で、ClarifaiのCEOは、既存のインフラを最適化するために、まだやるべきことがあると考えています。
「Clarifai推論エンジンのような、このような優れたモデルをさらに進化させるソフトウェア技術は存在します」とZeiler氏は言います。「しかし、ギガワット級のデータセンターの必要性に対抗できるアルゴリズムの改良も存在します。そして、アルゴリズムの革新はまだ終焉を迎えていないと思います。」
トピック
ラッセル・ブランドムは2012年からテクノロジー業界を取材しており、特にプラットフォーム政策と新興技術に焦点を当てています。以前はThe VergeとRest of Worldで勤務し、Wired、The Awl、MIT Technology Reviewに寄稿していました。連絡先は[email protected]またはSignal（412-401-5489）です。
バイオを見る
