Strong ComputeはMLモデルのトレーニングを高速化します

ニューラルネットワークの学習には、市場で最も高速かつ高価なアクセラレータを使用しても、かなりの時間がかかります。そのため、多くのスタートアップ企業がソフトウェアレベルでプロセスを高速化し、学習プロセスにおけるボトルネックの一部を解消する方法を模索しているのも不思議ではありません。オーストラリアのシドニーに拠点を置き、最近Y CombinatorのWinter '22クラスに採択されたスタートアップ企業Strong Computeにとって、学習プロセスにおけるこれらの非効率性を排除することが課題となっています。これにより、チームは学習プロセスを100倍以上高速化できると主張しています。

「PyTorchは美しく、TensorFlowも同様です。これらのツールキットは素晴らしいのですが、そのシンプルさと実装の容易さは、裏で非効率になるという代償を伴っています」と、Strong ComputeのCEO兼創業者で、かつてAR企業Meta（FacebookがMetaという社名を使用する以前）の共同創業者でもあるベン・サンド氏は述べた。

モデル自体の最適化に注力する企業もあり、Strong Computeも顧客の要望に応じてそれを行いますが、サンド氏は、そうすることで結果が損なわれる可能性があると指摘しました。チームはむしろ、モデルを取り巻くあらゆることに焦点を当てています。例えば、遅いデータパイプラインや、トレーニング開始前に多くの値を事前計算することなどです。サンド氏はまた、データ拡張によく使用されるライブラリのいくつかを最適化したと述べました。

同社は最近、元シスコの主席エンジニアであるリチャード・プルス氏を採用し、トレーニングパイプラインにおけるネットワークのボトルネックの解消に注力しています。このボトルネックは、レイテンシの大幅な増加につながる可能性があります。もちろん、ハードウェアも大きな違いを生む可能性があるため、Strong Computeは顧客と協力して、適切なプラットフォームでモデルを実行できるようにしています。

「Strong Computeのおかげで、コアアルゴリズムのトレーニング時間は30時間から5分に短縮され、数百テラバイトのデータをトレーニングできました」と、オンライン顧客向けのカスタムメイド服の製作を専門とするMTailorのCEO、マイルズ・ペン氏は述べています。「ディープラーニングエンジニアはおそらく地球上で最も貴重なリソースであり、Strong Computeのおかげで、私たちのエンジニアの生産性は10倍向上しました。反復処理と実験の時間はMLの生産性にとって最も重要な要素であり、Strong Computeなしでは私たちは途方に暮れていました。」

サンド氏は、大手クラウドプロバイダーのビジネスモデルがユーザーにマシンをできるだけ長く使ってもらうことに依存していることを考えると、自社のようなことをするインセンティブは実際には存在しないと主張している。Yコンビネーターのマネージングディレクター、マイケル・サイベル氏もこの点に同意している。「Strong Computeは、クラウドコンピューティングにおける深刻なインセンティブの不均衡、つまり顧客が重視するより速い結果がプロバイダーにとって利益にならないという不均衡を解消することを目指しています」とサイベル氏は述べた。

現在、チームは顧客にきめ細やかなサービスを提供していますが、最適化の統合によって開発者のワークフローに大きな変化はないため、大きな違いは感じられないでしょう。Strong Computeは「開発サイクルを10倍に」することを約束しています。今後は、プロセスを可能な限り自動化することを目指しています。