Google Cloud が LLM 向けに構築された新しい A3 スーパーコンピュータ VM を発表

ここ数ヶ月、LLM（法務・法務・経営学）と生成AIが急速に注目を集めていますが、これらのモデルの学習と実行には膨大な計算能力が必要であることは明らかです。この点を踏まえ、Google Cloudは本日、Google I/Oにおいて新しいA3スーパーコンピュータ仮想マシンを発表しました。

A3 は、このようなリソースを大量に消費するユースケースの膨大な要求に対応できるように特別に設計されています。

「A3 GPU VMは、最新のCPU、改良されたホストメモリ、次世代のNvidia GPU、主要なネットワークアップグレードを備え、今日のMLワークロードに最高のパフォーマンスのトレーニングを提供するために特別に構築されました」と同社は発表の中で述べている。

具体的には、同社はこれらのマシンにNvidiaのH100 GPUを搭載し、それを専用のデータセンターと組み合わせることで、高スループットと低レイテンシを備えた膨大な計算能力を実現しており、こうしたパッケージに通常支払う金額よりもリーズナブルな価格設定を提案している。

仕様をお探しの場合は、この製品が 8 つの Nvidia H100 GPU、第 4 世代 Intel Xeon スケーラブル プロセッサ、2 TB のホスト メモリ、およびこの製品に搭載されている複数の GPU 間のスループットを最大化するために設計された 2 つの Nvidia テクノロジである NVSwitch と NVLink 4.0 を介して 8 つの GPU 間で 3.6 TB の二分帯域幅を備えていることを考慮してください。

これらのマシンは最大26エクサフロップスのパワーを発揮し、より大規模な機械学習モデルのトレーニングにかかる​​時間とコストの削減に貢献します。さらに、これらのVM上のワークロードは、Googleが「高度に相互接続された26,000基のGPU」と説明する専用のJupiterデータセンター・ネットワーク・ファブリック上で実行されます。これにより、「オンデマンドでトポロジを調整できる、フル帯域幅で再構成可能な光リンク」が実現します。Googleによると、このアプローチはこれらのワークロードの実行コストの削減にも貢献するはずです。

その目的は、複雑な機械学習モデルや生成 AI アプリケーションを実行する LLM など、より要求の厳しいワークロードをトレーニングするために設計された膨大なパワーを顧客に提供し、それをよりコスト効率の高い方法で実行することです。