Nvidiaが新しいGPUアーキテクチャとGrace CPUスーパーチップを発表

Nvidia は本日、AI 開発者向けの年次 GTC カンファレンスで、次世代 Hopper GPU アーキテクチャと Hopper H100 GPU、および GPU と高性能 CPU を組み合わせた新しいデータ センター チップ (Nvidia はこれを「Grace CPU スーパーチップ」と呼んでいます (Grace Hopper スーパーチップと混同しないでください)。

H100 GPU

NvidiaはHopperで数々の新技術と最新技術を発表していますが、AI開発者にとって最も重要なのは、このアーキテクチャがTransformerモデルに重点を置いた点でしょう。Transformerモデルは多くのユースケースで必須の機械学習手法となっており、GPT-3やasBERTなどのモデルにも採用されています。H100チップに搭載される新しいTransformer Engineは、モデルのトレーニングを最大6倍高速化することを約束しています。また、この新しいアーキテクチャには、複数のノードを接続するためのNvidiaの新しいNVLinkスイッチシステムも搭載されているため、これらのチップを搭載した大規模サーバークラスターは、オーバーヘッドを抑えながら大規模ネットワークをサポートできるスケールアップが可能になります。

「今日のコンピューティングプラットフォームでは、最大規模のAIモデルのトレーニングに数ヶ月かかる場合があります」と、NVIDIAのデイブ・サルバトール氏は本日の発表で述べています。「これは企業にとって遅すぎます。AI、ハイパフォーマンスコンピューティング、データ分析はますます複雑化しており、大規模言語モデルなど、一部のモデルではパラメータが数兆個に達しています。NVIDIA Hopperアーキテクチャは、膨大な計算能力と高速メモリを備え、拡大するネットワークとデータセットに対応できる次世代AIワークロードを加速するために、ゼロから構築されています。」

新しい Transformer Engine は、精度を維持しながら必要に応じて 8 ビット精度と 16 ビット半精度を混在させることができる顧客の Tensor Core を使用します。

「モデルにとっての課題は、精度を維持しながら、より小さく高速な数値形式のパフォーマンスを獲得するために、精度をインテリジェントに管理することです」とサルバトーレ氏は説明します。「Transformer Engineは、NVIDIAがチューニングしたカスタムヒューリスティックによってこれを実現します。このヒューリスティックは、FP8とFP16の計算を動的に選択し、各レイヤーでこれらの精度間の再キャストとスケーリングを自動的に処理します。」

H100 GPUは800億個のトランジスタを搭載し、TSMCの4nmプロセスで製造されます。2020年に発売されTSMCの7nmプロセスを採用したAmpere A100データセンターGPUと比較して、1.5倍から6倍の高速化を実現します。

Transformer Engine に加えて、GPU には新しい機密コンピューティング コンポーネントも搭載されます。

テッククランチイベント

サンフランシスコ | 2025年10月27日～29日

グレース（ホッパー）スーパーチップス

Grace CPUスーパーチップは、NVIDIAがデータセンター専用CPUに初めて参入した製品です。Arm Neoverseベースのこのチップは、144コアという驚異的な性能を誇り、1テラバイト/秒のメモリ帯域幅を備えています。このチップは、AppleのM1 Ultraのアーキテクチャを彷彿とさせるNVIDIAのNVLinkインターコネクトを介して接続された2つのGrace CPUで構成されています。

高速LPDDR5Xメモリを採用するこの新型CPUは、2023年上半期に提供開始予定で、従来型サーバーの2倍の性能を実現するとされています。NVIDIAは、このチップがSPECrate®2017_int_baseベンチマークで740ポイントに達すると見積もっており、これはAMDやIntelのハイエンドデータセンタープロセッサと直接競合することになります（ただし、これらのプロセッサの中にはより高いスコアを出すものもありますが、ワットあたりの性能は低くなります）。

「山のようなデータを処理・精製してインテリジェンスを生み出す、新しいタイプのデータセンターが登場しました」と、NVIDIAの創業者兼CEOであるジェンスン・フアン氏は述べています。「Grace CPUスーパーチップは、最高のパフォーマンス、メモリ帯域幅、そしてNVIDIAソフトウェアプラットフォームを1つのチップに統合し、世界のAIインフラストラクチャにおけるCPUとして輝くでしょう。」

この新しいチップは、多くの点で、同社が昨年発表したGrace HopperスーパーチップとGrace CPUの自然な進化形と言えるでしょう（確かに、これらの名称は紛らわしいものです。特にNVIDIAは昨年、Grace HopperスーパーチップをNvidia Graceと呼んでいたため、紛らわしいのです）。Grace Hopperスーパーチップは、CPUとGPUを単一のシステムオンチップに統合しています。2023年前半にも発売予定のこのシステムは、大規模モデル向けに600GBメモリのGPUを搭載し、NVIDIAは従来のサーバー向けGPUと比較してメモリ帯域幅が30倍になると約束しています。NVIDIAによると、これらのチップは「巨大スケール」のAIと高性能コンピューティングを目的としています。

Grace CPU スーパーチップは Arm v9 アーキテクチャに基づいており、スタンドアロン CPU システムとして構成することも、最大 8 個の Hopper ベース GPU を搭載したサーバー用に構成することもできます。

同社は「大手HPC、スーパーコンピューティング、ハイパースケール、クラウド顧客」と連携していると述べているため、これらのシステムが来年中にあなたの近くのクラウドプロバイダーに導入される可能性は高いだろう。