Googleは本日、新しい大規模言語モデル（LLM）Geminiのリリースを発表し、同時に、今年初めに一般提供を開始したCloud TPU v5eのアップデート版となる新しいCloud TPU v5pもリリースしました。v5pポッドは合計8,960個のチップで構成され、チップあたり最大4,800GbpsというGoogle史上最速のインターコネクトを搭載しています。
Googleがこれらのチップがv4 TPUよりも大幅に高速であると約束しているのは当然のことです。チームによると、v5pはFLOPSが2倍、高帯域幅メモリが3倍向上しているとのこと。ただし、これは新しいGeminiモデルを古いOpenAI GPT 3.5モデルと比較するのに少し似ています。結局のところ、Google自体がすでに最先端技術をTPU v4を超えて進めています。ただし、多くの点でv5eポッドはv4ポッドから少しダウングレードされており、ポッドあたりのv5eチップは256個であるのに対し、v4ポッドは4096個であり、v5eチップあたりの合計197 TFLOPsの16ビット浮動小数点パフォーマンスに対して、v4チップは275 TFLOPsでした。新しいv5pでは、Googleは、より高速な相互接続によって、最大459 TFLOPsの16ビット浮動小数点パフォーマンスを約束しています。
Google によれば、これらすべてにより、TPU v5p は GPT3-175B のような大規模な言語モデルを TPU v4 よりも 2.8 倍速くトレーニングでき、コスト効率も向上します (ただし、TPU v5e は低速ではあるものの、実際には v5p よりも 1 ドルあたりの相対的なパフォーマンスが優れています)。
「Google DeepMindとGoogle Researchは、初期段階の使用において、TPU v5pチップを使用したLLMトレーニングワークロードが、TPU v4世代と比較して2倍高速化することを観測しました」と、Google DeepMindとGoogle Researchのチーフサイエンティストであるジェフ・ディーン氏は述べています。「MLフレームワーク（JAX、PyTorch、TensorFlow）とオーケストレーションツールへの堅牢なサポートにより、v5pでさらに効率的にスケーリングできます。第2世代SparseCoreでは、埋め込みを多用するワークロードのパフォーマンスも大幅に向上しています。TPUは、Geminiのような最先端モデルに関する最大規模の研究とエンジニアリングの取り組みを可能にするために不可欠です。」
新しい TPU v5p はまだ一般公開されていないため、開発者はリストに載るために Google アカウント マネージャーに連絡する必要があります。
トピック
フレデリックは2012年から2025年までTechCrunchに在籍していました。また、SiliconFilterを設立し、ReadWriteWeb（現ReadWrite）にも寄稿しています。フレデリックは、エンタープライズ、クラウド、開発者ツール、Google、Microsoft、ガジェット、交通機関など、興味のあるあらゆる分野をカバーしています。
バイオを見る
