Googleが次世代大規模言語モデル「PaLM 2」を発表

Googleは本日、開発者カンファレンスI/Oにおいて、最新の大規模言語モデル（LLM）であるPaLM 2のリリースを発表しました。PaLM 2は、OpenAIのChatGPTの競合となるGoogleの最新チャットツールBardの基盤となり、本日発表される多くの新しいAI機能の基盤モデルとして機能します。PaLM 2は現在、GoogleのPaLM API、Firebase、そしてColabを通じて開発者に提供されています。

GoogleはOpenAIと同様に、この次世代モデルの学習方法、特にパラメータ数（PaLM 1は5400億パラメータのモデルです）に関する技術的な詳細をあまり公開していません。Googleがここで公開した唯一の技術的詳細は、PaLM 2がGoogleの最新のJAXおよびTPU v4インフラストラクチャ上に構築されたという点です。

「私たちの研究でわかったのは、モデルのサイズは必ずしも重要ではないということです。つまり、大きいほど良いとは限らないということです」と、DeepMindの副社長であるズービン・ガフラマニ氏は、本日の発表に先立つ記者会見で述べた。「だからこそ、私たちは様々なサイズのモデル群を提供してきました。パラメータ数は、モデルの能力を考える上で実際にはあまり有用な方法ではなく、能力は実際にモデルを使用し、そのモデルを使って達成しようとするテストにおいて、そのモデルが有用かどうかを判断する人々によって判断されるべきだと私たちは考えています。」

代わりに、同社はその機能に注力することを決定しました。Googleによると、新しいモデルは常識的な推論、数学、論理においてより優れているとのことです。実際、Ghahramani氏が指摘したように、同社はこのモデルを大量の数学・科学のテキスト、そして数式で学習させました。言語に重点を置いた大規模な言語モデルが、サードパーティ製のプラグインに頼らずに数学の問題を扱うのに苦労してきたことは周知の事実です。しかしGoogleは、PaLM 2は数学パズルを容易に解き、問題を推論し、さらには図表も提供できると主張しています。

PaLM 2では、コードの作成とデバッグのサポートも強化されました。このモデルは、JavaScriptやPythonといった一般的な言語に加え、Prolog、Verilog、Fortranといった20種類のプログラミング言語で学習済みです。PaLM 2は、Googleのコーディングとデバッグに特化したモデル「Codey」の基盤となっており、コード補完・生成サービスなどの一部として本日リリースされました。

Googleは本日、PaLM 2が100以上の言語を収録したコーパスでトレーニングされており、Googleの言葉を借りれば、以前のモデルよりもニュアンスに富んだ言い回しなど、「多言語タスクに優れている」とも強調した。

GoogleはPaLMをモデルファミリーとして扱っており、Codeyのようなモデルに加え、医療知識に特化した同社のモデルMed-PaLM 2も含まれています。また、セキュリティユースケースに特化したSec-PaLMや、スマートフォンで動作可能な小型のPaLM 2モデルもあり、これらによりPaLMはよりプライバシー重視のユースケースに展開される可能性がありますが、Googleは具体的な時期については明言していません。Googleによると、このモデルは1秒あたり20トークンを処理可能で、非常に高速というわけではありませんが、一部のユースケースでは許容できるレベルかもしれません（ただし、Googleはどのスマートフォンでテストしたかは明らかにしていません）。