Meta の最新のオープンソース AI モデルはこれまでで最大のものです。
Metaは本日、4050億個のパラメータを持つモデル「Llama 3.1 405B」をリリースすると発表しました。パラメータはモデルの問題解決能力にほぼ相当し、パラメータ数が多いモデルはパラメータ数の少ないモデルよりも一般的に優れたパフォーマンスを発揮します。
4050億個のパラメータを持つLlama 3.1 405Bは、現時点で最大のオープンソースモデルではありませんが、近年では最大のモデルです。16,000基のNvidia H100 GPUを用いて学習されたこのモデルは、最新の学習・開発技術の恩恵も受けており、Meta社によれば、OpenAIのGPT-4oやAnthropicのClaude 3.5 Sonnetといった主要な独自モデルと競合できるとのことです（ただし、いくつかの注意点があります）。
Metaの以前のモデルと同様に、Llama 3.1 405BはAWS、Azure、Google Cloudなどのクラウドプラットフォームにダウンロードまたは使用できます。また、WhatsAppやMeta.aiでも利用されており、米国ユーザー向けのチャットボット体験を強化しています。
新しく改良された
他のオープンソースおよびクローズドソースの生成AIモデルと同様に、Llama 3.1 405Bは、コーディングや基本的な数学の問題への回答から、8言語（英語、ドイツ語、フランス語、イタリア語、ポルトガル語、ヒンディー語、スペイン語、タイ語）の文書の要約まで、幅広いタスクを実行できます。テキストのみに対応しているため、例えば画像に関する質問に答えることはできませんが、PDFやスプレッドシートなどのファイルの分析など、ほとんどのテキストベースのワークロードは処理可能です。
Metaは、マルチモーダル技術の実験を行っていることを公表したいと考えている。本日発表された論文の中で、同社の研究者らは、画像や動画を認識し、音声を理解（そして生成）できるLlamaモデルを積極的に開発していると述べている。ただし、これらのモデルはまだ一般公開できる段階ではない。
Llama 3.1 405Bのトレーニングにあたり、Metaは2024年までの15兆トークンのデータセットを使用しました（トークンとは、モデルが単語全体よりも容易に内部化できる単語の一部であり、15兆トークンは7500億語という膨大な数に相当します）。Metaは以前のLlamaモデルのトレーニングにこの基本セットを使用していたため、これは厳密には新しいトレーニングセットではありませんが、同社はこのモデルの開発において、データキュレーションパイプラインを改良し、「より厳格な」品質保証とデータフィルタリングのアプローチを採用したと主張しています。
テッククランチイベント
サンフランシスコ | 2025年10月27日～29日
同社はまた、Llama 3.1 405Bの微調整に合成データ（他のAIモデルによって生成されたデータ）を使用しました。OpenAIやAnthropicを含む主要なAIベンダーの多くは、AIトレーニングのスケールアップに合成データの活用を検討していますが、一部の専門家は、合成データはモデルのバイアスを悪化させる可能性があるため、最後の手段であるべきだと考えています。
Metaは、Llama 3.1 405Bのトレーニングデータを「慎重にバランス調整した」と主張しているものの、データの出所（ウェブページや公開ウェブファイル以外）については具体的な情報を明らかにしていない。多くの生成AIベンダーは、トレーニングデータを競争上の優位性と捉えているため、トレーニングデータやそれに関連するあらゆる情報を秘密にしている。しかし、トレーニングデータの詳細は知的財産関連の訴訟の潜在的な原因となる可能性があり、企業にとって多くの情報を公開することに更なる阻害要因となっている。
前述の論文で、Metaの研究者は、以前のLlamaモデルと比較して、Llama 3.1 405Bは、非英語データ（英語以外の言語でのパフォーマンスを向上させるため）、より多くの「数学データ」とコード（モデルの数学的推論スキルを向上させるため）、および最近のWebデータ（時事問題の知識を強化するため）の組み合わせでトレーニングされたと書いています。
「トレーニングデータは、多くの点で、これらのモデルを構築するための秘密のレシピやソースのようなものです」と、MetaのAIプログラムマネジメント担当副社長、ラガヴァン・スリニヴァサン氏はTechCrunchのインタビューで語った。「ですから、私たちはこれに多大な投資をしてきました。そして、今後も改良を続けていくことになるでしょう。」
より大きな文脈とツール
Llama 3.1 405Bは、以前のLlamaモデルよりも大きなコンテキストウィンドウを備えています。128,000トークン、つまり約50ページの書籍の長さに相当します。モデルのコンテキスト、またはコンテキストウィンドウとは、モデルが出力（追加テキストなど）を生成する前に考慮する入力データ（テキストなど）を指します。
より大きなコンテキストを持つモデルの利点の一つは、より長いテキストスニペットやファイルを要約できることです。チャットボットに応用する場合、このようなモデルは最近議論されたトピックを忘れてしまう可能性も低くなります。
Metaが本日発表したもう2つの新しい小型モデル、Llama 3.1 8BとLlama 3.1 70Bは、同社が4月に発売したLlama 3 8BとLlama 3 70Bのアップデート版で、128,000トークンのコンテキストウィンドウを備えています。従来モデルのコンテキストウィンドウは最大8,000トークンだったため、今回のアップグレードはかなりのものです（ただし、新型Llamaモデルがそのコンテキストウィンドウ全体を効果的に推論できると仮定した場合）。
Llama 3.1のすべてのモデルは、AnthropicやOpenAIの競合モデルと同様に、サードパーティ製のツール、アプリ、APIを使用してタスクを実行できます。すぐに使える状態で、最近の出来事に関する質問に答えるためにBrave Search、数学や科学関連のクエリのためにWolfram Alpha API、そしてコード検証のためにPythonインタープリターを利用するようにトレーニングされています。さらにMetaによると、Llama 3.1モデルは、これまで見たことのない特定のツールも、ある程度は使用できるとのことです。
エコシステムの構築
ベンチマークを信じるならば（ベンチマークが生成AIの決定版というわけではありませんが）、Llama 3.1 405Bは実に優れたモデルです。前世代のLlamaモデルには明らかな限界があったことを考えると、これは良いことです。
論文によると、Llama 3.1 405BはOpenAIのGPT-4と同等の性能を示し、Metaが雇用した人間の評価者によると、GPT-4oやClaude 3.5 Sonnetと比較すると「まちまちの結果」となった。Llama 3.1 405Bはコード実行とグラフ生成においてGPT-4oよりも優れているものの、多言語対応能力は全体的に弱く、プログラミング能力と一般的な推論能力ではClaude 3.5 Sonnetに劣っている。
また、そのサイズのため、動作には強力なハードウェアが必要です。Metaは少なくともサーバーノードを推奨しています。
おそらくこれが、Metaがチャットボットの強化やコード生成といった汎用アプリケーション向けに、より小型の新モデルであるLlama 3.1 8BとLlama 3.1 70Bを推進している理由でしょう。同社によると、Llama 3.1 405Bは、モデルの蒸留（大規模モデルからより小型で効率的なモデルへの知識の移転プロセス）や、代替モデルのトレーニング（または微調整）のための合成データの生成に適しているとのことです。
Metaは、合成データのユースケースを促進するため、Llamaのライセンスを更新し、開発者がLlama 3.1モデルファミリーの出力を使用してサードパーティのAI生成モデルを開発できるようにしたと発表しました（これが賢明なアイデアかどうかは議論の余地があります）。重要なのは、このライセンスでは開発者がLlamaモデルを展開する方法に依然として制約があることです。月間7億人を超えるユーザーを抱えるアプリ開発者は、Metaに特別なライセンスを申請する必要があり、Metaは独自の裁量でこのライセンスを付与します。
AIコミュニティ内でMetaのモデルに対する大きな批判を和らげる、出力に関するライセンスに関するこの変更は、同社が生成AIにおけるマインドシェア獲得に向けて積極的に取り組んでいる一環だ。
Llama 3.1ファミリーに加え、Metaは「リファレンスシステム」と名付けたツールと新しい安全ツールをリリースします。これらのツールの中には、Llamaモデルの予測不能な動作や望ましくない動作を引き起こす可能性のあるプロンプトをブロックするものもあり、開発者がLlamaをより多くの場所で利用することを促すものです。また、MetaはLlama Stackのプレビュー版を公開し、意見を募っています。Llama Stackは、Llamaモデルの微調整、Llamaによる合成データの生成、そしてユーザーに代わってアクションを実行できるLlama搭載のアプリ「エージェント型」アプリケーションの構築に使用できるツール向けの近日公開APIです。
「開発者の方々から繰り返し聞かれるのは、Llamaモデルを実際に本番環境にデプロイする方法を学びたいという関心です」とスリニヴァサン氏は述べた。「そこで、開発者の方々に様々なツールやオプションを提供し始めようとしています。」
今朝公開された公開書簡の中で、MetaのCEOであるマーク・ザッカーバーグ氏は、AIツールとモデルが世界中のより多くの開発者の手に渡り、人々がAIの「恩恵と機会」にアクセスできるようになるという将来のビジョンを示している。
非常に慈善的な表現ではあるが、この手紙には、これらのツールやモデルが Meta によって作成されることを希望するザッカーバーグ氏の願いが暗黙のうちに込められている。
MetaはOpenAIやAnthropicといった企業に追いつこうと躍起になっており、実績のある戦略を採用している。それは、ツールを無料で提供してエコシステムを育成し、その後、有料を含む製品やサービスを徐々に追加していくというものだ。数十億ドル規模のモデルをコモディティ化することで、Metaの競合他社の価格を下げ、MetaのAIを広く普及させる効果もある。また、オープンソースコミュニティからの改善点を将来のモデルに組み込むことも可能になる。
Llamaは確かに開発者の注目を集めています。Metaによると、Llamaモデルは3億回以上ダウンロードされ、これまでに2万以上のLlama由来のモデルが作成されています。
誤解しないでください。Metaは本気で取り組んでいます。規制当局に対し、自社が推奨する「オープン」な生成AIの採用を促すロビー活動に数百万ドルを費やしています。Llama 3.1のモデルはどれも、現状の生成AI技術が抱える解決困難な問題、例えば、事実を捏造したり、問題のある学習データを吐き出したりする傾向といった問題を解決していません。しかし、Metaの主要目標の一つである、生成AIの代名詞となることの実現には貢献しています。
これにはコストがかかります。研究論文の中で、共著者らはザッカーバーグ氏の最近の発言に呼応するように、Metaの進化し続ける生成AIモデルのトレーニングにおけるエネルギー関連の信頼性問題について議論しています。
「トレーニング中、例えば、すべてのGPUがチェックポイント作成や集合通信の完了を待機したり、トレーニングジョブ全体の起動やシャットダウンを待機したりすることで、数万台のGPUの消費電力が同時に増減することがあります」と研究者たちは記しています。「このような状況が発生すると、データセンター全体の電力消費が瞬時に数十メガワット規模で変動し、電力網の限界を超える可能性があります。これは、将来的にさらに大規模なLlamaモデルに向けてトレーニングをスケールアップしていく上で、私たちにとって継続的な課題となっています。」
こうした大規模モデルのトレーニングによって、さらに多くの電力会社が古い石炭火力発電所を維持することを余儀なくされることがないように願うばかりだ。
