Ai2がMetaのLlamaに匹敵する新しい言語モデルをリリース

新しい AI モデル ファミリが登場しており、これはゼロから再現できる数少ないモデルの 1 つです。

火曜日、故マイクロソフト共同創業者ポール・アレン氏が設立した非営利AI研究組織Ai2は、OLMoシリーズの2番目のモデルファミリーとなるOLMo 2をリリースしました。（OLMoは「オープン言語モデル」の略です。）「オープン」言語モデルは数多くありますが（例えばMetaのLlamaなど）、OLMo 2はオープンソース・イニシアチブのオープンソースAIの定義を満たしており、開発に使用されたツールとデータは公開されています。

オープンソースに関するあらゆるものを定義し「管理」することを目的とする長年の組織であるオープンソース・イニシアチブは、10月にオープンソースAIの定義を最終決定しました。しかし、2月にリリースされた最初のOLMoモデルもこの基準を満たしていました。

「OLMo 2は、オープンでアクセス可能なトレーニングデータ、オープンソースのトレーニングコード、再現可能なトレーニングレシピ、透明性のある評価、中間チェックポイントなどを用いて、最初から最後まで開発されました」とAI2はブログ投稿に記している。「データ、レシピ、そして調査結果をオープンに共有することで、オープンソースコミュニティに、新しく革新的なアプローチを発見するために必要なリソースを提供したいと考えています。」

OLMo 2ファミリーには、70億パラメータ（OLMo 7B）と130億パラメータ（OLMo 13B）の2つのモデルがあります。パラメータ数はモデルの問題解決能力にほぼ対応しており、パラメータ数が多いモデルはパラメータ数が少ないモデルよりも一般的に優れたパフォーマンスを発揮します。

ほとんどの言語モデルと同様に、OLMo 2 7B および 13B は、質問への回答、ドキュメントの要約、コードの記述など、さまざまなテキストベースのタスクを実行できます。

Ai2はモデルの学習に5兆トークンのデータセットを使用しました。トークンは生データのビットを表し、100万トークンは約75万語に相当します。学習セットには、「高品質にフィルタリングされた」ウェブサイト、学術論文、Q&A掲示板、そして「合成および人間が作成した」数学のワークブックが含まれていました。

テッククランチイベント

サンフランシスコ | 2025年10月27日～29日

Ai2 は、その結果、Meta の Llama 3.1 リリースのようなオープン モデルと、パフォーマンス面で競争力のあるモデルが生まれたと主張しています。

「以前のOLMoモデルと比較して、すべてのタスクにおいて劇的なパフォーマンス向上が見られるだけでなく、特にOLMo 2 7BはLlama 3.1 8Bよりも優れた性能を発揮します」とAi2は記している。「OLMo 2は、現時点で最高の完全オープン言語モデルと言えるでしょう。」

OLMo 2モデルとそのすべてのコンポーネントは、Ai2のウェブサイトからダウンロードできます。Apache 2.0ライセンスに基づいているため、商用利用可能です。

最近、オープンモデルの安全性をめぐって議論が巻き起こっています。Llamaモデルが中国の研究者によって防御ツールの開発に使用されているとの報道があるからです。2月にAi2のエンジニアであるDirk Groeneveld氏に、OLMoの悪用を懸念しているか尋ねたところ、彼は最終的にはメリットがデメリットを上回ると考えていると答えました。

「確かに、オープンモデルが不適切に、あるいは意図しない目的で使用される可能性はあります」と彼は述べた。「しかし、このアプローチは、より倫理的なモデルにつながる技術進歩を促進します。また、検証と再現性はフルスタックへのアクセスなしには実現できないため、その前提条件となります。さらに、権力の集中を抑制し、より公平なアクセスを実現します。」