オープンソースAIコミュニティの誰に聞いても、彼らと大手民間企業との差は単なる計算能力以上のものだと言うでしょう。Ai2は、まず完全にオープンソースのデータベースとモデルを開発し、そして現在では、オープンで容易に適応可能な学習後処理プログラムによって、「生の」大規模言語モデル（LLM）を実用的なものへと変換することで、この問題を解決しようと取り組んでいます。
多くの人が考えているのとは反対に、「基礎」言語モデルは学習プロセスを終えた途端、すぐに使える状態になるわけではありません。もちろん、事前学習プロセスは必要ですが、それだけでは十分ではありません。中には、事前学習はもはや最も重要な部分ではなくなるかもしれないと考える人もいます。
なぜなら、真の価値が生み出されるのはトレーニング後のプロセスであることがますます明らかになってきているからです。そこでは、クッキーのレシピと同じくらい簡単にホロコースト否定論を展開するような、巨大で物知りネットワークからモデルが構築されます。一般的に、そのような状況は望ましくありません！
企業はトレーニング後の研修計画については秘密主義です。なぜなら、誰もがウェブをスクレイピングし、最先端の方法を使用してモデルを作成することはできますが、そのモデルを、たとえばセラピストやリサーチアナリストにとって役立つものにするのはまったく別の課題だからです。
Ai2（旧称アレンAI研究所）は、MetaのLlamaのような、表向きは「オープン」とされているAIプロジェクトのオープン性の欠如について声を上げています。確かにこのモデルは誰でも自由に利用・改良できますが、その原型となるモデルの作成過程や入手先、そして一般利用に向けたトレーニング方法は厳重に守られた秘密のままです。それ自体は悪いことではありませんが、真に「オープン」とは言えません。
一方、Ai2 は、データの収集、キュレーション、クリーニング、その他のパイプラインから、OLMo などの LLM を作成するために使用したトレーニング方法まで、可能な限りオープンにすることに取り組んでいます。
しかし、単純な真実は、そもそも独自の LLM を実行できる能力を持つ開発者はほとんどおらず、Meta、OpenAI、または Anthropic のようにトレーニング後の処理を実行できる開発者はさらに少ないということです。その理由の一部は方法がわからないためであり、また技術的に複雑で時間がかかるためです。
テッククランチイベント
サンフランシスコ | 2025年10月27日～29日
幸いなことに、Ai2はAIエコシステムのこの側面も民主化したいと考えています。そこで登場するのがTülu 3です。これは、以前のより初歩的な学習後処理プロセス（ご想像のとおり、Tülu 2と呼ばれていました）から大幅に改良されています。この非営利団体によるテストでは、このモデルは市販されている最も先進的な「オープン」モデルと同等のスコアを達成しました。これは、数ヶ月にわたる実験、大手企業が示唆する情報の読み取りと解釈、そして数多くの反復的な学習実行に基づいています。
基本的に、Tülu 3は、モデルにどのトピックを扱わせたいか（例えば、多言語対応を控え、数学とコーディングを重視するなど）の選択から、データキュレーション、強化学習、微調整、プリファレンスチューニングといった長いプロセスを経て、私が十分に説明できない数多くのメタパラメータやトレーニングプロセスを調整するまで、あらゆることをカバーしています。その結果、必要なスキルに重点を置いた、はるかに優れたモデルが完成するはずです。
しかし、真のポイントは、民間企業のおもちゃ箱からもう一つおもちゃを取り出すことです。以前は、カスタムトレーニングを受けた法学修士（LLM）を育成したい場合、何らかの形で大手企業のリソースを利用するか、代わりに作業をしてくれる仲介業者を雇うしかありませんでした。これは費用がかかるだけでなく、一部の企業が避けたいリスクも伴います。
例えば、医療研究・サービス企業の場合、OpenAIのAPIを使ったり、Scaleなどの企業と連携して社内モデルをカスタマイズしたりすることは可能ですが、どちらも機密性の高いユーザーデータを扱う外部企業に関わることになります。避けられない場合は我慢するしかありませんが、もしそうでない場合はどうでしょうか？例えば、研究機関がオンプレミスで実装できる、包括的なトレーニング前後のトレーニング計画を公開していたらどうでしょうか？その方がより良い選択肢となるかもしれません。
Ai2自身もこれを使用しており、これは最高の推薦と言えるでしょう。本日公開されたテスト結果ではLlamaを基盤モデルとして使用していますが、近々OLMoベースでTülu 3で学習済みのモデルを公開する予定です。このモデルはベースラインよりもさらに改良が加えられ、隅々まで完全にオープンソースとなる予定です。
モデルが現在どのように機能しているか知りたい場合は、ライブデモを試してみてください。
デヴィン・コールドウェイはシアトルを拠点とする作家兼写真家です。
彼の個人ウェブサイトは coldewey.cc です。
バイオを見る
