研究者は、AIモデルが些細な変更で数学の問題につまずくことから、AIの「推論」能力に疑問を抱いている。

機械学習モデルはどのようにしてその機能を実現するのでしょうか？そして、私たちが理解しているのと同じように、本当に「思考」したり「推論」したりしているのでしょうか？これは哲学的な問いであると同時に、実用的な問いでもあります。しかし、金曜日に発表された新しい論文によると、少なくとも現時点では、その答えは明確に「ノー」であることが示唆されています。

AppleのAI研究者グループは木曜日、「大規模言語モデルにおける数学的推論の限界を理解する」という論文を一般公開しました。記号学習やパターン再現といったより深い概念は少々難解ですが、研究の基本概念は非常に理解しやすいものです。

次のような簡単な数学の問題を解くように頼んだとします。

オリバーは金曜日に44個のキウイを摘みました。そして土曜日には58個のキウイを摘みました。日曜日には金曜日の2倍の数のキウイを摘みました。オリバーは何個のキウイを持っているでしょうか？

答えは明らかに44 + 58 + (44 * 2) = 190です。大規模言語モデル（LLM）は実際には算術演算の精度にばらつきがありますが、このような問題は比較的確実に解くことができます。しかし、もしここに少しランダムな追加情報、例えば次のようなものを加えたらどうなるでしょうか。

オリバーは金曜日に44個のキウイを摘みました。土曜日には58個のキウイを摘みました。日曜日には金曜日の2倍の数のキウイを摘みましたが、そのうち5個は平均より少し小さかったです。オリバーは何個のキウイを持っているでしょうか？

同じ数学の問題ですよね？もちろん、小学生でも小さなキウイでもキウイであることは分かります。しかし、実はこの追加データポイントは最先端の法学修士課程でさえも混乱させてしまうのです。GPT-o1-miniの見解は以下の通りです。

日曜日に、これらのキウイのうち5個が平均より小さかったので、日曜日の合計からそれらを差し引く必要があります。88個（日曜日のキウイ）- 5個（小さめのキウイ）= 83個

これは研究者が軽く変更した何百もの質問のうちの単なる一例ですが、そのほとんどすべてにおいて、その質問を試みたモデルの成功率が大幅に低下しました。

では、なぜそうなるのでしょうか？問題を理解しているモデルが、なぜ無関係なランダムな詳細によってこれほど簡単に混乱してしまうのでしょうか？研究者たちは、この確実な失敗モードは、モデルが実際には問題を全く理解していないことを意味していると主張しています。訓練データによって、モデルは状況によっては正しい答えを返すことができますが、小さなキウイを数えるかどうかなど、ほんの少しでも実際の「推論」が必要になると、奇妙で​​直感に反する結果を出し始めます。