AIxiv 是机器之心旗下一个发布学术和技术内容的专栏。过去几年，机器之心的 AIxiv 专栏共收到超过 2000 篇文章，涵盖全球各大高校和企业的顶尖实验室，有效促进了学术交流和传播。如果你有优秀的作品可以分享，欢迎投稿或联系我们进行报道。投稿邮箱：
大型语言模型（LLM）是如何解决数学问题的？是通过模板记忆，还是真的学会了推理思维？模型的心算过程是怎样的？它能学会什么样的推理能力？和人一样，还是超越人了？只学一门数学，对通用智力的发展有帮助吗？LLM为什么会犯推理错误？LLM要学多深，才能推理？
论文地址：
近日，CMU meta FAIR 和叶天、徐子成、李远志、朱泽元四人团队在 arXiv 上发表最新论文《语言模型物理学第 2.1 部分：小学数学与隐藏的推理过程》，利用受控实验巧妙地回答了上述问题。推特用户@评论称，“这一结果将一劳永逸地解决关于 LLM 是否具有推理能力还是只是随机鹦鹉的争论。”
编者按：《语言模型物理》全系列受邀于7月22日在ICML 2024国际机器学习会议上做了两小时的特别报告，反响热烈，据报道掌声不断。第2.1部分。
图1
论文详解
首先，按照这个系列的惯例，作者认为我们不应该通过与 GPT-4 这样的大型模型交谈来猜测它们的思维模式，这类似于动物的行为，虽然可行，但还不够严谨，无法科学地揭示 GPT-4 内部的思维过程。
此外，从数据角度来看，只有充分访问模型的预训练集（数据），我们才能清楚地识别出模型已经见过哪些问题，哪些问题是通过推理学到的。也很难说它是否见过这些问题的变体（比如用不同的语言或被 GPT-4 重写）。
为此，作者们创建了 iGSM，这是一组人工合成的模拟小学数学的思维问题，并在 iGSM 上从头预训练模型，以控制模型所接触的问题类型。值得注意的是，iGSM 不包含常识信息，只包括 mod 23 范围内的加减乘除，所有计算都使用 CoT 一步步完成。iGSM 允许受控实验专注于模型的推理能力，而忽略其他因素（如大整数运算）图 2 展示了一个简单的例子。
图 2
利用这个数据集，作者首先测试了 GPT2（RoPE 版）的性能。用 op 来表示解决问题所需的数学运算次数，作者发现，在 op ≤ 21 的问题上训练时，模型不仅达到了 99% 的准确率，而且 % 的准确率，在更难的问题（比如 op=32）上也能保持 83% 的准确率（见图 3）。这说明模型已经学会了一些推理技巧，毕竟它没见过 op>21 的问题（顺便说一句，GPT-4o 在这个数据集上只能处理 op=10 的问题，超出这个难度的问题就如同盲猜一样，我们会在文章最后讨论这个问题。）
那么模型到底学会了什么样的推理技巧呢？解决 iGSM 数学问题至少有两种方法。一种是作者所说的“0 级推理”，也就是“蛮力计算”。这里面有复杂的依赖关系，有些可以直接计算，有些则需要先计算其他变量。比如小张的水果比小王多三倍，那么我们要先算出小王有多少个苹果和梨，然后把这些加起来，才能算出苹果和梨的总数。再开始数小张手里的水果数量。“0 级推理”就是尽可能地枚举所有变量，每次随机找一个可计算的变量，计算结果再继续。
对应的方法就是“1级推理”：通过拓扑排序，从问题出发，逆向推导确定哪些变量需要计算，然后从叶子节点开始向上计算，力争“最短解”。常见的数学问题通常采用1级推理解决，不会计算“不必要的变量”。比如小张的水果比小王多3倍，我们问小张有多少个水果，那么小李有多少个苹果就是不必要的变量，小王有多少个苹果和梨就是必要的变量。
如图 3 所示，作者发现 GPT-2 几乎每次都能学习 1 级推理并给出最短答案。这非常困难！因为在模型生成第一句话之前，它必须在其脑海中完成整个过程的拓扑排序——否则它怎么知道哪些变量是不必要的？如果模型一开始就生成“小李有 7 个苹果”，就没有办法回头得到最短答案了。
图片 3
那么，模型是如何学习“1级推理”的呢？为此，作者对模型内部参数进行了探索性研究（见图4）。结论表明（具体探索方法见论文），当模型生成第一句话之前，就已经在心里确定了哪些变量A是“必要的”（nece(A) = True）。同时，在说完每一句话之后，模型还会在心里计算出后面所有“可计算”的变量A（nece(A) = True）。因此，模型只需要对nece进行逻辑AND运算，就能从叶子节点开始，一步步给出完整的计算过程。
值得注意的是，这些复杂的心算能力在训练集中并没有展现出来，模型仅仅接触了iGSM数据，只看到了“语言”部分（问题和答案），但它自己学会了类似人类的思考过程（ ），并找到了最优解！也就是说，这项研究驳斥了我们一周前在《语言≠思考，大模型学不会推理：一篇让AI社区抓狂的文章》中的报道，用科学的方法证明了大模型学不会推理，而模型确实可以通过语言来学习思考。
更神奇的是，模型学习到的远不止这些。在图4中，作者还发现模型可以在心算中算出很多对解决问题毫无用处的信息。比如，就在描述完变量关系之后，甚至在提出问题之前，模型就已经知道任意两个变量A和B之间是否存在递归依赖关系——即使这些变量与问题无关。对于人类来说，我们通常会从问题出发，逆向而行，忽略不必要的变量，而GPT-2语言模型则会梳理整个关系图，为未来可能被问到的任何问题做好准备。作者将这种能力称为“2级推理”。
虽然“2 级推理”对于解决问题来说并非必需，但它确实是一种更通用的技能。模型利用并行能力对信息进行大量因果排序，这种能力是语言模型在学习解决问题时自己掌握的，没有人（数据）教过它这样做。作者推测，这可能是通用人工智能（AGI）中“通用”一词的潜在由来，即语言模型可以超越数据集所教授的技能，学习更通用的能力。
图 4
接下来作者研究了模型为何会犯错误，总结一下，在iGSM数据集上，模型几乎只犯了两类错误：一是计算不必要的变量，二是计算当前尚未计算的变量，如图5所示。
对于前者，作者发现，如果模型在生成答案之前犯了心算错误，误以为某个变量 A 是“必要的”（nece(A) = True），那么模型在生成答案时很可能会强制计算 A。这一发现非常有趣，因为它表明许多错误都是系统性的，模型在生成第一个 token 之前甚至在张嘴之前就可以确定自己会犯错误（通过探测）。这与模型生成过程中的随机性或光束无关。
至于后者，作者也将其归结为心算错误，并将用一整篇后续 Part 2.2 论文来专门提升模型的心算能力，从而最终提高解题准确率。这篇论文尚未发表，我们将在公众号持续关注和报道。
图 5
下一个结论是，作者反驳了缩放定律中大模型“大为王”的强调，即模型的性能只与参数数量有关，而与宽度或深度无关。这一观点最早由缩放定律论文表达，并在几乎所有后续研究中得到遵循。
作者使用 iGSM 数据集进行了对照实验，如图 6 所示。通过比较较小、较深的模型和较大、较宽的模型，他们发现，在 iGSM 中，模型的深度对于解决数学问题显然比宽度更重要。例如，20 层、9 个 head 的模型比 4 层、30 个 head 的模型表现要好得多，尽管后者的参数数量是前者的两倍。
此外，作者发现对深度的依赖源于模型心算的复杂性。通过在不同深度上探测模型，作者发现对于距离问题较远的变量A，心算nece(A)往往需要更多的层数。具体来说，如果变量A与问题变量的距离为t，那么需要t步心算才能知道nece(A)=True。t越大，模型需要的层数越多，如图6所示。
作者强调，模型对深度的依赖无法通过 Chain-of- (CoT) 来抵消。事实上，iGSM 中的数学问题求解已经尽可能地使用了 CoT，即将所有计算分解为步骤。即便如此，模型仍然需要通过心算来规划 CoT 的第一步应该是什么——这个心算过程可能仍然需要多个步骤。这解释了模型对深度的依赖。
图 6
综上所述，与99%以上研究LLM行为过程的论文（ ）不同，本文作者另辟蹊径，揭示了LLM在解决数学问题时的心理过程（ ），为理解LLM的智力提供了新的视角。
文章最后作者指出，即便是 GPT-4 在 iGSM 数据集上也只能进行最多 10 步推理，这说明即便是目前最强大的、利用全部互联网数据的模型，也依然无法准确预测未来，完成超过 10 步的推理。这说明现有大型模型使用的预训练数据集可能还有很大的提升空间，通过本文的方法，建立人工合成数据，增强模型的推理能力和信息梳理能力，或许是一种新的可能性。
