与现有的GSM-8K、MATH等试题集不同，据说其中的数学题特别复杂，涵盖了现代数学中的数论、代数、几何等领域。据说这些问题极其困难，甚至可以由人类专家来回答。通常需要几个小时甚至几天。
IT之家了解到，题目由人工智能领域的资深专家设计。相应的问题声称，AI不仅需要理解数学概念，还需要具备在复杂情况下推理的能力，从而防止模型用过去学过的类似问题进行比较并回答。
▲ 题库题型举例
研究机构表示，他们对目前市面上的AI模型进行了初步测试，发现这些模型普遍表现不佳，其中包括3.5和GPT-4等模型，此前它们在GSM-8K和MATH上取得了近乎满分的成绩。出题的成功率也很低（成功率不到2%）。
研究团队指出，人工智能解决高级数学问题的主要困难在于，这些模型通常依赖于训练数据中学到的类似问题来生成答案，而不是真正理解和推理问题本身的逻辑结构。这意味着目前业界大部分的AI模型只要遇到以前没有学过的问题就很容易出错。这个原则性问题很难通过“暴力增加模型大小”来解决，需要开发者从模型推理架构层面入手。进行深度改造。
