量子比特 |公众号
GPT-5 的效果远不如预期。
连续12场的发布会刚刚结束，大家最想看到的GPT-5/4.5却不见踪影，于是《华尔街日报》爆料了这一消息。
GPT-5已经完成了至少2轮训练，每轮持续数月，但每次训练后都会遇到新问题。
我们正在招聘人员编写代码并做数学题，以便从头开始为 GPT-5 创建数据。也使用了O1合成数据，但效率不够高，很难满足GPT-5的预训练要求。
据市场估算，仅六个月的培训课程就耗资5亿美元。 GPT-5的两次训练进行得并不顺利，背后的成本肯定是天文数字。
伊利亚前不久宣布的2024年预训即将结束，似乎又名正言顺了……
这也与The之前的消息相呼应。随着GPT系列的演进速度放缓，它正在尝试调整策略，比如推出了o1和o3系列。
目前，最新爆料尚未得到回应。
但GPT-5到底是隐藏不发布，还是不能发布呢？答案更加确定一些。
海量数据算力不足以预训练GPT-5
在《华尔街日报》的爆料中，人们对 GPT-5 的期望很高。
它可以进行科学发现并完成日常人类任务，例如预约和预订航班。希望它会犯更少的错误，或者能够承认错误的存在，这意味着它将减少幻觉。
这与之前透露的信息相呼应。前CTO Mira曾将GPT-5的智力水平形象地比作博士生的智力水平。
这意味着GPT-5可以在某些特定领域取得高水平的成果，并且可以像研究生和博士一样拥有深刻的理解、推理和专业知识。相比之下，GPT-3是一个幼儿，而GPT-4是一名高中生。
今年10月，最新融资66亿美元，估值飙升至1570亿美元。投资者重新投资相信是因为相信GPT-5将能够实现重大飞跃。
但 GPT-5 的发布一直悬而未决。
此前表示，GPT-5不会有明确的发布时间，准备就绪后就会发布。这个时间可能是2025年或者2026年。
现在回想起来，GPT-5的推出可谓坎坷。
2023年，有消息透露，一款代号为的车型被废弃。放弃的原因是该模型无法在保持性能的同时减少对计算资源的需求，没有达到预期的训练效率。
这实际上反过来证明，如果想要训练更大规模的模型，仍然需要更大的计算资源和更长的时间。
从设定来看，GPT-5显然将是一个“巨无霸”。
GPT-5 的开发是在 GPT-4 发布时开始的。已经过去18个多月了。
它的内部代号是Orion。按照最初的计划，微软希望在 2024 年中期看到 GPT-5。
《华尔街日报》披露，GPT-5至少进行了两轮大规模训练。每次都需要几个月的时间，而且每次都会遇到新的问题。
在最佳状态下，Orion 的性能比当前产品更好。但与消耗的成本相比，这种提升并不明显。
据估计，为期六个月的培训课程仅计算能力就花费 5 亿美元。相比之下，GPT-4的培训成本超过1亿美元。
另一方面，如果你想要一个更好的模型，你需要更多的数据。
公共数据源已经耗尽，因此决定雇用人员从头开始构建数据。据介绍，它专门聘请了一些软件工程师和数学家来编写代码并解决数学问题供GPT-5学习。
AI圈内一直相信，模型学习代码可以提高其解决其他问题的能力。
同时，我们也正在与一些物理学家合作，让 GPT-5 学习科学家如何理解该领域的问题。
但问题是，这太慢了。
AI也正在走合成数据的道路。据说GPT-5使用的是o1合成的数据。
这种范式可能已经是可论证的。
隔壁还透露，AI合成数据用于训练模型。他们的方法是将合成数据保留在最常用的模型中，因为模型性能与合成数据的质量成正比。
以上大概就是GPT-5的最新相关信息了。
但话又说回来，现在谁关心 GPT-5（手动狗头）呢？
毕竟推理法则是从o1和o3系列开始的。
刚刚发布的o3在ARC-AGI上创下了新的成绩。最新的结果报告显示，o3 在 400 项公共任务上的最好成绩达到了 91.5%。
在核心机制方面，o3也提供了新的启发。它通过LLM在代币空间中搜索并执行，实现测试时的知识重组。
随着o3系列的发布，AGI的预测还是很有吸引力的。
o3土邦ARC-AGI测试，离AGI还有多远？
我简单介绍一下ARC-AGI数据集。问题有一个色块网格数组（以文本形式表示，数字代表颜色）。大模型需要观察每个问题中的3个输入输出示例，然后根据规则填充新的示例。空白网格。
这些例子都比较简单，但实际面临的问题可能如下：
ARC-AGI测试集总共包含400个公共问题和100个私人问题。
在公开问题中，o3高效版本的准确率为82.8%，消耗了1.11亿个Token，每个任务的平均成本为17美元。
低效版本（计算量是高效版本的172倍）准确率高达91.5%，但消耗的代币数量也达到了惊人的95亿。
此外还制作了专门针对ARC-AGI的版本，使用75%的公共数据集进行训练。
该版本在私人测试集上进行了测试，低计算模式的准确率达到了 76%，高计算模式的准确率达到了 88%。
此外，低计算版本的成本在 ARC-AGI-Pub 的规则范围内（
