聪明的东西
编译王悦
编辑
智动新闻11月11日报道称，据报道，GPT系列车型的改进速度已经放缓，公司正在调整策略以应对这一挑战。据员工介绍，下一代旗舰车型Orion已经完成了约20%的训练。 Orion在语言任务上表现不错，但在编码等方面并没有超越GPT-4，而且运行成本较高，提升幅度低于预期。另外，Orion明年初发布时，可能不会遵循传统的“GPT”命名规则，而是采用新的命名方式。
Orion的发展暴露了高质量文本数据的短缺。根据定律理论，模型性能应该随着数据量和计算能力的增加而提高。然而，高质量数据的限制限制了Orion的训练效果，令该法则的适用性受到质疑。即使投入更多的数据和计算能力，模型的改进速度可能不再像前几代那么显着。
为此，我们成立了专门的团队来研究如何克服数据短缺的挑战，并评估该法可以适用多久。
1. 碰上数据墙，Orion在某些方面与旧模型相似
员工表示，GPT改进速度放缓的一个重要原因是缺乏高质量的文本和其他数据。大型语言模型（LLM）的预训练需要大量的数据来建立模型对世界和概念的理解，以确保其能够完成写作或编程等任务。然而，随着现有数据源的日益充分利用，模型改进面临瓶颈。
▲LLM发布前的培训和测试流程（来源：The ）
为了解决数据缺乏的问题，由前预训练负责人尼克·莱德（Nick Ryder）领导的团队已经成立，以探索如何克服数据短缺和法律的未来适用性。
Orion模型的部分训练数据来自AI生成的数据，即GPT-4等旧模型生成的合成数据。然而，这种方法可能会导致 Orion 在某些方面呈现旧型号的特征。
其他方法也被用来优化LLM处理任务的能力，比如要求模型从大量数学或编程问题样本中学习，通过强化学习提高问题解决效率。此外，人类评估者还将对模型的编码和解决问题的表现进行评分。这种基于人类反馈的强化学习为模型优化带来了重要支持。
今年9月，推理模型o1上线。与传统模式不同的是，o1在回答之前“思考”了更长的时间。它通过增加计算资源来提高响应质量，呈现出“测试时计算”的效果。尽管o1的运行成本是普通模型的六倍，而且该模型的客户群也更加有限，但相信它将在科学研究和复杂代码生成等领域带来突破。
▲“ol”推理模型如何更好地解决奥数题（来源：）
2、LLM发展平台期间，基础设施投入的效果值得怀疑。
报道称，meta CEO 马克·扎克伯格（Mark ）、 以及其他 AI 开发公司的 CEO 都曾公开表示，目前的技术尚未达到法律规定的极限。这可能是包括谷歌在内的公司仍在投资数十亿美元建设大型数据中心以进一步提高预训练模型性能的原因之一。
然而，研究人员诺姆·布朗在上个月的 TEDAI 会议上表示，开发更先进的模型在经济上可能不可持续。布朗问题：我们真的需要花费数千亿美元甚至更多来训练新模型吗？扩展模式最终将达到瓶颈。
它的下一代型号猎户座仍在进行漫长的安全测试。据公司员工透露，Orion明年初发布时，可能不会遵循传统的“GPT”命名规则，而是采用新的命名方式。官方尚未对此发表评论。
一些在AI开发者身上投入了数千万美元的投资者也担心LLM是否已经开始稳定下来。
本·霍洛维茨（Ben ）是股东之一，还投资了 Safe and Safe 等竞争对手。他曾表示，自己一直在增加训练AI所需的GPU数量，但似乎并没有实现预期的智能提升。不过，他没有进一步详细说明。霍洛维茨的同事马克·安德森（Marc）表示，许多聪明的研究人员正在努力突破技术瓶颈，尝试提高推理能力。
这家企业软件提供商的联合创始人兼董事长 Ion 表示，LLM 在某些方面可能已经达到了平台期，但在其他方面仍在取得进展。表示他们的平台允许应用程序开发人员评估不同的法学硕士，发现虽然人工智能在编码和解决复杂的多步骤问题方面不断改进，但在执行一些一般任务（例如分析文本情感或描述医疗症状）时却失败了。产能似乎正在放缓。
他还表示，在常识问题上，LLM的表现可能已经接近极限。为了进一步提高模型能力，企业需要更多的事实数据，而合成数据的帮助有限。
结论：强化学习提高模型性能，持续投入保持竞争力。
正在采用多方策略来应对当前的技术瓶颈，特别是LLM面临的高质量数据短缺和性能提升困难。为了克服这些挑战，强化学习不仅可以提高数学和编程等特定任务中的模型性能，而且还依赖AI数据平台Scale AI和LLM培训师等初创公司来管理大量外包承包商来支持培训过程。
尽管目前AI基础设施的投资回报尚未明显，LLM培训面临巨大的资金压力和技术挑战，但市场竞争和投资热情并未消退，竞争对手不断下注。例如，马斯克的大模型独角兽xAI与X 和合作，构建了10万个H100 GPU的强大集群； meta投入400亿建设了类似规模的GPU集群，支持Llama 4模型的训练；苹果还积极推动与富士康的合作，提升自家设备的AI算力。
