月之暗面发布了k0-math数学模型，并宣布Kimi 10月份月活跃用户突破3600万。
文丨王与同城曼琪
编辑丨程曼琪
今天下午，月之暗面创始人杨志林出席小型媒体沟通会，并发布了Kimi数学模型k0-math，并表示该模型将在未来1-2周内在kimi产品上上线；杨智霖还透露，10月份Kimi的使用人数已突破3600万。
这次沟通会是前一天组织的。此类活动通常会给现场媒体提问的自由时间。 《月之暗面》这次在网站上开放了3-5个免费问题。同时，提前收集了一些问题，投射到屏幕上。转到PPT，杨之琳选择答案。
周一，《潜流浪潮》报道称，杨志林联合创办的前一家初创公司 的部分股东在香港针对杨志林和 另一位联合创始人张玉涛提起仲裁；知情人士表示，仲裁的原因可能是：杨智霖、张玉涛等人在获得部分周期投资人的同意放弃之前，已经开始为月之暗面融资。
月暗面随后回应：明德律师事务所已接受杨志林、张玉涛的委托。本所认为仲裁事项缺乏法律依据和事实依据，将依法提出答辩。
在沟通会之前，月之暗面表示，沟通会只会讨论技术和产品，不会回应与技术和产品无关的问题，包括仲裁。
在交流会的分享环节中，杨志林首先介绍了Kimi数学模型的一些基本指标。以往很少参与公评的《月之暗面》，这次拿出了与o1的评分对比表。
k0-math 与 o1-mini、o1- 等模型在数学测试中的比较。
据《月之暗面》报道，在中考、高考、考研等考试中，k0-math 的表现比 o1 更好。月之暗面表示，他们使用了中考、高考、考研的真题进行测试。
在数学竞赛OMNI-MATH（北京大学和阿里巴巴今年推出的评估大型语言模型对奥数级问题的推理能力的评估基准）和AIME（美国数学邀请赛）中，k0-math的得分略低在o1。
k0-math的技术思路与o1类似。它还在大语言模型架构上结合了强化学习算法，训练出可以像人类一样一步步思考的模型，并在回答问题和生成内容时展现出“思维链”（CoT，Chian）。
杨志林将其概括为规律上的范式转变：从预测下一个代币（Next-Token）的规模扩张到强化学习（）的规模扩张。
杨之琳在现场展示了一些k0-math的例子。比如，在处理AIME最后一道数学竞赛题时，我就遇到了困难。 k0-math 尝试了多种路径。起初，我使用了不等式。失败后，我用替换法得到了正确答案。 k0-math展示了详细的解决问题的思维过程。
k0-math 是解决数学问题的思维过程的摘录。完整答案有100多行。
在一些简单的问题上，比如1+1是否等于1、4046 / 476是多少，k0-math目前有“想太多”的倾向。杨志林表示，未来，当模型变得更加智能时，它们将能够独立判断哪些问题需要更长的思考时间，哪些问题可以立即得到答案。
对于如何使用新的数学模型，杨志林表示，他们希望在搜索场景中使用以k0-math为代表的强化学习能力，并与Kimi探索版相结合，以便更好地完成复杂搜索，发挥更多作用在工作场景中。价值。
例如，新车型可以理解用户更丰富的意图——当用户输入“特斯拉 Model Y”时，发现版可以推断用户是否想要财务报告信息或价格比较，而不是简单地回答问题。 “在收集过程中，我们可以看到很多不同的数据源，这些数据之间存在冲突，我们需要思考哪些数据是真实有效的。这样，模型就可以扩展到更多的来源。同时，完成连锁推理。”杨之琳说道。
此前，《月之暗面》相关的技术和产品开发大多与无损压缩长文本（long）相关。去年 10 月首次亮相时，《月之暗面》声称 Kimi 可以处理 20 万字的长文本。此后，Dark Side of the Moon发布了-v1系列的三个模型，分别适合生成短文本、长文本和超长文本。今年3月，长文由20万字扩容至200万字。
杨智霖一直强调，模特就是产品。自成立以来，月之暗面很少发布型号和评测信息，谈论最多的是其产品。 《月之暗面》的旗舰产品Kimi自去年11月全面上线以来，月活跃用户也从0增长到3600万。这使得去年4月成立的Dark Side of the Moon的估值达到了30亿美元以上。
除了技术、产品和商业化，市场也在关注公司的核心团队、治理结构以及围绕创始团队的一些尚未完全了解的事件：这包括阿里巴巴年初8亿美元的巨额投资。当年及其后续，以及最近的仲裁争议。
公司往往是创始人个人特质和风格的外流，尤其是早期公司。
AI大模型创业的主线依然是模型技术的演进速度和应用进步。但人们也想更多地了解《月之暗面》以及该公司的创始人是一个什么样的人。
沟通会结束后，杨志林现场回答了一些问题。摘录如下（文字已部分删除）：
谈技术：预训练还有半代到一代的空间，未来的重点是强化学习。
问：您能否完整回顾一下《月之暗面》关注强化学习范式的过程？
杨志林：这个变化其实是可以预见的。我们很早就说过，推理（计算）所占的比例将远远超过训练。本质上，这是同一件事。因为没有那么多数据可供训练，所以必须通过强化学习来生成数据。所以我们早早就在规划强化学习方面可以做些什么，无论是人才还是技术储备。
在人才方面，我们从去年就开始准备；在技术方面，我们也经历了不同的流程。比如一开始是RLHF（基于人类反馈的强化学习，这是GPT-4上使用的微调方法），我们发现上限并没有那么高。所以我们还需要探索新的方法来真正实现规模化。
问：《月之暗面》之前很少直接介绍模型和预训练情况。您目前的预训练情况如何？
杨志林：我觉得预训练还有半代到一代的空间。该空间将于明年发布。明年，领先的模型将把预训练提升到一个更极端的阶段。
但下一个最重要的事情是强化学习。它仍然是，只是一种不同的扩展方式。
问：《月之暗面》的基础模型是部分使用开源模型，还是自己制作的？
杨智霖：我们自己做的。
问：《月之暗面》没有发布多模态模型的原因是什么？
杨志林：我们也在做一些多模态能力的内部测试。
人工智能的下一个最重要的能力是思考和交互。思考远比互动重要，因为思考将决定上限，而互动是必要条件。没有（视觉）能力，就无法进行交互。
您认为上限是多少？这仅取决于执行此任务时标记的难度。需要有博士学位才能贴标签吗，还是每个人都可以做？哪个更难就是（当前）AI的上限。所以我觉得多模态肯定是有必要的，但是思维决定了它的上限（AI）。
问：现在很多人都觉得Law遇到了瓶颈。您认为这会对中美大型车型的竞争产生怎样的影响？差距是越来越大还是越来越小？这对中国企业来说是好事还是坏事？
杨志林：我认为差距是相对恒定的，这对我们来说可能是一件好事。
假设你已经（预训），今年1B，明年10B或者100B，可能无法持续。当然，后期培训也是需要的，但是起点很低。在一段时间内，算力不会成为瓶颈。这时候，创新能力就显得更加重要。在这种情况下我们有优势。
问：像你这样聪明的人会受到法律的限制吗？
杨志林：我是比较乐观的。核心是原始的Scale方法使用的是静态数据集，比较简单粗暴；现在它使用强化学习。在很多情况下，人们参与这个过程，但人们无法标记这么多数据，因此人工智能被用来为人类标记添加杠杆。比如标记100条数据就能起到非常大的作用，因为剩下的都是AI自己完成的。
我现在感觉大概率可以这样去做，所以（法则）的上限很高。
谈产品和商业化：AI已经成为超级应用，Kimi最重要的目标是提高留存率
问：目前新发布的数学模型的推理成本是多少？上线1-2周后，是主动让用户选择是否使用k0-math，还是Kimi自己分配？而由于 Kimi 目前没有付费订阅，如何平衡成本并使 k0-math 可供更多人使用？
杨志林：我们很有可能会先让用户自己选择。这样在前期可以更好的满足用户的期望。
但归根结底这仍然是一个技术问题，有两点：第一，它可以更动态地分配最优算力。如果模型足够聪明，它应该知道需要多长时间去思考什么样的问题，就像人一样，它不会1+1也思考很长时间；其次，从长远来看，成本会不断降低。比如去年要达到GPT-4的水平，今年只需要十几个B参数，但去年可能需要100多个B。整个行业先做大，后做小。这是一个普遍规律。
Q：你如何看待Kimi和豆宝之间的竞争？
杨志林：我不希望我们过分关注竞争，因为竞争不会产生价值。我们更关注如何迭代更好的技术和产品。我们会更加关注如何提高模型的思维和推理能力。
做正确的事而不是做不同的事。只要有人能实现AGI，那就太好了。
Q：Kimi目前最重要的核心任务是什么？
杨之琳：提高留存率。因为留存率是技术成熟度的重要指标，而且还有很大的提升空间（目前的留存率）。我们的模型能力和产品指标高度相关。
目前我们的模型可能还没有足够强的思维能力和足够丰富的交互。当我们把这些事情做得更好之后，留存率会进一步提高。
问：前段时间，有第三方机构预计Kimi今年的花费将在400-5亿元人民币，其中大部分是视频广告。 Kimi的流量策略是什么？
杨志林：第一，数据不准确。第二，对我们来说，最重要的是做好留存和增长工作。适当的传递是需要的，但是这些东西之间的关系需要平衡。
问：需要保持多久才能满意？
杨智霖：永无止境。
团队聊天：不流失人才，主动选择专注
问：您认为行业中的人工智能人才如何从初创公司回归大公司？
杨志林：我们还没有遇到这个问题。其他企业遇到这种情况很正常，因为行业已经进入了新的发展阶段。从一开始做的公司很多，到做的公司越来越少，接下来大家做的事情也会慢慢变得不一样。这是必然的规律。
问：您对《月之暗面》最近的人才流失有何看法？
杨智霖：先问是不是真的，再问为什么。我们没有人才流失，我们主动减少了业务。
这对我们来说也是过去一年比较大的事情。我们一开始尝试把几个产品放在一起做，这在一段时间内起到了作用，但后来我们发现，这实际上会把我们变成一个大公司，没有任何优势。
减少业务，本质上是控制人员数量。在这些大模型的创业公司中，我们始终保持最少的人数和最高的卡人比例，这一点非常关键。我们不希望团队扩张那么多，因为（扩张）对创新来说是致命的。
另外，我们也会根据美国市场的情况来判断哪些业务做大的概率更大。 Super App（超级应用）已经出现，其月活跃用户已突破5亿。它至少是一个超级应用程序的一半。而像.ai这样的产品，一开始就有很多用户，但后期却很难冲出圈子。
所以根据我们自己的判断，包括美国市场的情况，我们会关注那些我们认为上限最高的、和我们AGI最相关的事情。
