“如果说长文本是《月之暗面》登陆月球的第一步，那么提升模型的深度推理能力就是第二步。”月之暗面创始人杨志林在接受科创板日报等媒体采访时表示。
除了数学推理模型之外，杨志林透露，几个多模态能力也在内部测试中。
作为人气选手，杨智霖近期卷入仲裁纠纷，面临人才流失的质疑。
杨志霖回应称，并没有人才流失，而是主动选择减少业务。
“先聚焦，再全球化，需要有更多的耐心。我们不想把团队扩大那么多，这会对创新产生致命的影响。如果想让团队保持在一定规模，最好办法就是削减一些业务。”
据悉，kimi的月活跃用户已达3600万。在谈到用户转移策略时，杨志林表示，最关键的是提高用户留存。这是目前的核心任务，而且没有上限。
“百模大战”已经持续一年多，行业关注焦点从卷材模型转向卷材应用。此前有报道称，一些大型模型公司放弃预训练模型，将业务重心转向AI应用。
对于大型预训练模型的未来发展，杨志林认为，大型预训练模型仍有迭代的空间。 “预计明年将发布半代到一代模型的空间。我认为明年，行业领先的模型将达到预训练的一个相对极端的阶段。”
▌法律仍然有效，但需要更好的方法
大模型定律，即规模定律，是当前AI圈子很多人都信奉的定律，所谓定律认为“大努力才能创造奇迹”。随着模型规模、训练数据和计算资源的增加，模型性能将显着提高。
杨智霖认为，“”是AI不变的关键词。 “过去几年支撑人工智能技术的进步基本上可以归结为一个词。”
不过，杨志林表示，并不是说把模型做大，而是需要找到有效的扩展方式，比如更好的数据和方法。
“我们会越来越关注基于强化学习方法的Scale。我们相信AI的下一个发展方向仍然是Scale，但是Scale的过程不一样，更多的是强化学习。在强化学习中，在此过程中获得更多数据。”
杨志林将人工智能的发展比喻为摇摆，在两种状态之间来回切换。 “一种状态是算法数据完整，但算力不够，这需要更多的项目和更好的基础设施，这样才能实现持续改进。从诞生到GPT4，更多的矛盾是它如何能够规模化，但算法和数据可能没有本质问题。”
然而，当算力扩大到一定规模时，模型的质量很难随着算力的增加而直接提升。
“这个时候的情况是，你会发现增加更多的算力并不一定会看到直接的提升。因为核心是没有高质量的数据，小到几十G的代币都是人类积累起来的。”互联网20多年来的上限，因此，所有好的算法都是朋友，并且会不断变得更好。”
▌大模型需要提高思维能力
大型模型的出现和AIGC的应用改变了人机交互的方式。不少行业前景认为，在以大模型为代表的AIGC技术的支持下，人机交互体验将被彻底重构。杨志林认为，在强调交互能力的同时，更要注重大模型的思维能力。
“人工智能最重要的是思考和交互的能力。思考远比互动重要。这并不是说互动不重要。互动是必要条件，但思维将决定上限。因此，接下来重要的事情就是赋予AI思考的能力。”
AI最适合锻炼思维能力的场所无疑是数学场景。
“伽利略曾经说过，宇宙是用数学的语言书写的。它是整个宇宙的基石，很多定律只是通过数学来描述。而且优点是不需要与外界交互。相对而言“从严格意义上讲，它是严格自成一体的，它本身可以成为一个系统，这使得数学成为AI学习这种思维能力的一个非常好的场景。”杨志林说。
与文本应用能力相比，大模型的数学能力一直存在较大差距。
今年6月，上海人工智能实验室利用其思南测评系统，对高考“外语与数学”7个大模型的能力进行了测试。测试结果显示，三科总分为420分，大模型最高分仅为303分。其中，语文和英语成绩比较好，数学不及格。
杨志林表示，目前的模式还存在一定的局限性。 “比如拿高考数学最难的题去考一个大模型，有一定概率会做错。但模型本身的能力提升得很快。比如去年，它大概可以做 23% 的高考题，准确率达到 10%，但现在我们可以做到 90% 的准确率。”
在现场演示中，Kimi回答了数学竞赛和高等数学的问题。通过使用强化学习来接近更强的链接思维，他确保了每一步的正确性，当得出答案时，他就像一个人一样。执行相同的第二次验证。
“当然，还有很大的进步空间，但是如果我们继续做强化学习，应该能够在更多的场景下完成长链接的思维和复杂的推理。还有一个很重要的一点就是，更多的泛化，这个这种推理可以推广到更多任务。”杨志林说。
据悉，《月之暗面》计划探索教育领域，并将其与Kimi搜索场景相结合。 “无论是K12、大学甚至比赛，都会有很多场景可以用在这里。我们还是希望能够更多地泛化，比如在搜索场景中使用强化学习技术，与Kimi探索版相结合，提高模型在搜索过程中进行推理以进行更复杂搜索的能力。”
▌专注核心业务，不要把自己变成大公司
近日，市场上有消息称，月之暗面正在缩减海外项目，重点关注Kimi。杨智霖透露，今年三四月份左右，他做出了专注于Kimi、减少业务的决定。
“这个是基于对美国市场的判断，第二是基于我们自己的观察。我们主动选择了减少业务，我们应该专注于天花板最高的事情，做好它。”
杨志林认为，创业团队数量不宜过多，而应真正注重提升核心创新能力。如果你把自己变成一个大工厂，你就没有任何优势了。
“在国内的大模创业公司中，我们始终保持最少的人数和最高的卡人比例，这一点非常关键。我们不想把团队扩大那么多，因为人数的扩大对创新有致命的影响，如果想让团队保持在一定规模，最好的办法就是对业务进行一些缩减。”
杨智霖透露，“一开始我也尝试把几个产品一起做，可能在一段时间内有效。后来我发现我们还是需要专注，把一个产品做得完美才是最重要的。”比如，三个业务如果一起做，就会变成一个大工厂，就没有优势了。”
对于大模型的研发，杨志林表示，预训练大模型还有半代到一代的空间。预计明年预训练的大型模型将达到更极端的阶段，但重点将放在强化学习上。此外，多项多模式功能也处于内测阶段。
谈及用户转移与商业变现的平衡，杨志林表示，目前最核心的任务是提高留存。 “留存率是一个重要的指标，对我们来说是最重要的。多少留存率才足以让人满意？我的答案是永无止境的。”
（财联社记者 黄欣怡）
