据报道,月之暗面将在未来一两周内推出新一代数学推理模型 k0-math,对标 o1 系列的两个公开模型:o1-mini 和 o1-。目前,在中考、高考、考研、数学入门竞赛题等四项数学基准测试中,k0-math第一代模型的成绩超过了o1-mini和o1-mini。 o1-o1 系列的型号。在两个难度较大的竞赛级数学题库OMNI-MATH和AIME基准测试中,k0-math初始模型的表现分别达到了o1-mini最高分的90%和83%。
杨志林表示,数学产品是AI最适合锻炼思维能力的场景,数学模型在教育产品中也具有很大的价值。
自两年前发布以来,所谓的定律(规模法则)几乎已经成为业界的共识,即通过添加更多数据和计算能力来“扩展”当前模型,从而不断改进模型。不过,前首席科学家伊利亚·苏茨克维(Ilya)公开表示,扩大预训练的结果已经达到了平台期。 “2010年代是规模扩张的时代,现在人们又回到了奇迹和发现的时代。每个人都在寻找下一件事情。”
在杨志林看来,人工智能的发展就像摇摆,在两种状态之间来回切换。 “一是算法和数据都准备好了,但算力还不够。”他认为,从架构的诞生到GPT4的出现,更多的矛盾在于如何扩展规模(Scale),算法和数据都没有本质问题。但今天,当规模达到一定程度时,你会发现增加更多的计算能力可能并不能解决问题。核心问题是缺乏高质量的数据。这时需要做的就是改变算法,突破瓶颈。现在这是整个行业面临的共同问题。 “好的算法可以释放潜力,让模型不断变得更好。”他认为强化学习是下一个重要的趋势。
但杨志林也认为,目前预训练还是有空间的,“对于半代到一代的车型,这个空间明年就会释放出来。明年,我认为领先的车型会在预训练方面做到极致。” - 培训,但明年最重要的事情会加强学习,但仍然是规模化,只是规模化的方式不同。”
对于近期出现的一些收购、人才回流国内大工厂的现象,杨志林表示,这是必然的规律,表明行业已经发展到了新的阶段。 “一开始很多公司都在做,现在只有少数公司在做。大家做的事情可能以后会慢慢变得不一样,我觉得这是一个必然的规律。”
杨智霖还透露,从今年上半年开始,月之暗面开始缩减业务,专注于Kimi。 “一开始我们确实尝试过把几种产品放在一起做,但后来发现我们还是要专注于把一种产品做到最好。”最重要的是,削减业务本质上是为了控制人数。我们不希望人数增长太快。我们始终将卡与人的比例保持在最高水平。团队的扩大对于创新来说也是致命的。 “目前,《月之暗面》的核心任务是提高用户留存率。
月之暗面成立于2023年4月,法定代表人杨志林毕业于清华大学。据了解,该公司打造的对话式AI助手产品Kimi上线一年以来,月活用户已达3600万。


