刚刚，国内AI领域传来一则重要消息。
领先的大模型创业公司步星凭借万亿参数大语言模型Step-2在行业权威大模型基准AI中取得第五名，成为国内唯一进入前十的大模型。 。
步星Step-2面前只剩下两家公司了。
列表地址：#
它是生成人工智能领域最权威、最客观的模型能力评估榜单之一。它由图灵奖获得者、meta首席AI科学家Yann LeCun联合.AI、纽约大学等机构发起。今年6月才首次推出。
它旨在消除现有LLM基准的限制，被称为“世界上第一个无法操纵的大型语言模型基准”。
提出了一种创新的基准测试方法，其中包含 6 类 18 项任务。
为了避免大型模型的“作弊”，每月都会发布新问题，并根据最近发布的数据集、arXiv 论文、新闻文章和 IMDb 电影资料设计问题，以限制潜在的数据污染。每个问题都有一个可验证的、客观的真实答案，无需使用法学硕士审稿人即可对困难问题进行准确、自动的评分。
通过定期更新的题集和客观的自动评分方法，提供了一个公平、准确的评估平台，同时也促进了LLM的持续改进和社区参与。
进入榜单前十的step-2-16k-型号的“ ”得分排名第五，与第三名和第四名非常接近-3-5--和o1-mini-2024-09- 12.
值得注意的是，在本次提交的结果中，Step-2指令跟随（IF）得分位列榜单第一，展现了对语言生成细节的强大掌控。具体来说，作业是解释、简化、总结或撰写有关《卫报》最近一篇新文章的故事，并遵守一个或多个指令，例如字数限制或在辩护中包含特定元素。
不断进化的Step-2万亿参数大模型
自最初发布预览版以来，Step-2一直在进行快速的技术迭代，迅速缩短与全球顶级大型模型的差距。
今年3月，步星发布了Step-2大语言模型的预览版，这是国内首个由初创公司发布的万亿参数模型。 WAIC 2024期间，Step Star发布了Step-2万亿参数语言模型的正式版本。数理逻辑、编程、中文知识、英语知识、命令跟随等体感方面都非常接近世界顶级模型。
仔细一看，Step-2万亿参数语言模型有两大亮点：采用MoE架构、拥有万亿参数。
训练MoE模型主要有两种方式：基于现有模型开始训练（向上复用），或者从头开始训练。该方法计算能力要求低，训练效率高，但上限较低（例如基于复制的MoE模型很容易导致专家严重同质化）。如果选择从头开始训练MoE模型，虽然训练很困难，但是可以获得更高的模型上限。
在设计Step-2 MoE架构时，Step Star团队选择从头开始进行完全自主的研发和培训。通过部分专家共享参数、异构化专家设计等创新的MoE架构设计，Step-2中的每个“专家模型”经过充分训练后，不仅参数总数达到了万亿级别，而且参数数量也达到了万亿级别。每次训练或推理激活的性能也超过了市场上大多数密集模型。
此外，从头开始训练这样一个万亿参数的模型对于系统团队来说是一个很大的挑战。在Step-2训练过程中，步星系统团队突破了6D并行、极限显存管理、全自动化运维等关键技术，顺利完成了Step-2的每一次升级。
基于Law，模型参数达到万亿级后，数学、编程等推理能力将得到显着提升。这最终帮助Step-2取得了今天与o1、3.5等模型相媲美的良好成绩。
不断进化的Step-2万亿参数语言模型已接入步星C端智能助手“阅文”，可在阅文App和阅文网页客户端（）中使用。
创建阶梯星大模型矩阵之路
与国内大模型领域的几家知名公司相比，步星是后来者。它的创始人是微软前全球副总裁蒋大新。它成立于去年4月，今年3月才开始崭露头角。
步星创始人兼CEO蒋大新曾担任微软全球副总裁、微软亚洲互联网工程院首席科学家。
然而，这家公司在短短几个月内就跻身国内AI初创公司第一梯队，并在一年内快速发布了包括万亿级MoE大语言模型Step-2和多模态理解大模型Step-2在内的产品。 Step系列型号包括1.5V和图像生成型号Step-1X，都是“全家桶”。
从AGI技术路线来看，步星的选择是：单模态——多模态——统一多模态理解和生成——世界模型——通用人工智能（AGI）。
在快速迭代模型的同时，公司还将该模型融入智能生活助手阅文和AI开放世界泡泡鸭两款C端产品中。目前，步星已经完成了自己的大模式+产品矩阵，呈现出强势崛起的态势。
