不断进化的Step-2万亿参数大模型
自最初发布预览版以来，Step-2一直在进行快速的技术迭代，迅速缩短与全球顶级大型模型的差距。
今年3月，步星发布了Step-2大语言模型的预览版，这是国内首个由初创公司发布的万亿参数模型。 WAIC 2024期间，Step Star发布了Step-2万亿参数语言模型的正式版本。数理逻辑、编程、中文知识、英语知识、命令跟随等体感方面都非常接近世界顶级模型。
仔细一看，Step-2万亿参数语言模型有两大亮点：采用MoE架构、拥有万亿参数。
训练MoE模型主要有两种方式：基于现有模型开始训练（向上复用），或者从头开始训练。该方法计算能力要求低，训练效率高，但上限较低（例如基于复制的MoE模型很容易导致专家严重同质化）。如果选择从头开始训练MoE模型，虽然训练很困难，但是可以获得更高的模型上限。
在设计Step-2 MoE架构时，Step Star团队选择从头开始进行完全自主的研发和培训。通过部分专家共享参数、异构化专家设计等创新的MoE架构设计，Step-2中的每个“专家模型”经过充分训练后，不仅参数总数达到了万亿级别，而且参数数量也达到了万亿级别。每次训练或推理激活的性能也超过了市场上大多数密集模型。
此外，从头开始训练这样一个万亿参数的模型对于系统团队来说是一个很大的挑战。在Step-2训练过程中，步星系统团队突破了6D并行、极限显存管理、全自动化运维等关键技术，顺利完成了Step-2的每一次升级。
基于Law，模型参数达到万亿级后，数学、编程等推理能力将得到显着提升。这最终帮助Step-2取得了今天与o1、3.5等模型相媲美的良好成绩。
不断进化的Step-2万亿参数语言模型已接入步星C端智能助手“阅文”，可在阅文App和阅文网页客户端（）中使用。
创建阶梯星大模型矩阵之路
与国内大模型领域的几家知名公司相比，步星是后来者。它由微软前全球副总裁蒋大新创立。它成立于去年4月，今年3月才开始崭露头角。
步星创始人兼CEO蒋大新曾担任微软全球副总裁、微软亚洲互联网工程院首席科学家。
然而，这家公司在短短几个月内就跻身国内人工智能初创公司第一梯队，并在一年内快速发布了包括万亿级MoE大语言模型Step-2和多模态理解大模型Step-The Step 1.5V、图像生成模型Step-1X等系列模型都是“全家桶”。
从AGI技术路线来看，步星的选择是：单模态——多模态——统一多模态理解和生成——世界模型——通用人工智能（AGI）。
在快速迭代模型的同时，公司还将该模型融入智能生活助手阅文和AI开放世界泡泡鸭两款C端产品中。目前，步星已经完成了自己的大模式+产品矩阵，呈现出强势崛起的态势。
