智东西7月24日报道，昨晚，meta宣布推出迄今为止性能最强的开源型号——Llama 3.1 405B，同时还发布了全新升级的Llama 3.1 70B和8B型号。
Llama 3.1 405B 支持 128K 的上下文长度，在基于 15 万亿 GPU 的 16000 多个 H100 GPU 上进行训练，这也是 meta 有史以来第一个以该规模训练的 Llama 模型。
研究人员基于超过 150 个基准测试集的评测结果显示，Llama 3.1 405B 与 GPT-4o、3.5、Ultra 等业界头部模型相当。
除了强悍的性能，meta 创始人兼 CEO 马克·扎克伯格也亲自撰文力挺，他表示 405B 开源模型除了拥有比闭源模型更优的成本和性能表现外，还会成为企业微调和训练较小模型的最佳选择。
meta AI宣布接入Llama 3.1 405B，推出AI图片编辑、AI编程、VR/AR设备智能助手等新功能，扎克伯格预测几个月后meta AI助手的使用率将超越。
▲meta AI支持Quest头显与用户实时音视频交互
meta 的开源生态系统也已准备就绪，meta 和超过 25 家合作伙伴将提供 Llama 3.1 型号，其中包括 AWS、 Azure 和 Cloud。
截至目前，Llama 所有模型版本总下载量已突破 3 亿，而比肩主流闭源模型能力的 Llama 3.1 模型的发布，或许意味着 meta 想要讲述的开源模型故事才刚刚开始……
模型下载链接：
论文链接：
▲ 3.1 模型论文摘要
1. 405B开源模型基准GPT-4o，25家合作伙伴已准备就绪
meta 评估了超过 150 个基准数据集的表现，Llama 3.1 405B 在常识、可操作性、数学、工具使用、多语言翻译等一系列任务上的表现与 GPT-4o、3.5 和 Ultra 相当。
在真实场景中，Llama 3.1 405B 与人类评估进行对比，整体性能优于 GPT-4o 和 3.5。
升级后的 Llama 3.1 8B 和 70B 模型也比相同参数大小的模型表现更好。这些较小参数的模型支持相同的 128K 上下文窗口、多种语言、改进的推理和最先进的工具，以支持更高级的应用程序。
meta 更新了许可证，首次允许开发人员使用 Llama 模型的输出（包括 405B 参数大小）来改进其他模型。
与此同时，meta的开源生态也进一步扩大，已有超过25家企业推出了全新Llama 3.1车型。
其中， Web 、 等均推出全套服务，支持开发者对自己的模型进行微调和训练，AI 芯片初创公司 Groq 等则为 meta 发布的所有新模型构建了低延迟、低成本的推理服务。
同时，这些模型将在 Web ， Azure和 Cloud等主要云平台上提供服务。
Scale AI、戴尔和德勤等公司已准备好帮助企业采用 Llama 模型并使用他们自己的数据训练定制模型。
Llama 3.1 405B不仅是目前最强开源机型，而且有潜力成为最强机型，开源与闭源的距离再次被大大缩短。
2. 全面优化训练堆栈，专注于提高模型的可扩展性
为了基于 15 万亿个示例训练模型并在合理的时间内获得研究人员想要的结果，meta 彻底优化了训练堆栈。
在应对上述挑战时，meta 选择专注于保持模型开发过程可扩展且更直接的策略：
1. 研究人员选择对标准的仅解码器模型架构进行微调，而不是使用 MoE 混合专家模型，以最大限度地提高训练稳定性。
2. 研究人员采用了迭代式后训练程序，每轮都使用监督微调和直接偏好优化。这使得模型能够为每一轮创建最高质量的合成数据，并提高每项能力的表现。
与之前的 Llama 模型相比，meta 提高了用于预训练和后训练的数据的数量和质量。这些改进包括为预训练数据开发更仔细的预处理和管理，为后训练数据开发更严格的质量保证和过滤方法。
正如大型语言模型的规模定律所预期的那样，meta 的新旗舰模型的表现优于使用相同策略训练的小型模型。meta 还使用 405B 参数模型提高了其小型模型的训练质量。
同时，为了支持405B参数模型的大规模推理，研究人员将模型从BF16量化至FP8，有效降低了所需的计算要求，并允许模型在单个服务器节点内运行。
在命令和聊天微调方面，研究人员通过在预先训练的模型之上进行多轮对齐来生成最终模型，每轮对齐都涉及监督微调（SFT）、拒绝抽样（RS）和直接偏好优化（DPO），其中使用合成数据生成来生成绝大多数 SFT 示例，以在所有特征中生成更高质量的合成数据。
此外，meta 采用了多种数据处理技术，以最高质量过滤这些合成数据，这使得新模型能够跨功能扩展和微调数据量。
在数据方面，研究人员也精心平衡了数据，以生成具有所有特征的高质量模型。例如，模型质量在短上下文基准上得到保证，使其能够扩展到 128K 上下文长度。
此外，meta 还宣布推出整体化的 Llama 体系，该系统除了覆盖 Llama 模型之外，还涉及多个组件协同以及外部工具调用，帮助开发者开发出比基础模型更强大的定制化产品。
Llama 系统将包含一系列新组件，包括开源的新安全工具，如 Llama Guard 3（多语言安全模型）和 Guard（即时注入过滤器）。为了连接分散的组件，meta 还发布了对 Llama Stack API 的评论请求，这是一个标准接口，使第三方项目更容易利用 Llama 模型。
对于普通开发者来说，使用405B规模的模型仍然是一个挑战，需要大量的计算资源和专业知识。
基于 Llama 系统，生成式 AI 开发不只是提示模型。每个人都应该能够使用 405B 模型完成更多任务，包括实时和批量推理、监督微调、针对特定应用的模型评估、持续预训练、检索增强生成 (RAG)、函数调用、合成数据生成等。
这是 meta 迄今为止推出的最大型号，后续还将推出更适合设备的尺寸、更多的模式以及 Agent 层面的更新。
3. 405B大机型改版meta AI，Quest智能语音助手全面升级
目前，Llama 3.1 405B被应用于很多meta终端，比如meta AI聊天机器人。
目前，meta AI已支持7种新语言。此次，meta推出了一批全新的meta AI创意工具，重点关注视觉生成、数学、编码等领域。
首先看视觉生成，meta AI 推出了“想象我”图像生成提示功能，支持用户在 meta AI 聊天中输入“想象我”，并添加提示，如“想象我是皇室成员”或“想象我在一幅超现实主义画作中”，以生成图像并与亲朋好友分享。
meta AI 将推出“Edit With AI”功能，用户可以轻松添加或移除对象，或者通过点击鼠标进行更改和编辑，并保持图像的其余部分不变，例如“将猫变成柯基犬”。meta AI 还将支持将新制作的图片添加到帖子中，以及 、 和 等社交平台上。
在数学和编程中，用户可以通过分步解释和反馈获得数学作业方面的帮助，通过调试支持和优化建议更快地编写代码，并在专家指导下掌握复杂的技术和科学概念。
用户可以结合 meta AI 的编码专业知识和图像生成能力，从头开始构建新游戏或对经典游戏进行新的诠释。只需几分钟即可将您的想法变成现实，甚至允许用户直接预览游戏。
值得一提的是，meta AI 也适用于雷朋 meta 智能眼镜，并将于下个月在美国和加拿大的 meta Quest 上以实验模式推出。meta AI 将取代 Quest 上现有的语音命令，让用户可以免提控制耳机、获取问题答案、了解实时信息、查看天气等。
用户还可以将 meta AI 与他们在耳机中看到的视图结合使用，向其询问他们在物理环境中看到的事物。
4.扎克伯格公开信：开源对开发者、meta 和世界都更好
Llama 3.1系列刚刚发布，扎克伯格的长博客也在官网同步发布，让开源与闭源模式的紧张关系更加浓烈。
▲扎克伯格公开信部分截图
一开始扎克伯格就提到，开源模式和闭源模式的差距在逐渐缩小，去年Llama 2还只能媲美上一代最先进的闭源模式，而今年Llama 3已经可以媲美最先进的模式，并且在一些领域已经领先。
他预计从明年开始，Llama车型将会是业内最先进的，而目前的Llama系列车型已经在开放性、可修改性和成本效益方面处于领先地位。
在博客中，他直指闭源模式，并回答了三大问题：为什么开源AI对开发者有好处、为什么开源AI对meta有好处、为什么开源AI对世界有好处。
首先，为什么开源 AI 对开发者有好处？
他认为，开发者需要训练和微调自己的模型，以满足特定的需求；开发者需要掌控自己的命运，而不是被一个封闭的供应商所束缚；开发者需要保护自己的数据；开发者需要高效、低成本的模型；开发者希望投资于一个能成为长期标准的生态系统。
开源AI对meta的好处在于，meta的商业模式是为人们创造最好的体验和服务，他认为要做到这一点，必须确保自己始终能够获得最好的技术，不被困在竞争对手的封闭生态系统中。
同时，开源AI将使meta能够将Llama发展成一个完整的生态系统，并有可能成为行业标准。
他还提到，meta 与闭源模型参与者之间的一个关键区别是，出售 AI 模型访问权不是 meta 的商业模式，这意味着开源不会影响其收入、可持续性或继续投资研究的能力。
最后，meta 拥有悠久的开源项目和成功历史。
对于开源AI模型安全性的争论，扎克伯格的观点是，开源AI会比其他选择更安全。他认为开源将确保全球更多人能够享受AI带来的好处和机遇，权力不会集中在少数公司手中，技术能够更均匀、更安全地应用于全社会。
结论：meta 再出手，大型模型开源与闭源之争变局
关于开源和闭源大模型的争论仍在继续……
从 meta Llama 3.1 系列机型的发布，我们可以看出开源与闭源大模型之间的差距在不断缩小，大有并驾齐驱、相互超越的趋势。作为开源大模型阵营的忠实支持者和技术创新的先行者，meta 从 Llama 系列机型发布之初就立志要打造属于自己的开源生态。同时，相较于之前的 Llama 机型，meta 还将为此次新机型的发布组建内部团队，以让尽可能多的开发者和合作伙伴能够使用 Llama 系列。
meta 又出手了，让开源与闭源模型之争的结论更加扑朔迷离。但归根结底，在实际应用中，很多企业和开发者都会根据具体需求和情况选择使用开源或闭源模型。因此，模型的具体能力和适用的真实场景，都还需要时间来证明。
