加州大学伯克利分校发布开源推理模型Sky-T1-32B-Preview,训练成本仅450美元

   日期:2025-01-13     来源:网络整理    作者:二手钢材网    浏览:194    评论:0    
核心提示:似乎是首个真正意义上的开源推理模型,其训练数据集和代码均已公开,用户可以从零开始复现该模型。这一突破得益于合成训练数据的广泛应用,合成数据是由其他模型生成的数据,能够显著降低训练成本。尽管推理模型在解决问题时通常比非推理模型需多花费几秒到几分钟,但在物理、科学和数学等领域,其可靠性更高。

研究人员开源Sky-T1推理AI模型,训练成本不到450美元_研究人员开源Sky-T1推理AI模型,训练成本不到450美元_

该团队在博客中透露,Sky-T1-32B-的训练成本不到450美元(IT之家注:目前约为3306元人民币),远低于此前同类模型的数百万美元。这一突破归功于合成训练数据的广泛使用,合成训练数据是其他模型生成的数据,可以显着降低训练成本。例如,AI公司最近发布的X 004模型几乎完全依赖于合成数据训练,开发成本仅为70万美元。

与大多数人工智能模型不同,推理模型具有自我事实检查能力,可以有效避免一些常见错误。尽管推理模型通常比非推理模型多花费几秒到几分钟来解决问题,但它们在物理、科学和数学等领域更可靠。

团队表示,Sky-T1的训练数据是由阿里巴巴的QwQ-32B-模型生成,然后经过仔细筛选,并使用GPT-4o-mini重构数据,使其更易于处理。训练这个 320 亿参数的模型仅花费了大约 19 个小时,并使用了 8 个 H100 GPU。 (参数的数量大致对应于模型解决问题的能力。)

在性能方面,Sky-T1 在一组“竞赛级别”数学挑战中的表现优于 o1 的早期预览版本,并且在编程评估中也表现得更好。然而,在包含物理、生物和化学研究生水平问题的 GPQA 测试中,Sky-T1 比 o1 预览版稍差。

需要指出的是,已发布的正式版o1比预览版更加强大,预计未来几周内将推出性能更好的推理模型o3。尽管如此,该团队表示 Sky-T1 只是开发开源推理模型的一个起点。

该团队在博客中写道:“未来,我们将专注于开发更高效的模型,同时保持强大的推理性能,并探索先进技术,进一步提高模型在测试过程中的效率和准确性。请继续关注我们的进展在这些令人兴奋的项目上。”

 
打赏
 
更多>同类资讯

0相关评论
推荐热播视讯

推荐视频

    Copyright © 2017-2020  二手钢材网  版权所有  
    Powered By DESTOON 皖ICP备20008326号-2