
该团队在博客中透露,Sky-T1-32B-的训练成本不到450美元(IT之家注:目前约为3306元人民币),远低于此前同类模型的数百万美元。这一突破归功于合成训练数据的广泛使用,合成训练数据是其他模型生成的数据,可以显着降低训练成本。例如,AI公司最近发布的X 004模型几乎完全依赖于合成数据训练,开发成本仅为70万美元。
与大多数人工智能模型不同,推理模型具有自我事实检查能力,可以有效避免一些常见错误。尽管推理模型通常比非推理模型多花费几秒到几分钟来解决问题,但它们在物理、科学和数学等领域更可靠。
团队表示,Sky-T1的训练数据是由阿里巴巴的QwQ-32B-模型生成,然后经过仔细筛选,并使用GPT-4o-mini重构数据,使其更易于处理。训练这个 320 亿参数的模型仅花费了大约 19 个小时,并使用了 8 个 H100 GPU。 (参数的数量大致对应于模型解决问题的能力。)
在性能方面,Sky-T1 在一组“竞赛级别”数学挑战中的表现优于 o1 的早期预览版本,并且在编程评估中也表现得更好。然而,在包含物理、生物和化学研究生水平问题的 GPQA 测试中,Sky-T1 比 o1 预览版稍差。
需要指出的是,已发布的正式版o1比预览版更加强大,预计未来几周内将推出性能更好的推理模型o3。尽管如此,该团队表示 Sky-T1 只是开发开源推理模型的一个起点。
该团队在博客中写道:“未来,我们将专注于开发更高效的模型,同时保持强大的推理性能,并探索先进技术,进一步提高模型在测试过程中的效率和准确性。请继续关注我们的进展在这些令人兴奋的项目上。”


