开发团队表示，虽然 BERT 模型自 2018 年发布以来仍然在业界广泛使用，并且是 Face 上下载量第二高的模型（仅次于），每月下载量超过 6800 万次，但该模型现在已经有些落后了。
BERT模型首次发布6年后的今天，Face等团队借鉴近年来业界LLM的进展，改进了BERT模型架构和训练流程，最终发布了模型来替代原来的BERT模型。
▲模型基准测试结果
据悉，相关开发团队使用了2万亿Token进行训练，使得模型在各项分类测试和向量检索测试中达到目前业界领先水平。目前开发团队共公布了模型的两个版本，分别是1.39亿参数版本和3.95亿参数版本，IT之家项目地址如下（点此访问）。
