本文主要作者来自上海交通大学、上海人工智能实验室智慧医疗联合团队。共同第一作者为上海交通大学博士生邱鹏程和吴朝义。共同通讯作者为上海交通大学人工智能学院王艳峰教授和谢维迪副教授。这是继PMC-LLaMA之后，团队继续构建大型开源医学语言模型的最新进展。本项目得到科技创新2030——“新一代人工智能”重大专项支持。
在医学领域，大型语言模型得到了广泛的研究。然而，这些进展主要依赖于基于英语的基座模型，并受到多语言医学专业数据缺乏的限制，导致当前的医学大规模模型在处理非英语问题时效果不佳。
为了克服这一挑战，最近发表在《医学大语言模型》上的一篇论文从数据、评估、模型等多个角度综合考虑了多语言医学大语言模型的构建，并做出了三点贡献：
1. 创建了包含25.5的多语言医学语料库MMedC。
2、制定了新的多语言医学问答评价标准，涵盖6种语言、21个医学分主题。
3.推出了名为MMed-Llama 3的新基础模型，该模型在多个基准测试中超越了现有的开源模型，大小为8B。更适合通过医疗指令进行微调，适应各种医疗场景。 。
所有数据、代码和模型都是开源的。
图a揭示了构建的多语言医学语料库的组成；图b介绍了综合多语言医学评估标准的构成；图c将本文提出的模型与当前主流模型的准确率进行了比较，图d显示了在MMedC上进一步的预训练与基线相比显着提高了模型性能。
大规模多语言医学语料库（MMedC）构建
在数据集构建方面，研究团队收集了一个名为MMedC的多语言医学语料库。该数据集包含255亿，其内容来自四个来源：
1. 使用启发式方法从广泛的多语言语料库中过滤相关内容（例如）。
2.收集世界各地医学教科书的电子版，并利用光学字符识别（OCR）技术将其转换为文本数据。
3. 从多个国家/地区获得许可的医疗相关网站上删除数据。
4.整合现有小型医学语料库，丰富和完善数据集。
MMedC 数据集的统计概述。图a展示了语料库涵盖的语言对应的区域；图b提供了每种语言的详细数据量统计；图C展示了每种语言数据的源分布比例的深入表示。
综合多语言医学能力测试基准数据集（）构建
为了评价多语言模型在医学领域的发展，研究团队设计了一种新的多语言多项选择问答评价标准，命名为。本次基准测试的所有试题均直接来源于各国医学检查题库，而非简单翻译获得，避免了因各国医疗实践指南差异而造成诊断理解上的偏差。
此外，研究团队还对每个问题的正确答案进行了详细的解释。在评估过程中，模型不仅需要选择正确的答案，还需要为答案提供合理的理由。这样的设计不仅测试了模型回答多项选择题的能力，还测试了其理解和解释复杂医学信息的能力，从而更全面地评估其性能。
统计数据。图a给出了训练集和测试集的基本数值统计信息；图b显示了不同主题的样本分布。
模型评估
研究团队在基准上评估了主流医学语言模型的三种不同测试策略：
模型精度评估
如表所示，主流医学大语言模型在英语中普遍表现出较高的准确率，但在非英语语言中其性能明显下降。具体来说，经过微调的PMC-LLaMA在英语上的平均准确率达到了47.53，尽管其性能超过了同期的其他模型，但仍然明显落后于GPT模型。随后，随着更先进的基础模型的应用，开源模型开始缩小与GPT系列的差距。例如，在 、 2 的训练集上进行充分微调后，Llama 3 的平均准确度分数分别为 60.73、58.59 和 62.79。在 MMedC 语料库上进行进一步的自回归训练后，还观察到了性能的提高。具体来说，最终模型MMed-Llama 3与其基础模型Llama 3相比表现出显着的性能提升。在充分微调的评估下，MMed-Llama 3的平均准确率（67.75）显着超过Llama 3（62.79）。 ）。 PEFT 微调也得出类似的结论，即对 MMedC 进行进一步的自回归训练会带来显着的收益。
主流模型的精度评估。其中，“MMedC”表示模型是否在MMedC语料库上完成了进一步的预训练，“”表示模型是否在训练集上完成了微调。需要说明的是，，，，是有四个选择的选择题，是有两个选择的选择题，是不定选择题。只有当模型输出完全正确时，才会被认为是正样本。 “平均。”代表这六种语言的平均准确率。
评估模型解释答案的能力（ROUGE-1/BLEU-1）
除了多项选择问答任务外，研究还扩展到评估各种大规模语言模型的推理能力。具体来说，对于给定的问题和选项，模型在输出所选答案的同时需要输出选择答案的原因。下表显示了主流模型解释多项选择题答案的能力。
主流模型的评价标准是其答案解释能力。使用的自动指示器是BLEU-1/ROUGE-1。
考虑到基于句子相似度的自动指标可能无法准确反映人类偏好，研究团队进一步对模型生成的答案解释进行了人工评估，选取了六种极具代表性的语言模型进行研究，并对人工评估结果进行了深入分析为了与自动评估指标保持一致。
模型评分结果对比分析。图a显示了BLEU得分、手动质量排名和GPT-4质量排名方面的定量得分。图 B 显示了自动指标与人工评估之间的相关性，其中 k 表示拟合线的斜率，t 表示 相关系数。
公共英语评价基准模型评价
为了在英语基准上与现有的大规模语言模型进行公平比较，研究团队还基于 MMed-Llama 3 基础模型（数据集来自 PMC-LLaMA）对英语指令进行了微调。常用的医学多项选择问答基准有四种，分别是 MedQA、MedQA 和 MMLU-。如下表所示，MMed-Llama 3 在英语基准上表现出非常好的性能，在 MedQA 上分别实现了 4.5%、4.3% 和 2.2% 的性能提升，以及 2.2% 的性能提升。同样，在MMLU上，MMed-Llama 3在大多数结果中也取得了开源大语言模型中最好的性能，显着超越了GPT-3.5。
英语多项选择题答案基准的准确性评估。报告了每个模型在不同任务上的准确性，并用“平均值”表示。表示九项任务的平均分数。请注意，公平地说，所有分数均基于基本的零样本构建设置，没有额外的提示策略。由于英语基准已被广泛使用，因此直接使用其原始论文中报告的分数。对于 GPT-4、GPT-3.5 和 Llama 3，它们的分数基于 Open-LLM 排名。
数据侧消融实验
在数据端的消融实验中，作者研究了不同预训练语料库构建流程的影响。分别以 、 2 和 Llama 3 作为基本模型，在 、 2 和 MMed-Llama 3 上进行充分微调的消融实验。总体而言，三个模型的结论是一致的，在接下来的讨论中，我们将重点讨论最终模型MMed-Llama 3。
研究团队区分了HQ-Data（高质量数据）和US-Data（未指定源数据）。 HQ-Data 包括来自手动检查的书籍和网站的内容，而 US-Data 是从一般通用语料库中过滤出来的医学相关内容。如下表所示，为选择题配备选择理由可以帮助模型更好地理解问题，从58.72增加到62.79，增加了4.06（对比各模型结果表第一行和第二行） 。然而，仅对 MMedC 的英语部分进行进一步的自回归训练（参见 MMed-Llama 3-EN）并没有带来准确性的提高。这可能是由于对英语的过度拟合，导致尽管英语表现出色，但其他语言的结果较差。当自回归训练扩展到整个多语言医学语料库时，这个问题可以在很大程度上得到缓解，显着提高最终结果。这不仅将选择精度提高到64.40，而且在BLEU-1和ROUGE-1上的推理能力分别提高了0.48和0.54（比较每个模型结果表的第三行和第四行）。此外，引入自动收集的 US-Data 有助于进一步将准确度从 64.40 提高到 67.75，显着提高了 3.35（参考 MMed-Llama 3）。在可解释性方面也可以观察到性能提升，即 BLEU-1 增加 0.29，ROUGE-1 增加 0.16。
消融实验。其中HQ-Data和US-Data用于区分医疗数据是否经过人工审核。具体来说，通过启发式算法自动获得的数据被归类为US-Data（未经审核的数据），而其他来源的语料库信息经过严格的人工审核，因此被标记为HQ-Data（高数据）。质量数据）。
研究及临床价值
在这项工作中，研究团队首次在医学领域引入了大型多语言模型，这对研究和临床实践都产生了重要影响。在研究方面，这项工作促进了以下方面的发展：
在临床实践中，开源多语言医疗模型还可以缓解以下挑战：
