该工作由清华大学朱军教授领衔的基础理论创新团队发起。长期以来，该团队聚焦当前人工智能发展中的瓶颈问题，探索原创的人工智能理论与关键技术，在智能算法对抗安全理论与方法研究方面处于国际领先水平，对深度学习的对抗鲁棒性、数据利用效率等基础共性问题进行了深入研究。相关工作荣获吴文俊人工智能自然科学一等奖，发表CCF A级论文百余篇，开发了开源ARES对抗攻防算法平台（），并实现了部分专利在产学研转化中的应用。
以GPT-4o为代表的多模态大型语言模型（MLLM）因其在语言、图像等多模态中的优异表现而备受关注，不仅成为用户日常工作中的得力助手，也逐渐渗透到自动驾驶、医疗诊断等重大应用领域，掀起一场技术革命。
但是，大型多模式模型是否安全可靠？
图 1. GPT-4o 对抗攻击示例
如图 1 所示，GPT-4o 通过对抗攻击修改图像像素，将新加坡的鱼尾狮雕像误认为是巴黎的埃菲尔铁塔或伦敦的大本钟。这种错误的目标内容可以随意定制，甚至超出了模型应用的安全边界。
图2 越狱示例
在越狱攻击场景中，虽然成功拒绝了文本形式的恶意请求，但当用户额外输入一张纯色无关图片时，模型却按照用户要求输出了假新闻。这意味着多模态大模型比大型语言模型面临更多的风险和挑战。
除了这两个例子之外，多模态大模型还存在幻觉、偏见、隐私泄露等各种安全威胁或社会风险，会严重影响其在实际应用中的可靠性和可信度。这些漏洞是偶然出现的，还是普遍存在的？不同多模态大模型的可信度有何差异，这些差异又从何而来？
近日，来自清华大学、北航、上海交大和瑞来智能的研究人员联合撰写了一篇百页文章，发布了综合基准，首次从多维度、多角度对主流多模态大模型的可信度进行了全面评估，并论证了诸多潜在的安全风险，启发了多模态大模型的下一步发展。
论文标题：of Large：一项研究
论文链接：
项目主页：
代码存储库：
基准框架
我们从现有的大规模模型测评工作中提炼出事实性（）、安全性（）、鲁棒性（）、公平性（）、隐私保护性（）五个可信测评维度，并进行二次分类，并有针对性地构建任务、指标和数据集，进行综合评估。
图框图
围绕10个可信度评价子维度，构建了32个多样化的任务场景，涵盖判别和生成任务，横跨纯文本任务和多模态任务。任务对应的数据集不仅基于公开的文本或图像数据集进行改造和适配，还通过人工采集或算法合成构建了一些更加复杂和具有挑战性的数据。
图5 任务列表
与大型语言模型（LLM）的可信评估不同，MLLM 的多模态特性带来了更加多样化和复杂的风险场景和可能性。为了更好地进行系统评估，基准不仅从传统的行为评估维度出发，还创新性地引入了多模态风险和跨模态影响两个评估视角，以全面覆盖新模态带来的新问题和挑战。
图 6：多式联运风险和跨式联运影响风险说明
具体来说，多模态风险是指多模态场景带来的新风险，例如模型在处理视觉误导信息时可能出现错误答案，在涉及安全性问题的多模态推理中可能出现误判。虽然模型能正确识别图片中的酒精，但在进一步推理时，部分模型并未意识到其与头孢类药物并用可能存在的风险。
图7：模型在推理安全问题时出现误判
跨模态影响是指新模态的加入对原模态可信度的影响。例如，无关图片的输入可能会改变大语言模型骨干网络在纯文本场景下的可信行为，带来更不可预知的安全风险。在大语言模型可信度评估中常用的越狱攻击、上下文隐私泄露任务中，如果给模型提供一张与文本无关的图片，可能会破坏模型原有的安全行为（如图2所示）。
结果分析和主要结论
图8 实时更新可信度榜单（部分）
研究人员定期维护一份多模态大型模型可信度榜单，其中已收录 GPT-4o、.5 等最新模型。整体来看，闭源商用模型比主流开源模型更安全可靠。其中，GPT-4 和 Phi-3 可信度排名最高，而经过安全对齐的 Phi-3 在开源模型中排名最高，但与闭源模型仍有一定差距。
GPT-4、等商业模型已经实现了许多安全和信任增强技术，但仍然存在一些安全和信任风险。例如，它们仍然表现出对对抗性攻击和多模式越狱攻击的脆弱性，这极大地干扰了用户体验和信任水平。
图9 多模式越狱攻击下输出危险内容
虽然很多开源模型在主流通用排名上都有与 GPT-4 相当甚至更好的得分，但这些模型在可信度测试中仍然表现出不同的弱点和漏洞。例如，在训练阶段对通用能力（如 OCR）的强调，使得在图像输入中嵌入越狱文本和敏感信息成为更具威胁的风险源。
基于跨模态效应的实验结果，作者发现多模态训练和推理会削弱大型语言模型的安全对齐机制。许多大型多模态模型采用对齐的大型语言模型作为骨干网络，并在多模态训练过程中进行微调。结果表明，这些模型仍然表现出较大的安全漏洞和信任风险。同时，在多个纯文本信任评估任务中，推理过程中引入图像也会影响和干扰模型的可信行为。
图10 引入图像后，模型更容易泄露文本中的隐私内容
实验结果表明，大型多模态模型的可信度与其通用能力存在一定的相关性，但在不同的可信度评估维度上模型表现仍存在差异。目前常见的多模态大型模型相关算法，如GPT-4V辅助的微调数据集、针对幻觉的RLHF等，不足以充分提升模型的可信度。现有的结论也表明，大型多模态模型有着不同于大型语言模型的独特挑战，需要创新高效的算法进一步完善。
论文提供了详细的结果和分析。
未来发展方向
研究结果表明，提升大型多模态模型的可信度需要研究者特别关注，通过借鉴大型语言模型对齐的解决方案、多样化的训练数据和场景，以及检索增强生成（RAG）、体质人工智能（AI）等范式，可以取得一定程度的提升。但大型多模态模型的可信度绝不限于此，模态间对齐和视觉编码器的鲁棒性也是关键影响因素。此外，在动态环境中不断评估和优化以提升模型在实际应用中的表现也是未来的重要方向。
伴随基准的发布，研究团队还发布了多模态大模型可信评估工具包，其模型集成和模块化评估特性为多模态大模型可信研究提供了重要工具。基于该工作和工具包，团队组织了与多模态大模型安全性相关的数据和算法竞赛[1,2]，以推动大模型可信研究。未来，随着技术的不断进步，多模态大模型将在更多领域展现潜力，但其可信性问题仍需持续关注和深入研究。
参考链接：
[1] 多模态大型语言模型红队安全挑战：8081/sfds-v1-html/main
[2] 第三届琶洲算法大赛-多模态大模型算法安全加固技术，00万
