人工智能系统能力的快速发展，正推动人类走向一个人工智能能够达到甚至超越人类智能的世界。专家们普遍认为，这些人工智能系统可能在未来几十年内开发出来，许多人认为它们会更早到来。人工智能系统的滥用或失控，可能给全人类带来灾难性的后果。然而，我们尚未开发出必要的科学手段来控制和保障高级智能的使用。由于人工智能带来的风险是全球性的，我们必须将人工智能安全视为全球公共产品，并致力于对这些风险进行全球治理。我们必须未雨绸缪，共同努力，防止任何可能随时出现的灾难性风险。
国际社会初步采取的积极举措表明，即使在紧张的地缘政治局势下，人工智能安全和治理方面的合作也是可能的。在两次峰会上，各国政府和人工智能开发者承诺遵循基本原则，以促进人工智能负责任的发展并最大限度地降低风险。得益于这些峰会，各国相继成立了人工智能安全研究所或类似机构，以促进评估、研究和标准制定。
这些努力值得肯定，必须继续下去。各国需要为人工智能安全研究所提供足够的资源，继续举办峰会，并支持其他国际治理倡议。然而，各国需要在现有的努力上迈出更大的步伐。作为第一步，各国应在本国境内建立能够监测和应对人工智能事故和灾难风险的部门。应共同努力制定全球重大人工智能事故和灾难风险应急计划。从长远来看，各国应建立国际监管机制，防止可能造成全球灾难风险的模式出现。
我们必须开展深入的基础研究，确保先进人工智能系统的安全。这项工作刻不容缓，以确保我们有充足的时间开发和验证相关技术，并在需要规范先进人工智能时能够做出良好反应。为此，我们呼吁各国将人工智能安全视为独立于人工智能能力地缘战略竞争的合作领域，并注重国际学术和技术合作。
为应对先进人工智能系统可能带来的灾难性风险，国际社会应考虑启动以下三项工作程序：
应急准备协议和系统：这是一种召开会议的机制，以共同制定并致力于实施模型注册和披露系统、事件报告机制、警告触发器和应急响应计划。
安全保障体系：当模型能力超过一定阈值时，开发者需要提供高可信度的模型安全性证明。对于高性能人工智能系统，随着其应用越来越广泛，部署后的监控也将成为保障体系的关键组成部分。这些安全保障措施应接受独立审计。
全球人工智能安全性和验证的独立研究：应开发技术，使各国能够确认开发者和其他国家提出的有关人工智能安全性的主张是真实有效的。为确保研究的独立性，这项研究应在全球范围内进行，并由多个国家的政府和慈善机构共同资助。
应急准备规程和系统
各国应就应对先进人工智能系统所需的技术和制度措施达成一致，无论其发展时间如何。为了促进这些协议的达成，我们需要建立一个国际机构，共同促进不同司法管辖区在制定和审查人工智能安全法规方面的对话与合作。该机构将确保各国采用和实施一套基本的安全准备措施，包括模型注册、信息披露和预警机制。
随着时间的推移，该机构还可以制定核查方法的标准，并承诺使用这些标准来强制各国在本地实施安全保障系统。各国可以通过奖惩机制相互监督这些方法的实施情况，例如将市场准入与遵守全球标准挂钩。专家和安全监管机构应制定事故报告和应急响应计划，并定期沟通，以确保核查过程中使用的方法反映最新的科学认识。该机构将发挥关键的初步协调作用。然而，从长远来看，各国需要进一步努力，确保对先进人工智能风险进行有效的全球治理。
安全保障体系
尖端人工智能开发商必须向自己的监管机构证明，他们开发或部署的系统没有跨越红线，例如《人工智能安全国际对话北京共识》中定义的红线。
为了实现这一目标，我们需要在风险和红线方面进一步建立科学共识。此外，我们应该建立警告阈值，模型的能力水平表明该模型可能越过或接近越过红线。这种方法建立在现有的自愿承诺（如负责任的扩大政策）的基础上，以统一和协调不同的框架。能力低于警告阈值的模型只需要有限的测试和评估，而对于超过这些警告阈值的高级人工智能系统，我们必须采取更严格的保障措施。
虽然测试可以提醒我们注意风险，但它只能提供对模型的粗略了解，无法为高级人工智能系统提供足够的安全保障。开发人员应提交高可信度的安全案例，并以一种让科学界相信他们的系统设计是安全的方式对其进行量化，这是其他安全关键工程学科的常见做法。此外，足够先进的系统的安全报告应讨论开发人员的组织流程，包括有利于安全的激励措施和问责结构。
当前的部署前测试、评估和保障措施远远不够。先进的人工智能系统可能会逐渐增加与其他人工智能系统和用户的复杂多智能体交互，这可能会导致难以预测的潜在风险。部署后监控是整体保障体系的关键部分，其中包括对模型行为的持续自动评估、用于人工智能事件跟踪的集中数据库以及有关人工智能在关键系统中使用情况的报告。还可以通过自动运行时验证来实现进一步的保障，例如确保安全报告中的假设仍然成立，并在模型运行到超出预期范围的环境时安全关闭系统。
各国在确保安全保障措施得到实施方面发挥着关键作用。各国应要求开发者定期进行测试，以确定模型是否有能力构成潜在风险，并通过第三方的独立部署前审计确保透明度，确保这些第三方拥有必要的权限，包括开发者的员工、系统和记录等必要证据，以验证开发者的说法。此外，对于超过预警阈值的模型，政府可以要求开发者在进一步训练或部署这些模型之前，获得独立专家对其安全报告的批准。各国可以帮助建立人工智能工程的道德标准，例如要求工程师承担类似于医疗或法律专业人士的个人责任，以保护公众利益。最后，各国还需要建立治理流程，以确保充分的部署后监测。
尽管各国的安全体系可能存在差异，但仍应进行合作，确保体系之间的相互认可和可比性。
独立研究全球人工智能安全与验证
人工智能安全与验证的独立研究对于开发安全的先进人工智能系统至关重要。各国、慈善机构、企业和专家应建立一系列全球人工智能安全与验证基金。这些资金应逐步增加，直至占全球人工智能研发支出的相当一部分，以全力支持和提高独立研究能力。
除了人工智能安全基础研究外，部分资金将专门用于隐私保护和安全验证方法研究，以支持国内治理和国际合作。这些验证方法将使各国能够可信地验证人工智能开发者的评估结果以及他们在安全报告中指定的缓解措施是否到位。未来，这些方法还可能使各国能够验证其他国家提出的相关安全声明，包括遵守安全保障体系和重大训练行动的声明。
综合验证最终可以通过多种方式进行，包括第三方治理（如独立审计）、软件（如审计跟踪）和硬件（如人工智能芯片上的硬件治理机制）。为了确保全球信任，跨国联合开发验证方法并进行压力测试将尤为重要。
至关重要的是，在全球地缘政治紧张局势下，全球可信的核查方法使得各国能够在过去承诺遵守具体的国际协议，并且在未来可能会再次这样做。
