人工智能自上个世纪被提出以来，这项技术和产业几经起伏，终于从科幻小说走向了生产生活的现实。
然而，人工智能在释放新可能性的同时，其带来的新风险也不容忽视。
图灵奖得主、中国科学院院士姚期智在世界人工智能大会2024上指出，人工智能的运行有着神秘的“黑匣子”；同时，它又拥有强大的能力，就像火车和蒸汽机的发明一样，将给人类的生活带来巨大的改变。这两大现实的结合，让治理迫在眉睫。
现实世界中，人工智能的飞速发展似乎把人类带入了一片“黑暗森林”，如同未知的外星文明，人工智能被诸多想象所包围。
在彻底理解人工智能之前，没有人知道它到底是拯救人类的“面壁者”，还是断送一切希望的“聪明之子”。
《三体》中叶文洁曾说：“我点燃了火，但我无法控制它。”今天，面对风起云涌的人工智能，人类希望在某种意义上“驯服”人工智能。
今年世界人工智能大会期间，多场人工智能治理相关论坛密集举办，上海向全球发布《人工智能全球治理上海宣言》，提出推动人工智能发展、维护人工智能安全、构建人工智能治理体系、加强社会参与和提升公众素养、改善生活质量和社会福祉等。
联合国人工智能高级别咨询机构专家曾毅认为，这是世界人工智能大会系列中第一次以会议的名义发布共识，人工智能安全与治理可以说是人工智能发展过程中的国际共识。
来源：主办方提供
人工智能黑暗森林
人工智能的未来充满不确定性，唯一可以确定的是技术迭代和应用落地的速度越来越快。
然而，当AI走进现实，人类仿佛成为了《三体》中看到宇宙倒计时的汪淼，难以置信、无力感等情绪同时涌现。
问题来了：AI背后到底是什么，让人类如此恐惧？
清华大学苏世民书院院长、人工智能国际治理研究院院长薛澜指出，人工智能技术当前面临三大风险：技术本身存在的问题、技术发展带来的风险、技术误用与滥用可能造成的影响。
内在技术问题是指人工智能系统本身存在的问题，包括“幻觉”。
所谓“人工智能幻觉（AI）”，是指大型语言模型有时会提供看似合理但充满错误的答案的现象。
此外，大型模型的能力与其训练数据高度相关。但数据也是一个“痛点”，优质数据难以获取是业界亟待解决的问题，数据质量不高，其后期展现的能力就无法得到保障。
在智能社会与全球治理框架论坛上，同济大学经济管理学院副院长、长江学者特聘教授钟宁华表示：“人工智能模型的训练，数据占70%到80%，其次是算法。”
薛澜担心的第三个风险来自于技术在商业实践中的误用或滥用。AI技术最终会走向应用，而相比于技术和代码，应用会直接影响更多用户的感知和体验。
例如，通过对抗输入和“越狱”操作，大型模型可以突破安全限制，帮助操作员实现非法目标。
问题总是新的，治理工作或多或少存在滞后。
为什么对人工智能治理的呼声如此迫切？
驯服还是被驯服？
因为没人知道大模型和AI的界限在哪里。就像人类发现火、使用电一样，AI不仅仅是介入生活的工具，AI本身或许意味着新的生命。但它也意味着新的变量。
2015年，全球193个国家在联合国共同签署了可持续发展目标（SDGs）。SDGs包括17个目标和169个具体指标，希望通过这些目标考察人类社会在2015年至2030年如何实现更好的发展。“但去年有研究机构发现，人工智能会对169个指标中的134个产生积极影响；但同时也可能对其中约59个产生不利影响。”薛澜指出。
“如何推动人工智能健康发展，实现效益最大化，同时将风险最小化？”他在世界人工智能大会开幕式上提出这个问题。
其实和《三体》一样，地球三体组织内部也存在不同的派系，比如救世派、降临派、幸存者派，而现在的AI治理也存在不同的派系。
第一类是“乐观派”，其信徒主张加速技术革新，迅速推出新技术并加以应用，从而颠覆社会结构。萨姆被认为是一位隐性有效加速论者。
在2024世界人工智能大会上，中国工程院院士、之江实验室主任、阿里云创始人王建也表达了自己的乐观态度。“我是一个无可救药的科技乐观主义者”，王建坦言。在他看来，任何由人类引发的问题，最终都会在发展的过程中得到解决。过去每一个转型节点带来的恐慌，并不见得比今天人工智能带来的恐慌要小。“但我们都挺过来了”，他说。
他认为，围绕人工智能的问题、担忧和风险非常复杂，不可能一蹴而就。“未来十年将是人工智能发展激动人心、至关重要的时期。”王建指出，人工智能是少数几个将对人类基础设施建设产生重大影响的技术之一，它带来的改变可能会改变人类的行为和习惯，甚至重新定义社会规范。
马斯克对人工智能一直持悲观态度，他多次强调人工智能的危险性，甚至认为人工智能的危险性远大于核武器。“我不认为我们会允许任何人制造核武器，请大家再记住我的话，人工智能比这危险得多。”
今年戛纳国际广告节上，马斯克在接受采访时提到，人工智能有10%到20%的概率会“导致坏事发生”。他还提到，人工智能的应用可能带来意义危机：“如果人工智能可以做所有事情，甚至比人类做得更好，那我们工作的意义又是什么？”
此前在2023年末，在跌宕起伏、曲折不断的“宫斗”大戏中，萨姆的对手、首席科学家伊利亚的态度相对中立。
Ilya在去年7月组建了超级对齐团队，这个团队的核心理念是要求AI能够在各种环境下自发推演出符合人类价值观的行动计划。
在人工智能领域，意图与结果之间的偏差被称为“对齐问题”。因此，“价值观对齐”可以理解为将人工智能系统与人类价值观对齐。确保人工智能以有利于人类和社会的方式行事，而不会干扰或伤害人类。
尽管目前各种观点都有各自的支持者，但价值观一致或许才是人工智能治理更为普遍的“核心价值”。
在更加实际的层面上，人工智能治理也已经得到落实。
今年5月，欧洲理事会正式批准欧盟《人工智能法案》，该法案被认为是全球首部综合性的人工智能治理立法。欧盟方案以“风险分类定级”为核心思想，将人工智能系统按照对用户和社会的潜在影响分为四类：不可接受的风险、高风险、有限风险、最小风险。不同的风险等级意味着不同的监管层级。
45°平衡率
治理规模该如何控制？
上海人工智能实验室主任、首席科学家、清华大学惠彦讲席教授周博文尝试得出结论。
在人工智能领域有一个非常著名的定律——规模化定律（Law of ）。这是大模型领域的“摩尔定律”。简单来说就是随着模型规模（数据、模型和算力规模）的不断增大，大模型的能力基本上能够不断提升。
周博文指出，在人工智能代表的基础模型架构下，尺度规律不断被验证，证明当前人工智能性能呈指数级增长。但相比之下，人工智能安全维度的典型技术却分散、碎片化、后置化。
他认为，人类最终应该以“AI-45°定律”的技术思想体系作为人工智能产业健康发展的借鉴。
来源：主办方提供
“从长远看，我们需要沿着安全和性能的45度平衡点发展。”周博文说。在他看来，短期波动可以接受，但长期偏离45度基线是不允许的。“如果太低，人工智能安全得不到保障；如果太高，则意味着抑制人工智能发展。”
无论一百年后它有何优缺点，今天的人们都认为我们已经唤醒了人工智能的黄金时代。
走哪边、怎么走、去哪里，谁也无法给出肯定的答案，但发展、健康发展的共识却跨越时空。
