所有对人工智能的担忧都源于同一个前提：我们正在创造一个比人类聪明得多的新物种，这在人类进化史上从未发生过。如果人类的欲望是统治地球的最强动力，那么AI有欲望吗？它的愿望是什么？
站在2025年伊始，《IT时报》记者采访了牛津大学人类未来研究院创始所长、《超级智能：路径、危险、策略》作者尼克、牛津大学学院教授、博士生导师邓建国。复旦大学新闻系和AI公司联合创始人李伯杰试图寻找这些问题的初步答案。
01 AGI什么时候到来？除了理性之外，AGI还需要人类的感性。
AGI 会在 2025 年到来吗？
2024年，定义了AGI（人工智能）的五个阶段：第一阶段是聊天机器人，具有会话语言的人工智能；第二个层次是推理者，解决人类层面的问题；第三层是代理，可以采取行动的系统；第四级是创新者，可以协助发明的人工智能； 5级是组织者，可以做组织工作的AI，说是第二阶段。
2024年12月20日，o3发布，宣布AGI取得突破，最高测试结果达到类人水平。
2024 年的最后一天，首席执行官 Sam 在社交媒体上公布了一项调查结果。当公众谈论2025年最期待的产品时，AGI排名第一。
然而，乐观主义者甚至在第一个问题上也尚未达成共识：什么是 AGI？
如果你问一个问题，它给出的答案是：AGI是指能够执行广泛任务并具有类人智能的人工智能系统。
但meta首席科学家杨立坤表示，他避免使用AGI这个词，尽管他完全相信在未来某个时刻，机器将在人类智能的各个领域达到人类水平，“但称其为AGI是没有意义的，因为人类的智能极其专业，”他更喜欢将其称为“人类级AI”或“AMI”（高级机器智能）。
邓建国表示，人们对人工智能的理解是混乱的。人工智能的实际发展水平与大众从科幻电影中认识的AI存在巨大差距。从图灵测试到ARC-AGI，AI成绩越来越好。高，但似乎仍然不是人们想象的AGI。
他甚至认为，如果只有机器理性，就没有人类的感性，就没有幽默感和与生俱来的同情心和同理心（原生的，不是人工智能），以提高其对人类心理和社会的理解。以及建立的模拟意识和道德意识），AGI从哪里开始？但同样的悖论是我们应该担心人工智能消灭人类还是通用人工智能消灭人类。 “很多时候，人类已经成为人工智能。所谓内卷化，就是典型的目标导向造成的。”
李伯杰也完全同意这一点，“AGI已经成为一些公司的营销热点，每个人都可以定义不同的AGI标准。”
AGI的测试标准难度也在增加。尽管o3在AIME 2024数学测试中正确地得到了96.7%的答案，但ARC-AGI的准确率超过了87%。这似乎证实了o3很快将拥有通用学习和推理能力，但ARC-AGI已决定在2025年引入更严格的标准。
02 超级智能的最终目标是什么？创造超级智能，成为宇宙的好公民
虽然人们仍在争论 AGI 的定义，但第一批提出类似概念的人工智能伦理学家已经走得更远。 2014年，人工智能伦理学家尼克在其著作《超级智能：路径、危险、策略》中提出了“超级智能”的概念——几乎所有领域都远远超过人类认知能力，分为高速超级智能。智能有三种形式：集体超级智能和定性超级智能。这被认为是目前最受认可的人工智能期望定义。
十年后，尼克发表了一篇新论文《人工智能创造与宇宙宿主》。在他的愿景中，人类可能是更大背景的一部分，其中包括例如外星文明（非常遥远）创造的其他超级智能和未来的“数字不朽”（如果我们生活在计算机语言中）。
“我建议我们应该尝试创造一种可以成为优秀宇宙公民的超级智能——一种尊重宇宙宿主存在的规范并对其他成员的价值观做出积极贡献的超级智能，而不是喜欢争论的超级智能。或者总是坚持自己的观点 他告诉《IT时报》记者，就像他最初提出人类应该创造一种保护人类价值观的超级智能一样，他认为人类应该以更谦逊的态度面对更大的宇宙主题。
图片来源：
至于o3是否走在实现超级智能的正确道路上？他表示，这条道路似乎正朝着这个方向发展，但即便如此，可能仍然需要一些基于现有技术的新创新才能最终实现这一目标，而不仅仅是简单的扩展。
03 超级智能的愿望是什么？ AI可以有欲望，但绝不能像人类一样重视“自我存在”
2024 年诺贝尔物理学奖授予被誉为“人工智能教父”的辛顿 ()，以表彰他在利用人工神经网络进行机器学习方面的基本发现和发明。 是一位坚定的人工智能威胁理论家。他认为，构建比人类更聪明的系统可能会导致技术逃脱人类的控制，并对人类的生存构成威胁。 “你知道有多少更聪明的东西被不太聪明的东西取代的例子吗？”掌控事物？”
但杨丽坤却有不同的看法。他在接受采访时表示，“认为高智力必然导致统治欲的想法是错误的。统治欲源于生存的需要而不是智力水平。关键是如何保证目标的实现”人工智能的发展与人类价值观保持一致，以防止它们有意无意地伤害我们。”
尼克还相信人工智能可以有欲望。他告诉记者，“当人工智能系统具有创建和执行计划的能力时，我们可以说，它评估不同可能行动结果的标准反映了某种‘欲望’或偏好函数，但这并不需要达到事实上，人类的很多欲望，比如食物和性，也来自‘默认’——进化遗传。”
缺口
在他看来，超级智能产生的“欲望”是没有问题的。人类担心的一些AI系统可能会产生“自我保护”或“资源垄断”倾向，这并不需要超强智能来产生特殊的“生存本能”，本质上，这仍然是多种可能目标的工具性结果，但关键的一点是，“超级智能不必认为自己的存在比人类更有价值”。
04 AI如何与人类超级契合？温柔对待你的“数字思维”
