十天后，我似乎感觉这篇文章还没写完，于是再次发表，标题为《AI发展应该加速、放缓还是保持不变？》
虽然标题是疑问句，引言也充满了不可知论，但文章的结论却很明确——谨慎行事，应该给全社会人工智能的发展安装一个“刹车”。
负责托管维基百科的克里斯·阿尔本转发了这篇博客并给予了高度评价，将迈尔斯的内容产出比作那些致力于教育领域创业的人。
如今再加上刚刚辞职的翁，不得不说，“辞职潮”极大地丰富了优质AI博客的创作和输出。
迈尔斯毕业于乔治华盛顿大学并获得学士学位。本科期间，他曾在美国能源部担任特别助理。随后前往亚利桑那州立大学攻读博士学位。他的研究重点是技术的人类和社会层面。博士后期间，他在牛津大学担任人工智能政策研究员。
2018年，迈尔斯作为政策研究科学家加入这家成立3年的研究所，并于2021年晋升为研究主任，目前是AGI筹备工作的高级顾问。
当今的人工智能发展
人工智能应该更快、更慢还是保持不变？在回答这个问题之前，我们先来简单了解一下目前人工智能的发展速度有多快。
2021年出版的一本书——《人工智能简述》（A Brief of），里面的观点在仅仅三年后的今天就已经过时了。
例如，书中提到“理解一个故事并回答相关问题”和“解释照片中发生的事情”是AI尚未完全解决的任务；但从GPT、O1等模型可以看出，这些方面已经是巨大的进步，甚至可能超越人类的表现。
举这些例子并不是为了批评或批评，但我们需要明白，严肃的专家经常在人工智能领域犯下严重的错误。
尽管在某些情况下人们确实对人工智能的进展过于乐观，但总体而言，过去十年坚持与深度学习唱反调确实不是一个成功的策略。
计算机已解决和尚待解决的问题概述，按任务难度排序
另外，还有下面这张著名的图表，它告诉我们人工智能的发展是如何越来越快地饱和各种评估基准的。
人工智能在物理、化学和编码等领域的测试问题上开始超越专家的表现。例如，去年11月刚刚发布的基本全新的GPQA问答基准（-Proof）现在正在被碾压。
在解决即使是谷歌搜索也无法完成的孤立的、研究生水平的任务方面，人工智能可以比大多数专家做得更好，即使专家有半个小时的时间来解决问题。
o1 在具有挑战性的推理基准上显着优于 GPT-4o
这一最新发展背后的驱动力是人工智能系统向新范式的转变，即所谓的“思维链”（CoT），即它们在给出答案之前思考问题。
GPQA 基准测试只是一项孤立的短期任务。 AI系统目前还无法在需要数小时/天/周/年的“长期”任务上超越专家，但科技公司正在积极推动这一点，而且很有可能在10年内实现。
这些进步开始与机器人技术相结合，真正智能的AI系统无疑将大大加速机器人技术的发展。
棘手问题——人工智能发展的理想步伐
尽管在我看来，关于人工智能进步速度的争论会随着时间的推移而减少，但这个问题目前仍然非常模糊，因为它可以在不同的规模和级别上进行控制，例如单个公司、一个国家或一组人们。国家或全球范围内也区分不同类型。
例如，去年发表的一篇文章中，做了以下区分：
人工智能的快速发展可以分为横轴和纵轴：纵轴是指发展更大、更强大的模型，伴随着许多未知因素和对人类生存的潜在风险；相比之下，横轴强调当前模型已融入经济的各个角落，并提供相对较低的风险和较高的回报。
本文接下来的内容主要关注AI在全球纵轴上的扩展/进步，这也是大多数人所理解的AI进步；而最终我们关心的是全球结果，所以无论人工智能发生在哪里，都应该考虑它的进展。
一些人可能认为这是一个棘手问题的原因之一是，他们将其视为对技术观点的“试金石”，而技术本身已经备受争议。
但事实并非如此。事实上，有很多人总体上支持技术发展，但对人工智能感到担忧。
例如，在这项旨在关注人工智能风险的倡议中，有很多大力推动技术发展的大人物，比如比尔·盖茨、前首席科学家伊利亚、联创和CEO戴米斯、联创和CEO达里奥、联创CEO达里奥等。萨姆等人。
原文链接：
在本文作者迈尔斯看来，人工智能发展速度成为难题的真正原因在于，即使每个人的出发点都是共同的合理道德前提，比如“不要杀死所有人”和“更多的人与更少的人应该从技术中受益”，一系列相关的实证问题仍然难以解决。
整体人工智能发展的理想步伐可能取决于以下问题的答案，每个问题实际上都可能成为一个单独的领域：
让一个强大的人工智能系统变得安全是超级容易、容易、困难还是超级困难？
中国在人工智能领域有可能超越美国吗？这是否会因改变人工智能进展而采取的不同步骤而有所不同？
人工智能的快速进步会帮助还是损害我们应对其他重大社会挑战/风险（例如气候变化）的努力？
类似的问题还有很多。这些问题本身很难回答，更难以将它们整合到一个整体框架中，以得出有关人工智能理想进展速度的有用结论。
我们需要刹车吗
需要澄清的是，本文所指的“刹车”并不是以“一刀切”的方式彻底阻止人工智能技术的发展。相反，它根据事实和上述问题的答案，提供了仔细定义、分析的技术和政策选项，以减缓人工智能的进步。
看来我们应该安装（设计和争论的）“刹车”，因为人工智能目前的进步速度明显快于社会能够有效理解和塑造的速度，而且这一点可能不会很快改变——甚至它们之间的差距可能会逐渐拉大。
理想情况下，政策制定者应该掌控一切，但我们不知道最坏的情况是否会发生，因此要为各种情况做好准备。
值得一提的是，去年他写了一篇文章，详细分析了他看到的人工智能进步和社会准备度之间的差距。
原文链接：
目前，上面定义的“刹车”仍然不存在。部分证据是，我们看到了诸如“科技公司单方面暂停人工智能开发”等不切实际的提议。
这种政策不会发生，也不会起作用，至少在未来很长一段时间内不会，因为负责任的人工智能开发是一个集体行动问题。在任期间，他和他的团队于 2019 年发表了一篇论文，详细解释了这一点。
原文链接：
大多数人都担心人工智能的发展。人们看到问题，然后四处寻找答案，并提出一些非常简单的解决方案，但政策制定很困难，需要远见、辩论和认真的研究。
今年2月，哈佛大学肯尼迪学院、牛津、剑桥等机构联合发表论文，讨论加装“刹车”——“算力储备”的可能性（图）。
原文链接：
这类似于设立一个拥有黄金储备的中央银行，对市场经济的发展进行宏观调控； “算力储备”也是如此，它调节着人工智能的发展节奏。
尽管已经发表了104页的论文，但“算力储备”解决方案仍然存在很多问题和模糊之处。这不一定是正确的解决方案，但我们绝对应该对此和相关想法进行更多讨论，以及人工智能税和更多场景。
如果我们需要设计一个刹车，是否应该同时给它搭配一个“油门”？
我觉得这也是必要的，但目前我们看到的是各种小“油门踏板”都被踩得很用力。
例如，CHIPS法案将更多资金投入美国半导体制造；初创公司、风险投资和大型科技公司不断尝试在水平和垂直轴上扩大人工智能的规模；教育机构继续培训研究人员和工程师；消费者“用钱包投票”，通过为科技公司提供收入，间接支持AI更快进步。
由于减速协调困难，单边加速比单边减速容易。因此，从分配政策研究注意力的角度来看，关注如何减缓人工智能发展的难题更有意义。
结论和后续步骤
总而言之，这篇博文主要关注两点：
1. 没有人能够对标题中的问题给出合理合理的答案（人工智能的发展应该加速、放缓还是保持不变？）
2. 尽管如此，仍需谨慎安装“刹车”，以防万一
他表示，目前缺乏“刹车”的情况让他非常担忧，而在他职业生涯下一阶段要关注的话题中，“进步速度”的问题非常重要。
尽管他表示，“人工智能监管措施”与“国家竞争力”之间并不像大多数人想象的那样存在联系，但他的一条推文直言：“与过度监管相比，缺乏监管，特别是与安全+出口管制相关的监管，更有可能导致美国失去在AI领域的领先地位。”
参考：
本文来自微信公众号“新智元”，乔阳编辑，36氪授权发布。
