9月19日，2024云栖大会上，小鹏汽车董事长兼CEO何小鹏与英伟达全球副总裁、汽车业务部负责人吴新宙以“生成式AI重塑自动驾驶”为主题，展开圆桌讨论。
对于FSD引入中国，双方对于大车型对自动驾驶的支持程度，乃至未来汽车市场格局的认识高度一致。
在谁是“甲方”的问题上，他们表现得比较谦虚。尽管公司刚刚宣布自研的图灵智能驾驶芯片流片成功，但何小鹏仍表示很多芯片需要和英伟达等合作伙伴合作，并直接称英伟达为其甲方。
吴新洲虽然不认同“甲方”的言论，但也借机打了个广告。他表示，在汽车生态中，尤其是生成式AI出现后，全栈自研的门槛更高，需要这样的供应商来弥补短板。“我们只能提供大模型，也可以提供全栈解决方案，帮助车企把智能驾驶提升到市场主流产品的水平。”
短短半个小时，谈技术、谈合作、谈未来，昔日CP玩得不亦乐乎。
特斯拉FSD进入中国 别慌
“FSD进入中国，借用小鹏常说的两句话：不要慌。”谈及特斯拉FSD引入中国，吴新洲表示对其技术的欣赏，但相信国内车企能够应对。
他说，特斯拉走过的每一步都在证明这个东西是可行的，这就是FSD最大的作用。它推动了行业下一步的发展，它真的把上限提高了。很多举动变得非常人性化，这是非常重要的。
不过他也认为，FSD的下限问题并没有完全解决，FSD原本的逻辑错误还是存在的，可以说是第一次尝试在大模型上达到上限。“中国场景中复杂的东西很多，我相信中国车企的技术积累很好，即便同台竞技，也是旗鼓相当。”
何小鹏在美国体验特斯拉FSD
“我非常期待，我们需要不一样的、好的技术去冲击这个市场，这样才能看到这个市场的变化。”何小鹏的态度比较积极。
他认为，FSD在过去一年里取得了很大进步，“之前无论是中国的NGP还是海外的FSD，都是很基础的自动辅助驾驶。FSD用上端到端的大模型之后，我们看到了一个巨大的变化，就是它更加人性化、更加流畅，就像一个本土老司机一样。”
他还透露，小鹏NGP最近已经开始了全场景全球车型测试版，整个横向切入、转弯、并线都有了巨大的改变，甚至感觉比我开起来切入还要顺畅、高效，这个改变大家一定要体会一下。
端到端可实现自动驾驶的上限和下限的更高限制
特斯拉FSD技术能够快速迭代的很大原因，就是端到端大模型技术的实现。
作为科技界的大咖，吴新洲对于端到端大模型给出了自己的解读。
他表示，端到端大模型在自动驾驶的应用分为两个阶段，两个阶段都会大幅提升自动驾驶的上限。
第一阶段是端到端，在现有的架构上，上游模型和下游模型以某种方式连接起来，用数据进行端到端的训练。业界已经做了很多工作。有了这样的能力，自动驾驶的发展其实可以更加数据驱动。
第二阶段是大模型，端到端的大模型，把一些常见的大模型放到自动驾驶里面去，可以进一步提高自动驾驶的上限。
传统自动驾驶架构典型代表：3.0软件架构
“我在自动驾驶领域耕耘十余年，见证了自动驾驶的变化和进步。”吴新洲说，现有的自动驾驶算法大多是基于规则的。解释起来很容易，从看到的到做的，但很难很好地分解。目前大部分算法堆栈还很深，需要很多人类工程师尽可能地想到所有可能性，但这种方法有上限。
首先，我们需要量化行为。人类驾驶非常灵活，但自动驾驶算法，尤其是基于规则的算法堆栈，会过度量化人类的行为。一个好的算法堆栈在状态机中会有数百种行为，而更基本的算法堆栈，例如 LCC，可能只有一两种行为。然而，无论你如何量化或清理，有时汽车还是机械地行驶。
其次，现有的算法栈在通用性上有非常大的局限性。为了训练一个模型，特别是感知模型，我们需要修炼几百万辆车的数据集，调控也是如此。这会导致大量的工程和测试。在通用性方面，在数据没见过的地方和场景，汽车会不知道该如何反应。
“自动驾驶大部分是小脑问题，不需要太多的逻辑推理。但要想把车开好，很多时候还是需要逻辑推理的。”吴新洲指出。
未来通过大模型空间的强大联想能力，可以形成非常强的记忆能力，把自动驾驶的上限推到一个非常不一样的高度。吴新洲认为，有了这样的能力，才有可能处理复杂的场景，把几百公里变成几千公里、几万公里，真正打开L3到L4的大门。
何小鹏（中）、吴新洲（右）等在2024云栖大会上进行圆桌讨论
何小鹏对于端到端发展的预测，更多的是基于过去的经验。
他以自动驾驶为例，称自动驾驶大约在1925年开始研发；丰田1999年开始研发；谷歌2009年开始研发；百度2014年开始研发；小鹏2017年开始研发。到今天，自动驾驶还没有大规模落地。
“如果从我的角度来对大模型进行分类的话，有针对数字世界的大模型、针对物理世界的大模型，还有一个新的针对仿真世界的大模型。这三个不同的模型未来肯定会融合在一起。”何小鹏认为，这个过程在数字世界可能变化得很快，但物理世界的变化肯定会比大家想象的要慢。
不过他也认同端到端大模型能帮助企业实现更高程度的自动驾驶，下限也可以提升。“对最普通的用户来说，从现在到未来36个月，每个人都可以在每个城市像经验丰富的司机一样驾驶。这就是端到端大模型给用户带来的强烈感知。”
端到端不一定是最终的解决方案，但肯定有价值
而对于“端到端是否是自动驾驶的终极解决方案”这个问题，两位专家的回答都显得比较乐观，但又不失谨慎。
吴新洲表示，从现有的技术框架来看，我们不敢说大模型就是最终的解决方案，但绝对是一个巨大的突破。“我觉得未来逐渐把一些由人类工程师设计的方法或者特征点从全栈中剔除出来，会是一个不可逆转的趋势。”
不过吴新洲表示，拥有大模型的能力之后，我们还需要非常重视安全性、全栈可解释性，还有一些协调工作要做。至于大模型是不是“终极解决方案”，“这个很难说，肯定会有新的技术、接下来的突破，让我们看到更多的可能性。”
