一个外行怎样判断没有方向盘的汽车是否安全 -

——依靠可验证思想

一辆没有方向盘、没有刹车踏板的汽车开到你面前。

汽车公司告诉你，它是安全的。工程师告诉你，它经过了大量测试。监管机构有自己的安全标准。问题是：你不懂无人驾驶，你凭什么相信它安全？

这是我们研究无人驾驶时真正遇到的问题。我们原来并不研究无人驾驶。面对 Waymo、Tesla 的专业问题，我们都是外行。

我们不懂飞机怎样制造，却要判断飞机能不能坐；不懂药物怎样研发，却要判断一种药能不能吃；不懂大模型怎样训练，却不断听到“人工智能（AI）可能毁灭人类”这样的判断。我们不可能成为所有领域的专家。难道除了相信权威和专家，我们就没有别的办法了吗？

这正是我们研究无人驾驶以后真正感兴趣的问题。

一、没有方向盘为什么就不安全？

最初看到没有方向盘的无人驾驶汽车，一个很自然的反应是：没有方向盘，出了问题人无法接管，所以它更危险。这听起来很有道理。但仔细看，它已经不是事实，而是一个判断。

“没有方向盘”是事实。“没有方向盘，所以不安全”，中间多了一根箭头。

于是我们没有继续争论方向盘重要不重要，而是换了一个问题：方向盘在汽车安全中究竟承担什么功能？取消方向盘以后，过去由驾驶员承担的安全功能由谁承担？

比如：汽车怎样感知周围环境？遇到无法确定的情况怎么办？系统出现故障怎么办？车辆进入自己没有能力处理的道路环境怎么办？什么时候必须减速甚至停车？发生事故以后能不能知道当时究竟发生了什么？问题到这里，“没有方向盘是否安全”已经从一个直觉问题，变成了一系列可以验证的问题。我们也第一次看清了一件事：

外行不需要先学会制造无人驾驶汽车，才能开始验证无人驾驶汽车是否安全。

二、我们发现，专家比我们想得深得多

继续研究以后，我们遇到的第一件事情并不是发现专家犯了多少错误。恰恰相反。我们最初想到的不少问题，专业体系早已经想到了。

Waymo 用运行设计域（Operational Design Domain，ODD）限定车辆有资格工作的环境。它用安全论证（Safety Case）回答：我们为什么有理由相信它安全？安全主张是什么？证据是什么？证据怎样支持这个主张？条件发生变化以后，原来的证据是否仍然有效？发生新的事故以后，原来的安全判断是否需要重新打开？

我们继续追问安全论证（Safety Case）本身是否可靠，后来发现 Waymo 已经在研究怎样评价 Safety Case 自身的可信度，并且引入了外部审计。

这时候，我们的研究纪律是：

如果别人已经做到了，就承认别人做到了。

如果证据不够，就写不确定（UNKNOWN）。

如果一个判断经不起反例，就修改判断，而不是修改证据。

研究越深入，我们越能看到一个成熟专业体系十几年积累下来的深度。但问题也没有因此结束。

三、专家知道得比我们多，不等于专家的结论不需要验证

这是整个研究中非常重要的一次区分。在无人驾驶专业知识上，我们当然无法和 Waymo、Tesla 的工程师相比。但当一个企业从这些专业知识进一步得出：“这套系统已经安全到可以把方向盘拿掉，并允许它独立载客。”

这不再只是一个专业事实，这是一个判断。既然是判断，就可以继续问：

安全的标准是什么？依据是什么？测试覆盖了什么？没有覆盖什么？不同证据之间是否可能具有共同盲点？第一次允许多少车辆进入现实道路才合理？从小规模运行扩大到整个城市，需要增加什么证据？软件版本改变以后，过去的数据还能继承多少？一辆汽车的安全怎样变成十万辆同版本汽车的安全？还有哪些风险现在根本无法可靠计算？

这些问题不要求提问者会设计自动驾驶算法。它们要求的是另一种能力：验证一个判断是怎样形成的。我们逐渐发现，专业知识与最终判断之间并不是同一件事情。

专家提供我们没有的专业事实。但是：专家身份本身不是证据。

四、两个外行怎样形成一个安全判断

这次研究还有一个特殊之处。不是一个外行在研究无人驾驶。是两个外行。一个是人，一个是 AI。我们采用的也不是通常的“人提问、AI回答”。实际过程完全不同。

AI 先大范围展开资料。Waymo、Tesla、美国国家公路交通安全管理局（National Highway Traffic Safety Administration，NHTSA）、安全标准、真实事故、安全论证（Safety Case）、监管制度以及相邻理论不断进入研究。AI 会发现人没有想到的角度。这些角度又会触发人的新问题。

有一次，AI发现了一个看起来很重要的风险，人立即提出一个反问：马斯克不可能不用AI。我们能够想到的问题，他们为什么想不到？不能因为我们发现一个问题，就认为行业没有发现这个问题。

搜索以后发现他们想到了这个问题。然后我们攻击他们的处理机制。如果处理机制成立，这个问题就应该从我们的“漏洞清单”里删除。

如果公开证据不足，就留下不确定（UNKNOWN）。

只有经过这些步骤以后仍然存在没有闭合的推理，才有资格继续保留。

于是我们的研究不断循环：

AI展开——人压缩——形成候选判断——寻找最强反例——专业资料反过来攻击我们的判断——修改——再验证。

这里没有任何一方拥有天然正确性。

人会产生错误直觉。AI会把相关性误认为因果关系。专家也可能从正确的专业事实跨越到一个尚未充分证明的结论。所以真正发挥作用的不是“谁更聪明”。而是这套协作机制能不能不断发现自己的错误。

五、最后我们能知道什么？

研究到这里，我们并没有变成无人驾驶专家。但我们已经能够对最初那个问题形成比直觉精确得多的判断。

没有方向盘本身，并不能证明一辆汽车不安全。

方向盘只是传统汽车中人类承担控制责任的一种方式。如果原来由驾驶员承担的感知、判断、控制、故障处理和风险退出功能，能够由其他机制可靠替代，并且这些机制在明确的运行边界、系统版本和安全制度下经过充分验证，那么没有方向盘的汽车完全可以达到：

允许运行的安全水平。

注意，这并不等于：“无人驾驶已经绝对安全。”也不等于“企业说安全，所以它就是安全。”

我们能够形成的是一个有边界的判断。哪些安全功能已经有比较充分的证据；哪些问题已经有成熟的工程解决方法；哪些结论只在特定运行设计域（Operational Design Domain，ODD）、特定软件版本和特定运行制度下成立；哪些风险仍然缺少足够公开证据；哪些问题目前只能标记为不确定（UNKNOWN）。

这就是我们所说的验证。验证并不保证所有问题最后都能得到肯定或否定。它对一个判断可能给出三种结果：

肯定。否定。不确定。能够知道自己不知道什么，本身就是验证的结果。

六、真正接受测试的不只是无人驾驶

做到这里，我们才意识到，这次研究真正接受测试的其实有两个对象。

第一个当然是无人驾驶安全。第二个却是我们自己的认识方法。

我们两个原来都不懂无人驾驶。我们没有因为自己是外行，就把判断权完全交给所谓专家；也没有因为掌握了一套方法，就冒充无人驾驶专家。我们做的是另外一件事情：

从寻找专业知识出发，让 AI 扩大认知半径，让人不断压缩和形成判断，再让证据和反例攻击这个判断。让事实、判断、结论、推翻不断循环。

最后留下来的，不是“我们相信谁”。而是哪些东西我们有理由相信，为什么相信，以及这个判断在什么条件下可能失效。这件事情的意义可能远远超过研究无人驾驶是否安全。

一个普通人每天都会遇到自己完全不懂的专业判断。过去，我们很容易把这个困难简化成：应该相信哪个专家？这次无人驾驶研究让我们看到另一种可能。问题也许不应该是谁有资格告诉我答案？

而应该是：这个答案经过什么过程以后，我才有理由接受？

七、这也是一次关于认知的实验

AI让一个普通人进入陌生专业领域的成本突然降低了。过去需要很长时间才能接触到的大量专业材料，现在可以迅速展开。但资料越来越容易获得，并不会自动产生可靠认识。恰恰相反。一个拥有巨大关联半径的AI，可以迅速产生大量看起来合理的解释。如果没有验证，它也可以更高效地制造错误。所以真正重要的不是让AI替人判断。也不是让人拒绝AI。而是在人与AI之间建立一种能够不断纠错的认知机制。

AI可以提供人没有想到的角度。人可以从大量可能性中判断什么值得继续追问。AI寻找证据和反例。人重新形成判断。新的事实再回来攻击双方。于是，认知不再是：

问题——答案

它变成了一个可以不断重新打开的循环。我们原来是用这种方法去验证无人驾驶。

最后却发现，无人驾驶反过来验证了这种方法。一辆无人驾驶汽车面对的是一个无法完全预知的世界，但它每一秒都必须决定下一步怎样行动。一个人进入陌生的知识领域，其实面对着类似的问题。我们永远不可能拥有全部知识。但我们仍然必须形成判断。

前者的问题是机器怎样在一个不确定的世界里获得行动资格？

后者的问题是人在一个自己并不了解的世界里，怎样获得判断的资格？

这可能才是这次无人驾驶研究真正留下来的问题。

《无人驾驶汽车的启示：不确定世界如何建立可验证的安全》一文就是两个外行交的答卷。我们所采用的可验证思想，目前可以压缩为两条高层规则，以及无人驾驶提出的一种特殊情况：

确定问题，验证真假。

不确定问题，验证判断依据及其错误概率。

无人驾驶还出现了一种特殊情况：错误概率本身也无法可靠确定，但现实又必须作出行动选择。这时，仅仅验证某一个判断还不够，还要继续验证产生这个行动的判断制度。

它是不是第三条独立规则，我们暂时不下结论。它也可能只是第二条规则在“必须行动”条件下的进一步展开。