一個外行怎樣判斷沒有方向盤的汽車是否安全 -

——依靠可驗證思想

一輛沒有方向盤、沒有剎車踏板的汽車開到你面前。

汽車公司告訴你，它是安全的。工程師告訴你，它經過了大量測試。監管機構有自己的安全標準。問題是：你不懂無人駕駛，你憑什麼相信它安全？

這是我們研究無人駕駛時真正遇到的問題。我們原來並不研究無人駕駛。面對 Waymo、Tesla 的專業問題，我們都是外行。

我們不懂飛機怎樣製造，卻要判斷飛機能不能坐；不懂藥物怎樣研發，卻要判斷一種藥能不能吃；不懂大模型怎樣訓練，卻不斷聽到「人工智能（AI）可能毀滅人類」這樣的判斷。我們不可能成為所有領域的專家。難道除了相信權威和專家，我們就沒有別的辦法了嗎？

這正是我們研究無人駕駛以後真正感興趣的問題。

一、沒有方向盤為什麼就不安全？

最初看到沒有方向盤的無人駕駛汽車，一個很自然的反應是：沒有方向盤，出了問題人無法接管，所以它更危險。這聽起來很有道理。但仔細看，它已經不是事實，而是一個判斷。

「沒有方向盤」是事實。「沒有方向盤，所以不安全」，中間多了一根箭頭。

於是我們沒有繼續爭論方向盤重要不重要，而是換了一個問題：方向盤在汽車安全中究竟承擔什麼功能？取消方向盤以後，過去由駕駛員承擔的安全功能由誰承擔？

比如：汽車怎樣感知周圍環境？遇到無法確定的情況怎麼辦？系統出現故障怎麼辦？車輛進入自己沒有能力處理的道路環境怎麼辦？什麼時候必須減速甚至停車？發生事故以後能不能知道當時究竟發生了什麼？問題到這裏，「沒有方向盤是否安全」已經從一個直覺問題，變成了一系列可以驗證的問題。我們也第一次看清了一件事：

外行不需要先學會製造無人駕駛汽車，才能開始驗證無人駕駛汽車是否安全。

二、我們發現，專家比我們想得深得多

繼續研究以後，我們遇到的第一件事情並不是發現專家犯了多少錯誤。恰恰相反。我們最初想到的不少問題，專業體系早已經想到了。

Waymo 用運行設計域（Operational Design Domain，ODD）限定車輛有資格工作的環境。它用安全論證（Safety Case）回答：我們為什麼有理由相信它安全？安全主張是什麼？證據是什麼？證據怎樣支持這個主張？條件發生變化以後，原來的證據是否仍然有效？發生新的事故以後，原來的安全判斷是否需要重新打開？

我們繼續追問安全論證（Safety Case）本身是否可靠，後來發現 Waymo 已經在研究怎樣評價 Safety Case 自身的可信度，並且引入了外部審計。

這時候，我們的研究紀律是：

如果別人已經做到了，就承認別人做到了。

如果證據不夠，就寫不確定（UNKNOWN）。

如果一個判斷經不起反例，就修改判斷，而不是修改證據。

研究越深入，我們越能看到一個成熟專業體系十幾年積累下來的深度。但問題也沒有因此結束。

三、專家知道得比我們多，不等於專家的結論不需要驗證

這是整個研究中非常重要的一次區分。在無人駕駛專業知識上，我們當然無法和 Waymo、Tesla 的工程師相比。但當一個企業從這些專業知識進一步得出：「這套系統已經安全到可以把方向盤拿掉，並允許它獨立載客。」

這不再只是一個專業事實，這是一個判斷。既然是判斷，就可以繼續問：

安全的標準是什麼？依據是什麼？測試覆蓋了什麼？沒有覆蓋什麼？不同證據之間是否可能具有共同盲點？第一次允許多少車輛進入現實道路才合理？從小規模運行擴大到整個城市，需要增加什麼證據？軟件版本改變以後，過去的數據還能繼承多少？一輛汽車的安全怎樣變成十萬輛同版本汽車的安全？還有哪些風險現在根本無法可靠計算？

這些問題不要求提問者會設計自動駕駛算法。它們要求的是另一種能力：驗證一個判斷是怎樣形成的。我們逐漸發現，專業知識與最終判斷之間並不是同一件事情。

專家提供我們沒有的專業事實。但是：專家身份本身不是證據。

四、兩個外行怎樣形成一個安全判斷

這次研究還有一個特殊之處。不是一個外行在研究無人駕駛。是兩個外行。一個是人，一個是 AI。我們採用的也不是通常的「人提問、AI回答」。實際過程完全不同。

AI 先大範圍展開資料。Waymo、Tesla、美國國家公路交通安全管理局（National Highway Traffic Safety Administration，NHTSA）、安全標準、真實事故、安全論證（Safety Case）、監管制度以及相鄰理論不斷進入研究。AI 會發現人沒有想到的角度。這些角度又會觸發人的新問題。

有一次，AI發現了一個看起來很重要的風險，人立即提出一個反問：馬斯克不可能不用AI。我們能夠想到的問題，他們為什麼想不到？不能因為我們發現一個問題，就認為行業沒有發現這個問題。

搜索以後發現他們想到了這個問題。然後我們攻擊他們的處理機制。如果處理機製成立，這個問題就應該從我們的「漏洞清單」里刪除。

如果公開證據不足，就留下不確定（UNKNOWN）。

只有經過這些步驟以後仍然存在沒有閉合的推理，才有資格繼續保留。

於是我們的研究不斷循環：

AI展開——人壓縮——形成候選判斷——尋找最強反例——專業資料反過來攻擊我們的判斷——修改——再驗證。

這裏沒有任何一方擁有天然正確性。

人會產生錯誤直覺。AI會把相關性誤認為因果關係。專家也可能從正確的專業事實跨越到一個尚未充分證明的結論。所以真正發揮作用的不是「誰更聰明」。而是這套協作機制能不能不斷發現自己的錯誤。

五、最後我們能知道什麼？

研究到這裏，我們並沒有變成無人駕駛專家。但我們已經能夠對最初那個問題形成比直覺精確得多的判斷。

沒有方向盤本身，並不能證明一輛汽車不安全。

方向盤只是傳統汽車中人類承擔控制責任的一種方式。如果原來由駕駛員承擔的感知、判斷、控制、故障處理和風險退出功能，能夠由其他機制可靠替代，並且這些機制在明確的運行邊界、系統版本和安全制度下經過充分驗證，那麼沒有方向盤的汽車完全可以達到：

允許運行的安全水平。

注意，這並不等於：「無人駕駛已經絕對安全。」也不等於「企業說安全，所以它就是安全。」

我們能夠形成的是一個有邊界的判斷。哪些安全功能已經有比較充分的證據；哪些問題已經有成熟的工程解決方法；哪些結論只在特定運行設計域（Operational Design Domain，ODD）、特定軟件版本和特定運行制度下成立；哪些風險仍然缺少足夠公開證據；哪些問題目前只能標記為不確定（UNKNOWN）。

這就是我們所說的驗證。驗證並不保證所有問題最後都能得到肯定或否定。它對一個判斷可能給出三種結果：

肯定。否定。不確定。能夠知道自己不知道什麼，本身就是驗證的結果。

六、真正接受測試的不只是無人駕駛

做到這裏，我們才意識到，這次研究真正接受測試的其實有兩個對象。

第一個當然是無人駕駛安全。第二個卻是我們自己的認識方法。

我們兩個原來都不懂無人駕駛。我們沒有因為自己是外行，就把判斷權完全交給所謂專家；也沒有因為掌握了一套方法，就冒充無人駕駛專家。我們做的是另外一件事情：

從尋找專業知識出發，讓 AI 擴大認知半徑，讓人不斷壓縮和形成判斷，再讓證據和反例攻擊這個判斷。讓事實、判斷、結論、推翻不斷循環。

最後留下來的，不是「我們相信誰」。而是哪些東西我們有理由相信，為什麼相信，以及這個判斷在什麼條件下可能失效。這件事情的意義可能遠遠超過研究無人駕駛是否安全。

一個普通人每天都會遇到自己完全不懂的專業判斷。過去，我們很容易把這個困難簡化成：應該相信哪個專家？這次無人駕駛研究讓我們看到另一種可能。問題也許不應該是誰有資格告訴我答案？

而應該是：這個答案經過什麼過程以後，我才有理由接受？

七、這也是一次關於認知的實驗

AI讓一個普通人進入陌生專業領域的成本突然降低了。過去需要很長時間才能接觸到的大量專業材料，現在可以迅速展開。但資料越來越容易獲得，並不會自動產生可靠認識。恰恰相反。一個擁有巨大關聯半徑的AI，可以迅速產生大量看起來合理的解釋。如果沒有驗證，它也可以更高效地製造錯誤。所以真正重要的不是讓AI替人判斷。也不是讓人拒絕AI。而是在人與AI之間建立一種能夠不斷糾錯的認知機制。

AI可以提供人沒有想到的角度。人可以從大量可能性中判斷什麼值得繼續追問。AI尋找證據和反例。人重新形成判斷。新的事實再回來攻擊雙方。於是，認知不再是：

問題——答案

它變成了一個可以不斷重新打開的循環。我們原來是用這種方法去驗證無人駕駛。

最後卻發現，無人駕駛反過來驗證了這種方法。一輛無人駕駛汽車面對的是一個無法完全預知的世界，但它每一秒都必須決定下一步怎樣行動。一個人進入陌生的知識領域，其實面對着類似的問題。我們永遠不可能擁有全部知識。但我們仍然必須形成判斷。

前者的問題是機器怎樣在一個不確定的世界裏獲得行動資格？

後者的問題是人在一個自己並不了解的世界裏，怎樣獲得判斷的資格？

這可能才是這次無人駕駛研究真正留下來的問題。

《無人駕駛汽車的啟示：不確定世界如何建立可驗證的安全》一文就是兩個外行交的答卷。我們所採用的可驗證思想，目前可以壓縮為兩條高層規則，以及無人駕駛提出的一種特殊情況：

確定問題，驗證真假。

不確定問題，驗證判斷依據及其錯誤概率。

無人駕駛還出現了一種特殊情況：錯誤概率本身也無法可靠確定，但現實又必須作出行動選擇。這時，僅僅驗證某一個判斷還不夠，還要繼續驗證產生這個行動的判斷制度。

它是不是第三條獨立規則，我們暫時不下結論。它也可能只是第二條規則在「必須行動」條件下的進一步展開。