聲明:本網站所有專欄文章均可自由轉載

不確定世界如何建立可驗證的安全

——無人駕駛汽車的啟示

導讀 本文不是一篇無人駕駛技術綜述,也不試圖比較 Waymo 與 Tesla 誰更先進。它借無人駕駛討論一個更一般的問題:當外部世界高度不確定,甚至錯誤概率本身也無法可靠計算,而系統又必須立即給出一個確定行動時,這個確定行動憑什麼可信?本文以 Waymo 為主要樣本,以 Tesla、監管和真實事故為對照,檢驗「從不確定輸入到確定行動」這根箭頭。文章關注的不是某一家公司是否更先進,而是一個更一般的可驗證問題:當事實驗證和概率驗證都不足以支撐行動時,產生行動的判斷制度本身能否被檢查、限制、推翻和重新授權。 無人駕駛把這個問題推到了極端。道路上的下一秒沒有一個預先寫好的答案,但汽車不能因此拒絕決定。到了具體時刻,它必須剎車或不剎車、繼續或停車、維持權限或降級。外部世界是不確定的,機器最後卻必須給出確定行動。真正困難的不是「機器能不能把未來預測準確」,而是:在一個無法完全預測的世界裏,人類憑什麼允許機器作出確定行動?

一、Waymo 真正解決的是:自己在什麼條件下有資格行動

Google 在 2009 年啟動自動駕駛項目,2016 年將其獨立為 Alphabet 旗下的 Waymo;2018 年起推出 Waymo One 商業約車服務,2020 年進一步向公眾開放無車內安全員的付費無人駕駛服務。[1] 經過十多年的迭代,Waymo 已經積累了大規模無安全員道路運行數據。

但如果只看里程,很容易錯過 Waymo 真正重要的地方。它並沒有試圖證明一件實際上無法證明的事情:汽車以後永遠不會發生事故。它真正建立的是另一種安全邏輯:先限定系統有資格工作的條件,再用測試、仿真、故障分析、道路數據和安全論證說明,在這些條件下,沒有證據表明系統存在不可接受的不合理風險;然後進行有限部署,再讓現實運行繼續檢驗原來的判斷。

這裏最基本的概念是運行設計域(Operational Design Domain,ODD;本文簡稱「邊界」)。[2] 無人駕駛系統並不是說「我能夠處理現實世界中的一切道路和一切情況」,而是先說明自己在哪些地理區域、道路類型、速度範圍、天氣和交通條件下工作。

這件事看似普通,其實很重要。運行設計域並沒有消滅不確定性,它首先承認機器的知識和能力存在邊界。真正成熟的安全系統首先做的,不是擴大自己的能力敘事,而是規定自己在什麼條件下有資格行動。

二、不確定性真正改變的,是機器擁有多少行動權

汽車中的程序可以按照確定規則執行,但它所面對的世界並不確定。傳感器只能得到現實世界的一部分信息;對其他道路參與者未來行為的預測也只能是概率性的;即使軟件沒有錯誤,硬件仍然可能故障。所以無人駕駛真正的安全問題並不是「有沒有不確定性」,而是「不確定性出現以後,機器還可以做什麼」。

信息越充分、場景越熟悉、剩餘能力越強,系統可以擁有較大的行動空間;反過來,一旦感知能力下降、環境異常、系統故障或者風險無法可靠判斷,機器的行動權限就應當隨之收縮。用本文的話壓縮,就是:不確定性越高,行動權限越低。

例如,車輛發生故障以後,安全並不意味着立即停在原地。高速公路中間突然停車,本身就可能製造新的危險。真正需要判斷的是:在當前故障狀態下,車輛還保留哪些能力,周圍交通環境怎樣,繼續移動和立即停車分別會造成什麼後果,然後選擇當時能夠實現的較低風險狀態。

所以「最小風險狀態」從來不等於「零風險狀態」。機器必須不斷回答的不是「什麼動作絕對正確」,而是「在我現在掌握這些證據的情況下,我還有資格做什麼」。

三、安全判斷本身也必須接受驗證

無人駕駛無法依靠一種測試方法證明安全。真實道路能夠提供最直接的證據,但極端事故太少,僅靠道路里程很難覆蓋;仿真能夠重複危險場景,卻也可能帶有模型誤差;封閉場地可以精確復現問題,卻無法複製整個開放世界;事故統計本身還受到地區、道路類型、時間和報告口徑影響。

因此,Waymo 採用安全論證(Safety Case)。[3] 它不是簡單給出一個安全分數,而是要求一個重要安全主張能夠向下追溯:為什麼相信這個主張,依賴哪些證據,這些證據本身是否可信,是否存在尚未解決的反例和殘餘疑慮。

這件事的意義在於,驗證對象發生了變化。最初我們驗證的是汽車,接下來還必須驗證:證明汽車安全的那套論證本身可靠嗎?

安全工程領域發展的安全保證論證 2.0(Assurance 2.0)進一步引入「反駁項」(defeaters),主動尋找能夠削弱或推翻原有結論的證據或理由。[4][5] 一個好的安全論證,不只是搜集「支持我」的材料,還必須認真記錄「為什麼我可能是錯的」。

在一個高度不確定的世界裏,安全並不是把所有疑慮消除以後才成立。真正重要的是:疑慮有沒有被發現和記錄,它們會不會改變當前權限;以後出現新證據時,原有結論能不能被重新打開。

四、連錯誤概率都算不清時,就必須控制真實世界暴露

很多風險問題可以用概率討論,但這裏必須先做一個區分:可量化但誤差較大、模型不確定性、分佈外風險、尾部風險和深度不確定性,並不是同一件事。本文所討論的,是其中概率分佈本身難以可靠建立、而系統仍然必須行動的情形,以及與它相鄰的狀態。

一個從未出現過的新場景到底多久出現一次?一種新的組合風險到底多危險?新的軟件版本會不會與某種特殊天氣共同產生問題?如果仍然強行給出一個貌似精確的概率,只是在製造虛假的確定性。

這時,控制暴露本身就成為安全工具。新的軟件、新的城市、新的運行範圍,不必一開始就無限開放。可以先限制區域、車輛數量、道路類型和運行規模,讓現實世界提供新的證據,再決定是否擴大。因此,真實運行不僅是產品部署,也是驗證過程的一部分。[2]

這意味着安全體系不能以「第一次判斷絕不會錯」為前提。它必須保證:即使初始判斷存在偏差,風險暴露仍受到限制;新事實出現以後,系統能夠降權、停止、召回,甚至重新回到未知狀態。

「驗證通過」因此不應被理解成永久標籤。更準確的說法是:在某一個版本、某一組運行條件和某一組現有證據下,當前可以接受這個結論。版本變了、運行環境變了,或者新的事故證據出現了,原來的「安全」完全可能重新變成「未知」。

五、Waymo 和 Tesla 走的是兩條路線,但最終回答的是同一個問題

Tesla 走的是另一條道路。它擁有很強的整車製造能力、低成本硬件路線和巨大的現實車隊,同時也積累了大量完全自動駕駛監督版(FSD Supervised)運行數據。[6] 這些數據當然有價值。

但從可驗證角度看,有一條邊界不能跨過去:監督版完全自動駕駛的安全數據不能自動等同於真正無人監督的無人駕駛出租車數據。原因很簡單,在監督模式下,人類駕駛員仍然是整個安全系統的一部分。一個本來可能造成事故的判斷,如果被駕駛員及時接管,最後可能不會表現為事故。

如果用本文同一把尺子評價 Tesla,未來真正需要觀察的也不只是事故率,而是無人監督系統的資格邊界如何定義、行動權限如何隨不確定性收縮、現實暴露如何分級,以及新事實出現後如何降權和重新授權。

這並不是否定 Tesla。Waymo 值得尊敬的是,它把一個幾乎沒有先例的開放世界安全問題,經過十幾年一步一步做成了可以現實運營、部分結果已經接受獨立統計檢驗、並能夠持續糾錯的體系。Tesla 值得尊敬的則是,如果它最終在真正無人監督條件下通過同樣嚴格的安全驗證,它的軟硬件一體化和製造能力有可能把自動駕駛進一步壓縮成可以大規模複製的工業產品。

兩家公司走的是不同路線,但對於本文討論的可驗證安全,它們最終必須回答同一個問題:在未來無法完全預測的世界中,憑什麼允許機器行動?

六、企業的安全判斷,不能直接變成社會的風險授權

一家企業可以建立自己的安全論證(Safety Case),可以成立安全委員會(Safety Board),也可以認為某個版本已經不存在不可接受的不合理風險。但企業不能因此自動獲得決定「社會應該接受多少殘餘風險」的權力。所以,企業判斷和公共授權之間還需要監管。

本文監管部分主要以美國為樣本。美國國家公路交通安全管理局(National Highway Traffic Safety Administration,NHTSA)負責車輛安全、缺陷調查和召回;州一級監管機構管理測試和部署許可;加利福尼亞州公用事業委員會(California Public Utilities Commission,CPUC)管理商業載客資格;美國國家運輸安全委員會(National Transportation Safety Board,NTSB)負責重大事故的獨立調查和安全建議。

加州近年的自動駕駛規則越來越強調安全論證、生命周期管理和持續監測。[7] 這說明,完整的安全體系並不是企業內部驗證結束以後就完成,而是包括企業驗證、第三方審核、監管授權、有限部署、現實運行和再次監管。

但監管批准也不等於真理。監管者同樣面對信息不對稱、技術變化過快、軟件複雜度過高和事故數據不足等問題。驗證判斷制度本身,並不意味着尋找一個不會犯錯的「最終驗證者」,而是把企業判斷、第三方審核、公共授權和現實結果拆開,使不同主體能夠相互校驗、相互限制。

七、真實事故,是對判斷制度最重要的壓力測試

近年的幾個 Waymo 事件很有代表性,因為它們暴露的並不只是「汽車有沒有看見東西」,而是判斷制度中的不同環節。

2026 年 4 月 20 日,Waymo 一輛空車在聖安東尼奧遇到不可通行的道路積水。NHTSA 的召回文件記載,系統已經檢測到前方積水「可能無法通行」,車輛減速後仍繼續進入;Waymo 隨後收緊高風險積水條件下的運行範圍,並由安全委員會決定召回。[8] 這裏的問題不是沒有識別風險,而是:已經識別了風險以後,為什麼行動權限沒有進一步收縮?

2026 年 4 月至 5 月,Waymo 在鳳凰城和三藩市灣區發生多起車輛進入封閉或施工車道的事件。召回文件把問題歸因於兩類機制:未能識別施工區域,或者在多種風險並存時不當地優先處理其他高速公路風險。[9] 這說明機器面對多個安全目標時,不僅要識別風險,還必須決定風險之間的優先級。

校車事件又提出了另一類問題。NTSB 的公開調查材料描述了這樣一個過程:車輛先停車,隨後向遠程協助(Remote Assistance)詢問前方是否是一輛正在顯示停車信號的校車;遠程人員給出否定回答,車輛隨後重新起步。[10] 調查尚未完成,因此現在不能提前判斷最終責任。

但無論最終責任如何,這一序列至少說明:信息輸入本身可能改變機器對外部狀態的定義,而狀態定義又可能改變行動權限。人類介入因此也必須成為驗證對象,而不能被當作天然的安全閥。信息權、狀態定義權、判斷權、授權權和執行權,並不是同一件事。一個人沒有方向盤,並不代表他沒有控制力;如果他的輸入能夠改變機器對現實的解釋,他仍然可能改變機器的行動。

八、現實數據支持 Waymo,但不能替代機制驗證

從結果看,Waymo 目前已經得到相當有力的獨立支持。美國公路安全保險協會(Insurance Institute for Highway Safety,IIHS)在 2026 年公佈的一項研究使用約 5000 萬英里無人駕駛運行數據,並與同城市、同時期的人類駕駛事故進行匹配。結果顯示,Waymo 按行駛里程計算的警察可報告事故率比匹配的人類駕駛低 68%,傷害事故率低 81%。[11]

這是重要證據。它說明 Waymo 的安全體系並不只是紙面工程,而已經在現實道路中產生了可以觀察到的結果。但這種結果不能被解釋成「Waymo 的安全問題已經解決」。總體事故率下降,不等於每一種風險都已經被理解。校車、兒童、施工區、極端天氣、基礎設施失效以及大規模車隊同時進入異常狀態,仍可能暴露出總體統計難以發現的結構性問題。

因此,一個成熟的安全體系既要看總體結果,也要看局部機制。現實結果已經形成較強支持,與制度細節仍不能被外部完整復算並不矛盾:前者檢驗結果,後者檢驗產生結果的判斷制度。

九、從外部可驗證角度看,仍有幾根箭頭沒有完全閉合

經過十多年的迭代,公開證據已經對 Waymo 在現有運行邊界內的總體安全表現形成了相當強的支持,這本身非常難得。但作為外部觀察者,我們仍無法復算其完整安全論證、內部閾值和全部運行數據;從外部可驗證角度看,至少還有幾根箭頭沒有完全閉合。

第一根是風險接受閾值。科學能夠幫助我們估計某種傷害發生的概率和嚴重程度,卻不能單獨回答一個規範問題:多低的風險才算社會可以接受?所謂「沒有不合理風險」,最後仍然包含價值判斷。可驗證方法不能替代價值選擇,但可以要求價值判斷被明確表達、與公共授權相對應,並能夠被問責。

第二根是第一次暴露應該有多大。如果面對一種尚未充分觀察的風險,錯誤概率本身都不知道,那麼第一次究竟允許多少輛車、多少里程、多少真實公眾暴露?Waymo 已經有明顯的漸進部署制度,但公開信息還不足以讓外部觀察者完整復算「現有證據強度」與「允許部署規模」之間的對應關係。

第三根是擴大權限的條件。什麼時候可以從一個城市擴大到另一個城市?從一種道路擴展到另一種道路?從一個軟件版本遷移到下一個版本?舊證據不能全部作廢,否則系統永遠無法擴張;但舊證據也不能無限繼承,否則新的風險變化會被隱藏。

第四根是遠程協助。外界已經知道,遠程協助不是遠程駕駛,而主要提供上下文和建議。但真正評價這套機制,還需要知道它被請求的頻率、錯誤率、錯誤建議改變車輛狀態的概率,以及大規模系統異常出現時的等待時間分佈。

第五根是從單車安全走向系統安全。一輛汽車在異常情況下停車,很可能是安全行為;如果幾百輛汽車在同一場大停電或城市基礎設施異常中同時停車,原本正確的局部行為就可能製造新的系統風險。因此,未來真正需要驗證的已經不僅是一輛汽車,而是車輛、車隊、遠程支持、雲端系統、道路基礎設施和應急體系構成的整體。

十、無人駕駛真正擴展了「可驗證」這個概念

無人駕駛給可驗證思想帶來的最大變化,不是增加了一套汽車安全術語,而是迫使可驗證對象繼續上移。

對於確定問題,我們可以直接追問事實真假。一筆交易是否發生、一項資產是否存在、一個賬本是否一致,原則上都存在可以不斷逼近的事實答案。對於不確定問題,我們無法要求判斷永遠正確,但可以驗證判斷依據是什麼、概率如何形成、誤差可能有多大。

無人駕駛提出了更困難的第三種情況:有些問題不僅未來不確定,連錯誤概率本身也無法可靠確定,但系統又不能拒絕行動。此時,真正需要驗證的就不再只是結論,而是產生這個確定行動的判斷制度本身。

如果再壓縮,在這種必須行動的情況下,至少可以繼續檢查四件事:資格邊界是否明確;權限是否隨證據和不確定性變化;現實暴露是否有上限;什麼條件會使舊結論重新打開,並觸發降權、停止或再授權。

這一判斷並非建立在理論真空中。魯棒決策(Robust Decision Making,RDM)、信息差距決策理論(Info-Gap)、安全保證論證 2.0(Assurance 2.0)、適應性管理的雙環學習,以及德國和日本的自動駕駛安全研究,都分別處理了深度不確定性、殘餘疑慮、持續更新或制度學習等問題。[12]-[18] 本文並不試圖取代這些理論,而是嘗試把其中分散的方法壓縮到同一條可驗證主線上:當不確定輸入必須產生確定行動時,可驗證對象需要從事實、判斷繼續上移到產生判斷的制度本身。

由此,可驗證思想仍然保留兩條高層規則,並在第二條規則下進一步展開:

確定問題,驗證真假。

不確定問題,驗證判斷依據及其錯誤概率。

當錯誤概率也無法可靠確定,但現實又必須給出確定解時,驗證不能停在「錯誤概率無法確定」這一結果上,還要繼續驗證產生行動的判斷制度本身。

無人駕駛並不能證明這種制度性展開已經適用於一切領域。醫療急救、電網調度、金融緊急干預等問題仍需要分別驗證。但無人駕駛至少構成了一次很強的壓力測試:當一個不確定問題不能停留在「不知道」,而必須在現實中形成確定行動時,驗證對象就需要從判斷及其錯誤概率,繼續延伸到產生行動的判斷制度。

可驗證思想的價值,不是把不確定性消滅,而是使一個必須在不確定條件下作出的確定決定,仍然能夠被檢查、被限制、被推翻,也能夠被不斷修正。

參考文獻

[1] Waymo. Autonomous Driving Technology – Learn more about us. Waymo corporate history/timeline. https://waymo.com/about/

[2] Favaro, F., Schnelle, S., Fraade-Blanar, L., Victor, T., Peña, M., Webb, N., et al. 「Determining Absence of Unreasonable Risk: Approval Guidelines for an Automated Driving System Release.」 SAE International Journal of Connected and Automated Vehicles, 9(4), 2026. DOI: 10.4271/12-09-04-0026.

[3] Schnelle, S., Favaro, F. M., Fraade-Blanar, L., Wichner, D., Broce, H., Miranda, J. 「Assessing a Safety Case: Bottom-up Guidance for Claims and Evidence Evaluation.」 Waymo Research, 2026. https://waymo.com/research/assessing-a-safety-case-bottom-up-guidance-for-claims-and-evidence/

[4] Bloomfield, R., Rushby, J. 「Assessing Confidence with Assurance 2.0.」 arXiv:2205.04522, 2022.

[5] Bloomfield, R., Netkachova, K., Rushby, J. 「Defeaters and Eliminative Argumentation in Assurance 2.0.」 arXiv:2405.15800, 2024.

[6] Tesla. FSD (Supervised) Evidence Dashboard, 2025 data. https://www.tesla.com/fsd-evidence-dashboard

[7] California Department of Motor Vehicles. California Autonomous Vehicle Regulations; Final Statement of Reasons, 2026. https://www.dmv.ca.gov/portal/vehicle-industry-services/autonomous-vehicles/california-autonomous-vehicle-regulations/

[8] National Highway Traffic Safety Administration. Part 573 Safety Recall Report 26E026, Waymo LLC, May 6, 2026. https://static.nhtsa.gov/odi/rcl/2026/RCLRPT-26E026-6527.pdf

[9] National Highway Traffic Safety Administration. Part 573 Safety Recall Report 26E035, Waymo LLC, 2026. https://static.nhtsa.gov/odi/rcl/2026/RCLRPT-26E035-7637.pdf

[10] National Transportation Safety Board. HWY26FH007, 「Automated Driving System-Equipped Vehicle Passed School Bus Loading Student Passengers,」 March 3, 2026. https://www.ntsb.gov/investigations/Pages/HWY26FH007.aspx

[11] Insurance Institute for Highway Safety. 「Waymo’s driverless cars crash less often than people,」 July 23, 2026. https://www.iihs.org/news/detail/waymos-driverless-cars-crash-less-often-than-people

[12] Lempert, R. J. 「Robust Decision Making (RDM).」 In Decision Making under Deep Uncertainty: From Theory to Practice. Springer, 2019, pp. 23-51.

[13] Ben-Haim, Y. 「Info-Gap Decision Theory (IG).」 In Decision Making under Deep Uncertainty: From Theory to Practice. Springer, 2019.

[14] Williams, B. K., Brown, E. D. 「Double-Loop Learning in Adaptive Management: The Need, the Challenge, and the Opportunity.」 Environmental Management, 62, 995-1006, 2018.

[15] Burton, S., McDermid, J. A. 「Closing the gaps: Complexity and uncertainty in the safety assurance and regulation of automated driving.」 Fraunhofer / University of York, 2023. DOI: 10.24406/publica-1795.

[16] Adee, A., Munk, P., Gansch, R., Liggesmeyer, P. 「Uncertainty representation with extended evidential networks for modeling Safety of the Intended Functionality (SOTIF).」 ESREL/PSAM 2020. DOI: 10.3850/978-981-14-8593-0_5737-cd.

[17] 北島創、中村弘毅、村田智良、田口研治、ウォレン郁恵:《自動運転の安全性評価フレームワーク(Ver.3)の安全論証構造分析》,JARI Research Journal, JRJ20241203, 2024年12月。

[18] 日本自動車工業會(JAMA):《自動運転の安全性評価フレームワーク Ver.4.0》,2025年12月。https://www.jama.or.jp/operation/safety/automated_driving/pdf/framework_ver_4_0.pdf

Share this article or Email subscribe:
X (Twitter)
Visit Us
Follow Me

發佈留言

發佈留言必須填寫的電子郵件地址不會公開。 必填欄位標示為 *

返回頂端