來源 |sasetech
知圈 |進“計算平臺群”請加微yanzhi-6,備注計算
【資料圖】
引言
淺談自動駕駛安全評估
作者簡介： 小南郭，某OEM 智駕功能安全工程師，負責高低速智駕功能安全開發與流程管理。4年系統功能安全開發經驗，熟悉智駕產品功能安全&SOTIF方案。
自動駕駛安全性的評估一直是行業發展的重點，如何對自動駕駛進行完整的安全論證，目前業界有哪些成熟或在研的方法？本文將 就這些內容展開討論。
自動駕駛汽車什么時候上市？這個問題多年來一直困擾著汽車行業和社會。自動駕駛技術的發展及實施在過去十年中取得了快速進展，但如何證明這些系統安全性的挑戰尚未解決。
由于沒有安全證明 （proof of safety）的市場投放，既不會被社會接受，也不會被立法者接受，因此近年來研究學者，企業等已投入大量時間和資源進行安全評估，以開發有效評估的新方法。 [1] 在上一篇文章里有提到幾種安全評估的方法：real world test，scenario based test，formal verification，還提到MiR (Microscopic Risk,微觀風險)指標是針對scenario based test定義的指標。本文將延續之前對可接受準則的介紹，繼續探討如何對自動駕駛功能進行safety assessment （安全評估）。后面將主要介紹現在業界常見的自動駕駛安全評估方法以及其優缺點。
在評估自動駕駛汽車的安全性時，必須考慮各個方面。首先，必須確保安全功能 （即所謂的預期功能安全，SOTIF），它側重于在沒有EE故障的情況下可能因功能不足而引發危險的預期功能。另一方面是確保預期功能不會因系統硬件或軟件中的隨機和系統故障 （功能安全），而引起危害。本文確定將主要關注前者，即預期功能安全評估。 [1]
目前業界有多種方法可用于評估ADS的預期功能安全，如圖 1 所示。包括Real world test，Scenario based test，Formal verification，Shadow mode，Function based test，Function based testing。這些方法可用來評估自動駕駛系統，但各自有其優缺點。
圖1：安全評估方法概覽
值得注意的是，在Scenario based test方法中，首先需對系統的安全性做出微觀評估，即MiR指標評估，然后必須將其轉化為宏觀評估，MaR （Macroscopic Risk）評估，對應上一篇文章提到的可接受準則，比如ADS事故率。這里可能不太好理解，舉個例子，比如我們要評估ADS功能導致追尾這類危害場景的事故率，使用TTC作為風險評估的MiR危險度量 （critical metric），通過對場景數據的采集，分層，泛化得到具體場景，然后對ADS算法進行仿真測試，可以得到各參數 （距離，速度等）概率分布下具體場景的危急指標 （critical metric）。然后基于場景的概率以及critical metric，推導出ADS功能引起追尾的總體事故率MaR。
如何推導，可以采用極值理論 （extreme value theory，EVT）來推測極端事件 （在這里指交通事故）發生的概率。極值理論 (EVT)通常用于將測量結果 （這里可以理解為critical metric）外推到觀察時間內未發生的不太可能的事件，核心思想利用統計學中的概率分布。它在金融和保險數學中很流行。而AD 安全評估的挑戰與此示例類似：很難收集足夠的數據來估計嚴重事故的概率，因為它們極為罕見。如果發現危急指標從危急情況指向某一類別的事故，則可以使用 EVT 推斷其可能性。收集足夠危急情況所需的里程低于收集事故信息所需的里程。 [10]
圖2：跟車場景的MiR設計[5]
MaR指系統的平均風險，例如致命事故的發生率，被稱為宏觀風險 （Macroscopic Risk，MaR）。我們可以用單位時間 （每年）事故發生的次數，如10^-6/a，或者單位里程事故發生的次數，如10^-6/Km。MiR指單一交通場景 （如cut in，crossroads）中的風險稱為微觀風險 （Microscopic Risk，MiR），比如我們常見的縱向風險指標TTC （Time to collision），橫向指標TTLC （Time to lane change）。
回到安全評估，以下將介紹圖1中各類方法的優缺點。
Real world test
實際道路測試指使用帶ADS功能的測試車輛在真實環境中測試，需要預先設計測試的里程以及測試場景。測試里程通常由可接受準則推導得出，而測試場景中應考慮目標物的類型，目標物動態行為，道路與車道結構類型，光線，天氣等要素及其比例。在實際交通中測試足夠里程的情況下，可以估計兩次事故之間的平均距離 （例如，使用泊松分布）。為了能夠充分說明ADS在一定程度上優于人類，根據論文 [8] 的數據，則需要大約88億英里的測試。
圖3：證明故障率達到特定精度所需的里程數[8]
此方法的優點是，整個系統是在現實條件下測試的，可以反映ADS在真實環境的系統表現。然而，經濟代價較大，可以觸發具有挑戰性的情況但難以找全。
Staged introduction of AVs
分階段引入ADS的方法，首先仍然是基于real world test，其目的是通過限制車輛的ODD，以限制發生的交通狀況的數量，從而以經濟可行的方式逐步增加功能可用的區域。比較嚴格的ODD例如，只有在良好的環境條件下，路中有物理隔離帶的結構化道路的固定路段 （如G2京滬高速）。在固定路段完成足夠的現場測試里程后再逐步推廣到其他高速公路。此外，也可以在測試車輛上配置安全員，如果系統出錯時，他可以立即干預。經過一定里程后車輛被評估為安全的，則可以逐漸增加ODD和／或取消安全員。許多傳統的Tier1，OEM，主要采用此方式，比如戴姆勒和博世。很多L4的公司，也在固定區域配置安全員進行無人載客的嘗試。但其實此方法仍然需要大量的實際道路測試，總體成本較高。 [1]
Formal verification
形式驗證為系統提供了抽象數學模型的形式證明，換句話說，如果系統表現能滿足設計的數學模型，則認為其是安全可靠的。比較有代表性的是 Mobileye的RSS模型與英偉Safety Force Field （安全力場理論）。
RSS定義了自動駕駛汽車應遵循的五大準則，這些準則參照主流交通規則和駕駛常識，同時形式化定義了自動駕駛的危險場景，形式化定義了自動駕駛汽車在危險場景下應做出的合理行為，并聲稱如果所有車輛 （包括人類駕駛的車）都遵循RSS模型，則不會出現任何事故。
規則1：保持縱向安全距離 （Safety Distance）
規則2：保持橫向安全距離 （Cutting in）
規則3：不要搶路權 （Right of Way）
規則4：要注意視野被遮擋的情況 （Limited Visibility）
規則5：如果能避免碰撞，要盡力避免，可以突破規則1-4，但不能引發新的碰撞 （Avoid Crashes）[6]
形式驗證是簡單有效的方法，但RSS基于的假設是感知輸入的數據不會出錯，因此更適合對決策規劃進行安全評估，或者與其他評估方法聯合使用。
圖4：RSS模型縱向安全距離公式（Mobileye）[6]
圖5：各交通參與者安全力場（Nvidia）[7]
Scenario-based Testing
基于場景的測試是目前安全評估研究的重要方向。首先要區分幾個概念，scene，scenario，situation （詳見文獻[4]），scenario是scene的時間序列，場景包括靜態和動態元素，以及所有交通參與者，和這些參與者之間的關系。基于場景的測試將被測對象暴露于 （預）定義的場景，并評估其反應 [2]。國外比較有名的PEGASUS項目就是基于場景的測試方法，其主要步驟如下：
建立場景數據集：基于實際數據與知識經驗得到數據集； 測試評估自動駕駛功能：通過合理分配仿真測試，場地測試，現場測試，驗證ADS功能； 安全論證：收集論點，對ADS功能安全性形式化論證。Note：功能場景指非形式化，人可讀，基于行為描述的交通場景。邏輯場景指系列場景參數化展示，范圍及分布確定，具體場景的場景參數為確定值。
圖6：PEGASUS項目簡介（來源PEGASUS項目）
基于場景的測試在汽車行業中已經是一種比較成熟的測試方法，用于開發、認證和評級目的，盡管它的名稱不同。基于場景的 ADAS 和 AD 測試之間的主要區別在于場景抽象級別 （相關參數的數量）和定義相關場景的來源。ADAS 場景主要基于事故統計數據，出于評級目的 (NCAP)，場景被顯著簡化 （例如，理想的傳感條件、廣闊的試驗場等）。AD 場景基于各種來源，事故統計的經驗數據、現場測試/自然駕駛研究和以前的測試 （包括模擬）結果，以及基于頭腦風暴、經驗、演繹。 [2]
個人理解，基于場景的測試有以下幾個難點和重點：
不論是實際路采數據，專家經驗還是事故數據，組成的場景數據庫，如何保證場景庫 （scenario database） 的完整性？ 以高速公路為例，單調低風險的場景占大多數，如何從場景數據集中篩選出危險場景構建場景庫？比如通過 critical metric （類似TTC這些指標） 篩選場景，如何設計 critical metric以適應各類場景下的危險度量？ 當篩選出危險場景后，如何對場景特征參數泛化以達到足夠的場景覆蓋度，以及場景的概率分布如何提取，特征參數之間的物理約束如何考慮？ 測試方式包括基于仿真，場地，實際道路測試，仿真環境下如何保證傳感器模型與實際 物理表現一致，需要做哪些 qualification？實際道路測試又需要對哪些場景采樣，對應的比例需要如何設計？ 測試覆蓋度如何保證，才能聲明基于場景的ADS功能測試是充分的？ 基于場景的測試得到的是具體場景的危險度量，也就是微觀指標 （MiR） ，如何推導出系統的平均風險度量 （MaR） ？其中有些問題PEGASUS及其他類似項目已經給出部分解決方案，有些仍然還在探索，涉及的內容較多，在這里暫不展開討論。
Shadow Mode
影子模式是特斯拉測試新功能的常用方法，指在有人駕駛狀態下，系統包括傳感器仍然運行但并不參與車輛控制，只是對決策算法進行驗證——系統的算法在“影子模式”下做持續模擬決策，并且把決策與駕駛員的行為進行對比，一旦兩者不一致，該場景便被判定為“極端工況”，進而觸發數據回傳。
然而，在模擬環境中其他道路使用者的行為與現實不相符，所以在驗證ADS算法是有一定局限性。主要因為其他道路使用者也根據自動駕駛的行為規劃他們的行動。如果某種情況下的人駕做出的決定與ADS不同，那么可能另一個道路使用者會做出不同的決定。
圖7：特斯拉影子模式（來源九章智駕）
Function based test
在基于功能的測試中，首先根據需求定義系統功能與use case，然后在測試場或模擬環境中進行測試。這是ADAS測試過程中常用的方式。當前的 ISO 標準 （例如自適應巡航控制的 ISO 15622）和 UN ECE 法規 （例如高級緊急制動系統的 UN ECE R131）遵循基于功能的方法，為各個系統定義了一些固定測試。但對ADS來說很難，因為不可能在每個可能的場景下定義ADS所需的功能。[1]
圖8：直線道路上的距離探測能力（來源ISO15622）
此外多種測試方式共同用于ADS的安全評估也得到越來越多的共識，有些傳感器供應商對其產品的安全驗證結合了Scenario-based Testing與Real world test，如圖，Ibeo激光雷達的考慮了隨機道路測試與基于場景測試，以達到最終的安全論證，發現基于場景的測試能更好地發現長尾場景。
圖9：Ibeo激光雷達測試簡介
（來源Ibeo公開材料，如有侵權，請及時聯系）
總結
所有方法都有不能忽視的缺點。在實際交通中進行的測試可能具有最好的有效性，但在SOP之前完成這項工作是不可行的。形式驗證可以對決策與規劃算法有較好的評估，但無法解決感知的limitation。基于場景的測試是一種經濟有效的方法，但是需要有效的仿真模型，并且需要將微觀指標轉換為系統平均風險度量。個人認為，需要采用一種綜合方法來最終安全論證引入ADS的殘余風險是可接受的。以上就是個人的粗見，如有疏漏，還請各位專家見諒。
參考文獻
[1]STEFAN RIEDMAIER.etc. Survey on Scenario-Based Safety Assessment of Automated Vehicles. Received March 19, 2020, accepted April 23, 2020, date of publication May 11, 2020, date of current version May 21, 2020
[2]Philipp Junietz, etc. Evaluation of Different Approaches to Address Safety Validation of Automated Driving 2018 21st International Conference on Intelligent Transportation Systems (ITSC) Maui, Hawaii, USA, November 4-7, 2018
[3]N. Kalra and S. M. Paddock, “Driving to safety: How many miles of driving would it take to demonstrate autonomous vehicle reliability?” Transp. Res. A, Policy Pract., vol. 94, pp. 182–193, Dec. 2016. [Online]. Available:
[4]Simon Ulbrich, Till Menzel, etc. Defining and Substantiating the Terms Scene, Situation, and Scenario for Automated Driving. 2015 IEEE 18th International Conference on Intelligent Transportation Systems
[5]Philipp Matthias Junietz, M.Sc. Microscopic and Macroscopic Risk Metrics for the Safety Validation of Automated Driving. Ph.D. dissertation, Tech. Univ. Darmstadt, Darmstadt, Germany, 2019 Bibliography
[6]Shai Shalev-Shwartz, Shaked Shammah & Amnon Shashua (2017): On a Formal Model of Safe and Scalable Self-driving Cars. arXiv:1708.06374.
[7] An Introduction to the Safety Force Field David Nistér, Hon-Leung Lee, Julia Ng, Yizhou Wang. NVIDIA Corporation 2788 San Tomas Expressway, Santa Clara, CA 95051 http://www.nvidia.com.
[8] Nidhi Kalra , Susan M. Paddock. Driving to safety: How many miles of driving would it take to demonstrate autonomous vehicle reliability?
[9] https://www.pegasusprojekt.de/en/
[10] Praprut Songchitruksa. The extreme value theory approach to safety estimation. Accident Analysis and Prevention 38 (2006) 811–822
