來源 |智能汽車設計
知圈 | 進“底盤社群”請加微yanzhi-6,備注底盤
(資料圖片)
目前實用 BEV 的技術方案已經有大概半年時間了，多個 BEV 模型都在不同項目做了實際部署，可以在這些工作的基礎上做一些經驗總結了。
內容其實是斷斷續續寫的，因為新冠的腦霧在我身上可感知的大概持續了半個月。
BEV 帶來的優勢：
1. 實際的運行性能提升
雖然這個看起來比較反直覺。但是實際上性能反而比 2D 任務更好，而且還能保持基本對標甚至更好的指標。同樣的兩個任務，我們使用更少的算力（1/3 不到），由單相機擴展到 6相機，依然保持了實時運行。在測試指標上，基本保持了一致。當然，我們的 BEV 感知范圍減少了側向和后向的范圍。
相比傳統的方案，主要的提升來源：
整個 Pipeline 處理更加簡單和一致，相比一些傳統的方案，代碼量降低了很多，在工程方向上，這個極大的一個優點。越少的代碼，代表越少的bug，越低的維護成本。 由于沒有了 infer 后的一些額外后處理工作帶來的指標降低，模型結構可以進一步簡化，不用在模型這里去補償。 Multi-scale 的融合集中在模型內部。 在 BEV 的統一框架下，我們可以將多個任務融合在一個模型中統一處理 。 2. 穩定性提升這個無需懷疑，我們的經驗和之前 Tesla AI day 上的一些宣傳是一致的：
模型預測正確的情況下，車道線的內外八、大幅度的抖動基本不會出現。單單這一點，已經解決了非常多的問題。 從上一點引申出來，之前的很多問題都可以很容易的歸約到一個問題上：更多的數據。看起來很粗暴，但是這是數據驅動的前置條件，不滿足這個條件，就不用談什么數據驅動。 3. 多目模型無盲區在使用多目的 BEV 模型后，車身周邊的障礙物感知是提升顯著的。由于多個原因，評測集合中的車身側后的 GT 是有盲區的，模型都可以正常檢測。目標在切換不同相機感知范圍時，在我們自己的測試集上看，很少有跳變。
4. 功能擴展難度降低
由于這一框架更加穩定，通用，功能擴展基本都可以在 head 上簡單增加內容。比如 Tracking Embedding 的功能，代碼 + 驗證訓練，僅僅需要 3 天，實際上絕大部分時間都在訓練上。
問題：1. 硬件支持
主要的來源是算子限制。最近一年中，BEV 的論文，百家齊放。但是落實到我們使用的 AI 加速器上，大部分都不支持。即使勉強支持，性能也不行。我們最終還是切換到 MLP 的方案上實現上車運行。
2. 信息丟失
2D -> 3D 的轉換模塊帶來的信息損失，帶來的直接問題就是遠距離、小目標的檢測不理想。不過由于目前階段的感知范圍相對比較小，還沒有要求到100m開外，所以整體上表現還不明顯。但是這個問題可能依然是未來必須要面對的問題，我這里有一部分的工作也在嘗試緩解這個問題。
3. 數據需求
數據量需求較大：
由于2D -> 3D 的部分我們使用的是 MLP，非常容易過擬合。
視覺上 3D 本身的 augmentation 很難做，而且對于硬件標定有依賴。
生成難度也較大：目前階段還大量使用激光來輔助數據生成，但是這樣的方案由于傳感器的原因，在未來是沒法擴展的。這也是目前階段我們在嘗試考慮的一個問題。
隨著多目任務的引入，帶來了一個很難避免的問題：模型和相機的布置基本處于一個硬綁定的狀態。對于普通的公司，必須面對這個問題：怎么樣可以用盡量少的數據、更快的適配新的車型。在我看來這是一個體系化的解決方案，數據、硬件、算法、工程，都需要針對這一問題作出適應。
目前來看，特斯拉的 4D 標注在靜態元素上確實是一個比較符合邏輯的方案，成本和效率都比較高（當然也會有一些問題）。但是動態元素上的工作，我們還在考慮。
挑戰：1. 感知面對戰爭迷霧的挑戰
當然這個和 BEV 本身并沒有直接關系。但是感知模塊即使做到完美也存在盲區、遮擋、極限范圍外的問題。所以，如何更好的處理不確定性，增加容錯度是依然需要面對的問題。
我自己愛說的一句：感知做到最后都是預測。一旦涉及到預測，就引入了不確定性和概率。如何利用模型來應對這個問題，應該是未來工作內容的一個重點。
2. 新的 2D -> 3D 轉換模塊的探索
在學界，已經有很多方案。主要方向：利用投影、Transformer 及其變體、直接的MLP。
目前從應用角度來看，都還有或多或少的缺陷。怎樣實用化一個新的轉換模塊，也是需要考慮的。公司內部也有其他的 team 做了一些探索性的工作，提供了一些情報支持，我們自己也在開展下一代轉換模塊的選型和試驗。
從我個人的角度來看，逐漸的減少先驗限制才可能會有更好的結果。當然，從工業界研發來看，要把握好時機和程度，做好平衡。
3. 數據量的提升
BEV 方案相對來說是比較吃數據的。當然，也沒有夸張到是數據怪獸，非特斯拉的數據量不行，正常的公司慢慢迭代穩定后，是可以達到一個基準線的。
本身引入 3D 空間后，augmentation 變得很難，尤其是多相機相互之間的關系讓這個問題更加復雜。最可靠的方法反而是：堆更多的數據。
