5月 25 日，特斯拉官方博客宣布，Autopilot 正在過渡到基于攝像頭的 Tesla Vision 系統(tǒng)。

從 2021 年 5 月起，北美制造的 Model 3 和 Model Y 將不再配備毫米波雷達(dá)，這些車型將通過特斯拉的攝像頭視覺和深度神經(jīng)網(wǎng)絡(luò)來支撐 Autopilot、FSD 完全自動(dòng)駕駛和某些主動(dòng)安全功能。

單價(jià)約 300 人民幣的前向雷達(dá)，超 45 萬輛/年（2020 年數(shù)據(jù)）的銷量規(guī)模，對(duì)于特斯拉的毫米波雷達(dá)供應(yīng)商、頂級(jí) Tier 1 供應(yīng)商大陸集團(tuán)而言，中途丟掉一年過億的訂單實(shí)在不是個(gè)令人愉悅的消息。

去掉毫米波雷達(dá)

盡管特斯拉明確說明，計(jì)算機(jī)視覺和深度神經(jīng)網(wǎng)絡(luò)處理將實(shí)現(xiàn)主動(dòng)安全/ Autopilot / FSD 的感知需求，但博客一出，各方立刻應(yīng)聲而動(dòng)。

美國高速公路安全管理局（NHTSA）官網(wǎng)修改了 2021 款 Model 3 和 Model Y 的主動(dòng)安全功能頁面，包括前向防撞預(yù)警（FCW）、防撞自動(dòng)剎車（CIB）、動(dòng)態(tài)制動(dòng)輔助（DBS）均被明確提示，2021 年 4 月 27 日后生產(chǎn)的車型不再配備。

與此同時(shí)，《消費(fèi)者報(bào)告》宣布暫停將 2021 款 Model 3 列為「推薦」，美國高速公路安全保險(xiǎn)協(xié)會(huì)（IIHS）取消了 Model 3 曾經(jīng) Top Safety Pick + 的最高安全評(píng)級(jí)。

簡單總結(jié)，特斯拉說我們移除了毫米波雷達(dá)，并通過攝像頭實(shí)現(xiàn)了雷達(dá)之前的能力，但所有人都只聽到了前半句。

在我看來，各大民間和監(jiān)管的安全機(jī)構(gòu)如今對(duì)特斯拉都有些過敏，事實(shí)上，如果我們?nèi)ナ崂砣虻谝淮笠曈X感知供應(yīng)商 Mobileye 這些年的耕耘，正是一個(gè)將雷達(dá)逐步移出汽車主動(dòng)安全范疇的發(fā)展史。

2007 年，Mobileye 主動(dòng)安全技術(shù)首次進(jìn)入汽車行業(yè)。

2010 年，融合雷達(dá)和攝像頭的 Mobileye AEB 搭載在沃爾沃品牌量產(chǎn)。

2011 年，Mobileye 純視覺前向防撞預(yù)警（FCW）在寶馬、通用和歐寶品牌量產(chǎn)。

2013 年，Mobileye 純視覺車輛和行人自動(dòng)緊急制動(dòng)（AEB）在寶馬和日產(chǎn)品牌量產(chǎn)。

2013 年，Mobileye 純視覺自適應(yīng)巡航控制（ACC）在寶馬品牌量產(chǎn)。

2015 年，Mobileye 純視覺全功能 AEB 進(jìn)入多個(gè) OEM。

但事情正在愈演愈烈。特斯拉 CEO Elon Musk 不得不通過 Electrek 辟謠：所有的主動(dòng)安全功能都在新下線的車型中有效，NHTSA 會(huì)在下周對(duì)新車型進(jìn)行重新測(cè)試，當(dāng)前移除雷達(dá)的車型是標(biāo)配這些功能的。

但公眾的質(zhì)疑并沒有被打消。比如，雷達(dá)擅長的對(duì)障礙物距離和速度的測(cè)量，恰恰是攝像頭的傳統(tǒng)弱勢(shì)項(xiàng)目，特斯拉如何解決？

又或者，兩種傳感器怎么也比一種傳感器好吧，即使攝像頭可以做雷達(dá)所做的工作，兩種傳感器一起檢測(cè)不好嗎？

下面我們就來聊聊這些問題。

計(jì)算機(jī)視覺 + RNN ＞ 雷達(dá) ？

我們需要先了解雷達(dá)的技術(shù)原理，以及其在自動(dòng)駕駛中所扮演的角色。

毫米波（Millimeter-Wave）雷達(dá)，通過發(fā)射電磁波信號(hào)，接收目標(biāo)反射信號(hào)來獲得車身周圍其他障礙物的相對(duì)速度、相對(duì)距離、角度、運(yùn)動(dòng)方向等。

通過對(duì)上述這些信息的處理，汽車得以配備一系列的主動(dòng)安全功能，如自適應(yīng)巡航控制（ACC）、前向防撞預(yù)警（FCW）、輔助變道（LCA）、自動(dòng)跟車（S&G）甚至盲區(qū)檢測(cè)（BSD）等。

那么，特斯拉又如何通過攝像頭獲得上述信息的呢，比如，對(duì)前車距離的判斷？

2020 年 8 月 21 日，Elon 在 Twitter 上表示，通過純視覺進(jìn)行準(zhǔn)確的距離計(jì)算是基礎(chǔ)，其他傳感器可以提供幫助，但那不是基礎(chǔ)。他所回復(fù)的博文，介紹的正是特斯拉一項(xiàng)名為《Estimating object Properties Using Image Data（使用視覺數(shù)據(jù)估算對(duì)象屬性）》的專利。

4月 13 日，特斯拉 Model 3 車主、Facebook 分布式 AI 和機(jī)器學(xué)習(xí)軟件工程師 Tristan Rice「黑」進(jìn)了 Autopilot 的固件，揭開了特斯拉通過機(jī)器學(xué)習(xí)取代雷達(dá)的技術(shù)細(xì)節(jié)。

根據(jù) Tristan 的說法，從新固件的二進(jìn)制文件中可以看出，Autopilot 的深度神經(jīng)網(wǎng)絡(luò)增加了許多新的輸出，除了現(xiàn)有的 xyz 輸出外，還包括許多傳統(tǒng)雷達(dá)輸出的數(shù)據(jù)，例如距離、速度和加速度等等。

深度神經(jīng)網(wǎng)絡(luò)可以從一張靜態(tài)的圖片中讀取速度和加速度嗎？當(dāng)然不行。

特斯拉訓(xùn)練了一個(gè)高度精確的 RNN，通過 15 幀照片/秒的、基于時(shí)間序列的視頻來預(yù)測(cè)障礙物的速度和加速度。

RNN又是什么？RNN 的關(guān)鍵詞是預(yù)測(cè)。Recurrent Neural Network，循環(huán)神經(jīng)網(wǎng)絡(luò)，顧名思義，基于環(huán)狀神經(jīng)網(wǎng)絡(luò)傳遞和處理信息，通過「內(nèi)部記憶」來處理任意時(shí)序的輸入序列，以準(zhǔn)確預(yù)測(cè)接下來即將發(fā)生的事情。

英偉達(dá)的 AI 博客曾舉過一個(gè)經(jīng)典的例子：假設(shè)餐廳供應(yīng)是菜品規(guī)律是不變的，周一漢堡、周二炸玉米餅、周三披薩、周四壽司、周五意面。

對(duì)于 RNN 而言，輸入壽司并尋求「周五吃什么」的答案，Ta 將會(huì)輸出預(yù)測(cè)結(jié)果：意面。因?yàn)?RNN 已經(jīng)知道這是一個(gè)順序，而周四的菜品剛剛完成，因此接下來是周五的菜品是——意面。

對(duì)于 Autopilot 的 RNN 來說，給到當(dāng)前汽車周圍的行人、車輛和其他障礙物的移動(dòng)路徑，RNN 就可以預(yù)測(cè)接下來的移動(dòng)軌跡，包括位置、速度和加速度。

事實(shí)上，在 5 月 25 日正式官宣移除雷達(dá)的前幾個(gè)月，特斯拉一直在將其 RNN 與全球車隊(duì)中的雷達(dá)并行運(yùn)行，通過雷達(dá)輸出的正確數(shù)據(jù)和 RNN 輸出結(jié)果校對(duì)，來提升 RNN 預(yù)測(cè)的準(zhǔn)確性。

多說一句，對(duì)于中國交通工況下非常經(jīng)典的加塞兒處理，特斯拉也通過類似的路線更替實(shí)現(xiàn)了更好的表現(xiàn)。

特斯拉 AI 高級(jí)總監(jiān) Andrej Karpathy 在 CVPR 2021 的一次線上演講中透露，對(duì)于前車加塞兒（Cut-ins）識(shí)別，特斯拉已經(jīng)通過深度神經(jīng)網(wǎng)絡(luò)完成對(duì)傳統(tǒng)規(guī)則算法的替換。

具體來說，Autopilot 此前檢測(cè)加塞兒基于一個(gè)寫死的規(guī)則：首先要識(shí)別車道線，同時(shí)識(shí)別和跟蹤前方的車輛（bounding box），直到檢測(cè)到前車速度出現(xiàn)符合加塞兒的閾值水平速度，才執(zhí)行加塞兒指令。

而如今 Autopilot 的加塞兒識(shí)別移除了這些規(guī)則，完全通過 RNN 基于標(biāo)注的海量數(shù)據(jù)做前車的行為預(yù)測(cè)，如果 RNN 預(yù)測(cè)前車將加塞兒，就執(zhí)行加塞兒指令。

這就是過去幾個(gè)月來特斯拉對(duì)加塞兒識(shí)別取得大幅改進(jìn)的技術(shù)原理。

前文提到的特斯拉專利里詳細(xì)解釋了特斯拉訓(xùn)練RNN 的運(yùn)作形式。

特斯拉會(huì)將雷達(dá)和激光雷達(dá)（非量產(chǎn)車隊(duì)，特斯拉內(nèi)部的 Luminar 激光雷達(dá)車隊(duì)）輸出的正確數(shù)據(jù)與 RNN 識(shí)別的對(duì)象相關(guān)聯(lián)，以準(zhǔn)確估計(jì)對(duì)象屬性，例如對(duì)象距離。

在這個(gè)過程中，特斯拉開發(fā)了工具使得輔助數(shù)據(jù)與視覺數(shù)據(jù)的采集和關(guān)聯(lián)實(shí)現(xiàn)了自動(dòng)化，無需人工標(biāo)注。此外，關(guān)聯(lián)后可以自動(dòng)生成訓(xùn)練數(shù)據(jù)用以訓(xùn)練 RNN，從而實(shí)現(xiàn)高度精確地預(yù)測(cè)對(duì)象屬性。

由于特斯拉在全球的車隊(duì)規(guī)模已經(jīng)超過 100 萬輛，特斯拉得以在海量場(chǎng)景數(shù)據(jù)的訓(xùn)練下迅速改善其 RNN 的性能。

而 RNN 一旦將預(yù)測(cè)的準(zhǔn)確性提升到和雷達(dá)輸出結(jié)果的同等水平，就會(huì)形成相對(duì)毫米波雷達(dá)的巨大優(yōu)勢(shì)。

這是因?yàn)樘厮估?Autopilot 只搭載了前向雷達(dá)，在城市工況下車輛各個(gè)方位亂竄的行人、騎自行車和摩托車的人很難全部準(zhǔn)確預(yù)測(cè)。即使是正前方的、在其 45° 探測(cè)范圍內(nèi)的障礙物，只要兩個(gè)障礙物同距離、同速度，Autopilot 此前搭載的雷達(dá)就無法分辨。

而 Autopilot 搭載的 8 顆攝像頭實(shí)現(xiàn)了車身周圍的 360 度覆蓋，其編織的全車 BEV 鳥瞰神經(jīng)網(wǎng)絡(luò)可以無縫地預(yù)測(cè)全車任何一個(gè)方位的多個(gè)障礙物接下來的移動(dòng)軌跡。

那特斯拉為什么不保留雷達(dá)，利用雷達(dá)和攝像頭兩種傳感器進(jìn)行雙重校驗(yàn)?zāi)兀?/p>

ElonMusk 詳細(xì)解釋過他對(duì)雷達(dá)和攝像頭的看法：

在雷達(dá)波長下，現(xiàn)實(shí)世界看起來像一個(gè)奇怪的幽靈世界。除了金屬，幾乎所有東西都是半透明的。

當(dāng)雷達(dá)和視覺感知不一致時(shí)，你采信哪一個(gè)？視覺具有更高的精度，因此投入兩倍的精力改善視覺比押注兩種傳感器的融合更明智。

傳感器的本質(zhì)是比特流。攝像頭比特/秒的信息量要比雷達(dá)和激光雷達(dá)高幾個(gè)數(shù)量級(jí)。雷達(dá)必須有意義地增加比特流的信號(hào)/噪聲，以使其值得集成。

隨著視覺處理能力的提高，攝像頭的性能將會(huì)遠(yuǎn)遠(yuǎn)甩開當(dāng)下的雷達(dá)。

這番表態(tài)看起來十分微妙。我們此前的文章《特斯拉：我為激光雷達(dá)代言》一文中曾經(jīng)寫到過 Elon Musk 對(duì)毫米波雷達(dá)的態(tài)度。在上面這番言論中，他同樣沒有「宣判」雷達(dá)在特斯拉的死刑。

「雷達(dá)必須有意義地增加比特流的信號(hào)/噪聲，以使其值得集成?！辜磳⒌絹淼奶厮估?Autopilot 會(huì)搭載成像雷達(dá)嗎？