2020年6月22日-23日，由南京經(jīng)濟(jì)技術(shù)開發(fā)區(qū)與蓋世汽車聯(lián)合主辦的“2020第三屆全球自動(dòng)駕駛論壇”隆重召開。本次論壇重點(diǎn)圍繞與自動(dòng)駕駛規(guī)?；逃糜嘘P(guān)的核心技術(shù)、法律法規(guī)、技術(shù)評(píng)測(cè)、商業(yè)模式等話題展開探討，下面是智駕科技聯(lián)合創(chuàng)始人葉春蘭在本次論壇上的發(fā)言：

智駕科技聯(lián)合創(chuàng)始人 葉春蘭

謝謝主持人的介紹，也感謝蓋世汽車能給我們提供這樣一個(gè)線下平臺(tái)，跟各位同仁和媒體進(jìn)行技術(shù)上的溝通和交流。今天跟大家分享的題目是“感知賦能：如何用高性能視覺感知撬動(dòng)自動(dòng)駕駛方案落地？”將從市場(chǎng)、技術(shù)、落地應(yīng)用三方面進(jìn)行相應(yīng)闡述。

在開始之前先向大家介紹一下我們公司。智駕科技（MAXIEYE）成立于2016年，是一家具有完全自主知識(shí)產(chǎn)權(quán)的高新技術(shù)企業(yè)，智駕科技以前視為主，以感知力量來賦能自動(dòng)駕駛，專注于提供高級(jí)輔助駕駛和自動(dòng)駕駛解決方案。

到目前為止，智駕科技推出了三代前視ADAS產(chǎn)品，包括1V1R的融合產(chǎn)品。前視ADAS產(chǎn)品包括三代產(chǎn)品，首先預(yù)警類的，常用于LDW、FCW，還有一些交通標(biāo)識(shí)相關(guān)的識(shí)別；控制類，用于縱橫向控制和智能燈光控制方面，及根據(jù)傳感器融合策略提供相關(guān)的1V1R傳感器融合方案。除此之外，應(yīng)客戶需求開發(fā)了DMS相關(guān)產(chǎn)品，如疲勞監(jiān)測(cè)、抽煙、喝水、打電話等一系列動(dòng)作監(jiān)控，包括給客戶推出了一系列基于多傳感器融合高級(jí)輔助駕駛的解決方案和自動(dòng)駕駛解決方案，覆蓋了L0-L4各級(jí)場(chǎng)景。

智駕作為一家初創(chuàng)公司，不但在技術(shù)上進(jìn)行一次又一次的迭代和更新，在管理資質(zhì)和生產(chǎn)資質(zhì)體系上同樣不斷得到認(rèn)證和認(rèn)可。資質(zhì)認(rèn)證方面，我們已經(jīng)取得了IATF16949 &ISO9001等質(zhì)量體系認(rèn)證，現(xiàn)在正在進(jìn)行ISO 26262相關(guān)的資質(zhì)認(rèn)證。 

一、技術(shù)市場(chǎng)雙落地，機(jī)會(huì)和挑戰(zhàn)并存。

從全球智能駕駛產(chǎn)業(yè)現(xiàn)狀來講，主要包括三個(gè)方面，即現(xiàn)在自動(dòng)駕駛不再是PPT或Demo演示的狀態(tài)，要求的是落地，多場(chǎng)景商業(yè)落地的方向是大勢(shì)所趨，其中包括ADAS千億級(jí)市場(chǎng)規(guī)模的落地需求，還有L4級(jí)場(chǎng)景細(xì)分的落地。除此之外，這種巨大市場(chǎng)還給我們提出了產(chǎn)業(yè)鏈的整合需求，催生了新興產(chǎn)業(yè)業(yè)態(tài)，傳統(tǒng)供應(yīng)鏈進(jìn)行了相應(yīng)升級(jí)，促進(jìn)大型投資并購。

除了市場(chǎng)、產(chǎn)業(yè)鏈、供應(yīng)鏈上的整合和投資，政策法規(guī)的逐步完善也給我們較大的政策紅利和推動(dòng)，包括去年提出“兩客一?！睆?qiáng)制安裝LDW、FCW、AEB、LKA等功能，還有全球市場(chǎng)上Euro NCAP上的星級(jí)評(píng)分，乘用車各種體驗(yàn)需求，這些都為整個(gè)市場(chǎng)，不管是ADAS還是自動(dòng)駕駛場(chǎng)景化落地方面，提供了非常大的市場(chǎng)需求。

市場(chǎng)大環(huán)境非常好，自動(dòng)駕駛技術(shù)鏈包括什么？以上三點(diǎn)是大家非常熟悉的，單車智能的感知預(yù)測(cè)，知道在哪里，周圍環(huán)境怎么樣，周圍所處環(huán)境下一刻變化如何，再到?jīng)Q策控制，知道要去哪里，怎么規(guī)劃路徑，怎么樣去行駛，然后到執(zhí)行底盤，底盤怎么樣去執(zhí)行，這是單車智能自動(dòng)駕駛的三個(gè)方面。

智駕主要負(fù)責(zé)的是感知預(yù)測(cè)和決策控制兩方面，今天主要分享的是以感知預(yù)測(cè)來進(jìn)行自動(dòng)駕駛的賦能。從感知技術(shù)需求方面進(jìn)行具體細(xì)化。L0到L5自動(dòng)駕駛的等級(jí)劃分，我們習(xí)慣于分成兩大塊：

L3以下的L0-L2更多是ADAS的輔助駕駛，在這個(gè)領(lǐng)域，以量產(chǎn)功能劃分情況下，前期預(yù)警類功能到目前單一縱向或橫向或L2縱橫向雙向控制，叫控制類功能。從感知技術(shù)需求角度來講，區(qū)別在哪里？前期預(yù)警類功能情況下，更多強(qiáng)調(diào)的是目標(biāo)識(shí)別的準(zhǔn)確度、穩(wěn)定性，這時(shí)候強(qiáng)調(diào)關(guān)注報(bào)警的虛警率，智駕提供的方案是單目視覺足以支撐整個(gè)方案。控制類功能情況下，除了目標(biāo)感知的準(zhǔn)確度和穩(wěn)定性，從整個(gè)功能需求角度來講，對(duì)目標(biāo)識(shí)別的有效距離、識(shí)別精度提出了準(zhǔn)確的需求，這時(shí)候可能大家更常聽見的是所謂5%、10%或3%的測(cè)距精度需求。這種情況下，智駕提供兩個(gè)解決方案，可以用單目視覺，第二個(gè)方案是大家目前通用化的方案，1V1R的方案，前視+毫米波雷達(dá)，這個(gè)是目前比較主推的一點(diǎn)。

到L3級(jí)以上的自動(dòng)駕駛，這時(shí)候提出了更高的需求，因?yàn)椴辉偈亲鰡我坏目v橫控制，需要全景360度的感知，并且不但需要準(zhǔn)確度、距離或精度，對(duì)目標(biāo)的預(yù)判性也會(huì)有一些要求，前面路口要轉(zhuǎn)向，旁邊出來的車輛會(huì)不會(huì)突然穿過，路邊行人有沒有必要減速避讓，這些都在感知預(yù)測(cè)上提出更高的要求。

感知冗余。前面兩點(diǎn)可以用單一傳感器去支撐，但當(dāng)?shù)阶詣?dòng)駕駛以后，傳感器感知冗余是必須的，并不是說單一視覺不能做所有的感知，也不是說單一的雷達(dá)不能去做，而是傳感器本身在不同場(chǎng)景下的失效模式和工作模式要求它需要有一個(gè)感知的冗余。在這種情況下，智駕推薦做的場(chǎng)景化、落地劃分情況下都是視覺+X，這個(gè)X有可能是其他視覺、毫米波雷達(dá)或激光雷達(dá)感知傳感器。

二、環(huán)境感知：高性能視覺感知助力自動(dòng)駕駛

如圖，比較常規(guī)的幾種單車感知傳感器，單目視覺、雙目視覺、毫米波雷達(dá)和激光雷達(dá)。昨天也聽到有嘉賓分享激光雷達(dá)的可視化或成本上的優(yōu)化，整體上來講還是在這張圖譜里。從結(jié)構(gòu)成本來講，目前量產(chǎn)技術(shù)，激光雷達(dá)還是被詬病的一個(gè)點(diǎn)，感知分辨率和信息豐富度上面，視覺明顯優(yōu)于雷達(dá)。

全天候適應(yīng)性、功能安全等級(jí)方面，目前來看，由于結(jié)構(gòu)本身一些特性需求，毫米波雷達(dá)更優(yōu)，其次是視覺。

最后一點(diǎn)，測(cè)量精度，各種傳感器對(duì)比來看，大家最關(guān)注的一點(diǎn)也是視覺最為大家所詬病的點(diǎn)，就在這個(gè)地方。激光雷達(dá)和毫米波雷達(dá)都屬于主動(dòng)測(cè)距，到視覺情況下變成被動(dòng)測(cè)距，被動(dòng)測(cè)距情況下沒有距離感知信息，雙目通過兩張圖片視差進(jìn)行測(cè)距，不管是遠(yuǎn)近距離，還是基線距離會(huì)對(duì)測(cè)距精度有影響，但是有理論支持，單目視覺最為人詬病的是測(cè)距精度，沒有所謂的理論支持，理論上講就是少了一維深度，因?yàn)槭菑娜S世界到二維世界的點(diǎn)。為什么智駕加了兩顆星？智駕借了深度學(xué)習(xí)東風(fēng)，突破了測(cè)距精度問題。

環(huán)境感知情況下，關(guān)注三個(gè)點(diǎn)：

1.地面上所有物體的感知，地面的標(biāo)識(shí)標(biāo)線，車道線、停車線、斑馬線，還有導(dǎo)向箭頭、行駛區(qū)域。

2.地面上運(yùn)動(dòng)目標(biāo)，道路的參與者，人、車、騎行者這些相對(duì)運(yùn)動(dòng)機(jī)動(dòng)性比較強(qiáng)的目標(biāo)識(shí)別。

3.紅綠燈、標(biāo)志牌、空中級(jí)目標(biāo)。

從機(jī)動(dòng)目標(biāo)識(shí)別來講，利用深度估計(jì)和光流估計(jì)，這兩個(gè)名詞如果在算法領(lǐng)域的話應(yīng)該會(huì)很熟悉，但是用到車規(guī)級(jí)量產(chǎn)產(chǎn)品里，幾乎沒有聽見過這個(gè)點(diǎn)。

深度估計(jì)情況下，為我們單目視覺直接補(bǔ)充了第三維的數(shù)據(jù)，把深度信息補(bǔ)給它，所以達(dá)到了單目測(cè)距的效果，同時(shí)引入光流估計(jì)，就是前后之間的禎間逐象素點(diǎn)運(yùn)動(dòng)信息，在這點(diǎn)上利用一個(gè)單禎深度估計(jì)，加快禎間運(yùn)動(dòng)關(guān)聯(lián)度，再結(jié)合目標(biāo)識(shí)別，可以達(dá)到右側(cè)圖的識(shí)別效果，這是單目視覺純目標(biāo)感知，當(dāng)感知信息可以得到三維姿態(tài)、運(yùn)動(dòng)和速度相關(guān)的一些預(yù)測(cè)信息。把這些預(yù)測(cè)信息跟激光雷達(dá)進(jìn)行直接對(duì)標(biāo)投影，純粹一個(gè)單目視覺的結(jié)果在激光雷達(dá)點(diǎn)上的對(duì)標(biāo)顯示。

上面視圖紅色部分是激光雷達(dá)跟相機(jī)的相同視野角度上的信息，對(duì)比下來50m情況下可以接近激光雷達(dá)的識(shí)別精度，在目標(biāo)識(shí)別上，不但是精度，有效距離也有要求，車輛識(shí)別效果達(dá)到200m的穩(wěn)定效果，天氣情況更好的時(shí)候，250m也是沒有問題的。由于行人形體比較小一些，對(duì)小目標(biāo)或行人識(shí)別達(dá)到100m的有效范圍。

基于單目視覺的地面標(biāo)識(shí)標(biāo)線感知。在沒有車道線時(shí)怎么辦？我們現(xiàn)在提供了一個(gè)解決方案，在有車道線情況下提供了車道線的識(shí)別，這塊是最初版本，為什么左上角還有一個(gè)小圖，顯示的是坡度識(shí)別。當(dāng)車道線地面標(biāo)識(shí)標(biāo)線+坡度以后，得到是真實(shí)的車道線。右側(cè)把視覺識(shí)別效果投影到激光雷達(dá)的俯視角度，效果跟激光雷達(dá)對(duì)標(biāo)的效果，可以看到是真實(shí)的真平行狀態(tài)，有效解決了以前大家使用平行模型去做車道線算法情況下，碰到起伏或真正分叉路口無法區(qū)分開的難點(diǎn)。

最右側(cè)圖是純視覺的FreeSpace。把視覺結(jié)果通過一個(gè)極坐標(biāo)的形式進(jìn)行了雷達(dá)上投影顯示效果，演示的所有的算法都是純視覺的。為什么會(huì)有FreeSpace？道路上的車道線，結(jié)構(gòu)化道路上有車道清晰的，也有車道磨損和不清晰的狀態(tài)，甚至有一些車道線被遮擋，行人在上面穿插，我們無法看到完整的車道線，還有地面上有一些錐桶或前車遮擋物，把車道線全部擋住，就沒有了車道線感知，但FreeSpace可以告訴你哪里可以行走。

前面主要是結(jié)構(gòu)化道路上的識(shí)別，就是環(huán)境感知，包括FreeSpace，都是純視覺層面給到一個(gè)直觀感知。感知層情況下，再次提供了決策規(guī)劃級(jí)的路面感知。如圖顯示隧道里的結(jié)構(gòu)化道路，有車道線，給出的感知結(jié)果是三根線，綠線是本車道左側(cè)邊界線，右側(cè)紅線本車車道右側(cè)邊界線，不管是在結(jié)構(gòu)化道路還是右側(cè)完全沒有車道線的非結(jié)構(gòu)化道路上，都可以有效給出道路左右邊界線，中間這根更為重要，是航跡規(guī)劃的航跡預(yù)測(cè)線，大家拿到車道線還是拿到FreeSpace也好，都會(huì)在決策規(guī)劃算法上做一根自己的導(dǎo)航線，這根線現(xiàn)在可以從視覺角度直接用深度學(xué)習(xí)端到端的給出，可以完成這樣一個(gè)學(xué)習(xí)，目前也部署到我們的產(chǎn)品上。

三、感知賦能：自動(dòng)駕駛方案逐級(jí)落地應(yīng)用

概括一下目前到底有多少感知信息。ADAS常規(guī)感知，包括剛才提到的三個(gè)方面，地面標(biāo)識(shí)標(biāo)線、車道線、停車線、斑馬線，地圖所用的導(dǎo)航箭頭等等，再往上一級(jí)道路相關(guān)的機(jī)動(dòng)性比較強(qiáng)的參與者，人、車、騎行者一系列的機(jī)動(dòng)目標(biāo)；再往上更多的是現(xiàn)在車輛駕駛會(huì)關(guān)注的紅綠燈信息，給出顏色、給出形狀，包括限速標(biāo)識(shí)牌、限速、限高等，不管乘用車、商用車都關(guān)注的語義級(jí)識(shí)別，到底限高多少、限速多少。

常規(guī)ADAS感知基礎(chǔ)上加入了決策規(guī)劃級(jí)的感知，給自動(dòng)駕駛下一步規(guī)劃提供一個(gè)額外維度的信息，其次加入了坡度的識(shí)別，除了輔助地面標(biāo)識(shí)標(biāo)線做一些更加精準(zhǔn)的識(shí)別或目標(biāo)跟蹤上輔助以外，同樣可以提供車輛駕駛進(jìn)入坑洼道路上是否對(duì)懸架產(chǎn)生影響，是否需要避開，也有這方面的應(yīng)用。上述的三個(gè)點(diǎn)，是產(chǎn)品上面的一些感知功能賦能。右上角的是根據(jù)客戶需求，我們開發(fā)的一些量產(chǎn)功能升級(jí)的點(diǎn)。

ADAS也好，自動(dòng)駕駛也好，功能會(huì)越來越復(fù)雜，沒有誰敢說它的模型是百分之百的覆蓋，都會(huì)有一些失效，但我們?cè)谥鸺?jí)升級(jí)過程中不斷進(jìn)行迭代優(yōu)化，所以O(shè)TA技術(shù)在產(chǎn)品中進(jìn)行應(yīng)用。

有了相機(jī)，必然要標(biāo)定。乘用車更常用的方法是四輪定位，前面加一個(gè)靶標(biāo)，進(jìn)行相機(jī)的標(biāo)志，但ADAS應(yīng)用到商用車上，商用車建一個(gè)產(chǎn)線升級(jí)的成本會(huì)非常高，我們提出相機(jī)的自動(dòng)標(biāo)定方案？就是車輛開到道路上以后可以完成自己相機(jī)的校準(zhǔn)。后面還涉及到自動(dòng)校準(zhǔn)，可能出廠時(shí)進(jìn)行相機(jī)的初步校準(zhǔn)，但是在道路起伏，尤其是重卡上會(huì)有一個(gè)點(diǎn)的情況，空載和負(fù)載率不同情況下，相機(jī)的俯仰角可能有正負(fù)10度的偏差，通過相機(jī)在線自動(dòng)校準(zhǔn)可以對(duì)相機(jī)實(shí)時(shí)外參進(jìn)行調(diào)整。這是整個(gè)相機(jī)外參層面的東西。

傳感器融合的情況下，傳感器感知冗余方案跟雷達(dá)進(jìn)行融合。最左側(cè)是光雨監(jiān)測(cè)功能，這是額外附加功能，對(duì)外界光雨進(jìn)行監(jiān)測(cè)，可以有效替代車身上光雨傳感器，控制大燈開啟，配合目標(biāo)識(shí)別情況下，可以做到更高級(jí)的智能燈光的控制。

雨量傳感器，實(shí)現(xiàn)雨刮根據(jù)外界雨量進(jìn)行不同等級(jí)速度雨刮控制。以上是MAXIEYE的一些高性能視覺功能技術(shù)。

如何應(yīng)用？

賦能ADAS量產(chǎn)落地，預(yù)警類功能、控制類功能、自動(dòng)大燈功能、自動(dòng)雨刷功能，ADB/IHBC，自動(dòng)遠(yuǎn)近光，不管是機(jī)械式、矩陣式，還是現(xiàn)在長(zhǎng)城新發(fā)布的一款WEY系列投影式的自動(dòng)大燈，整個(gè)技術(shù)產(chǎn)品的落地支持。

L4級(jí)的場(chǎng)景化落地。我們跟中車聯(lián)合開發(fā)的一套使用虛擬軌道交通，用前面雙虛線地面標(biāo)識(shí)線可以模擬類似于軌道的概念，做到無軌勝似有軌，智駕前視覺給它提供了整個(gè)感知系統(tǒng)。

無人公交，是跟宇通聯(lián)合開發(fā)的，就是在無人公交前面給它提供前視模塊，感知道路標(biāo)識(shí)標(biāo)線，還有周圍機(jī)動(dòng)目標(biāo)，以保證跟它們的控制規(guī)劃結(jié)成，形成無人公交的應(yīng)用。

智能大燈，前面提到跟長(zhǎng)城開發(fā)的長(zhǎng)城WEY系列的DLP投影式大燈，相對(duì)于以前見到的自動(dòng)遠(yuǎn)近光，矩陣式、機(jī)械式的智能大燈，有更高的分辨率，例如投影屏幕上的概念，可以對(duì)道路的參與者、車輛、行人、行人眼睛進(jìn)行精準(zhǔn)的燈光避讓，把其余部分進(jìn)行遠(yuǎn)光照亮，以保持駕駛員的最大視野，這是它的基礎(chǔ)功能。除此之外，還可利用投影式大燈做動(dòng)態(tài)斑馬線，轉(zhuǎn)向提示、前側(cè)車距預(yù)警提示，這些增強(qiáng)現(xiàn)實(shí)的輔助，給駕駛員更高的體驗(yàn)感和關(guān)注度。

增強(qiáng)現(xiàn)實(shí)，HUD融合控制更加直觀，通常ADAS產(chǎn)品部署到車身上或自動(dòng)駕駛部署到車身上，如果做一個(gè)觀察員去看的情況下看不到什么東西，可能聽到小屏幕上滴滴滴或有一些小圖標(biāo)上的報(bào)警，但并不直觀，告訴你前面有目標(biāo)，但也不知道在哪兒。HUD融合情況下，可以把你的危險(xiǎn)等級(jí)直接在前方投影，跟駕駛員視野進(jìn)行直接融合，為駕駛員提供信息。

前面講ADAS、自動(dòng)駕駛上的場(chǎng)景化落地，實(shí)際上整個(gè)視覺感知在車聯(lián)網(wǎng)技術(shù)發(fā)展和應(yīng)用上或其他方面還有很多應(yīng)用，例如車聯(lián)網(wǎng)里的V2X車端感知，路端感知覆蓋面很全，但一定會(huì)出現(xiàn)一個(gè)盲區(qū)和遮擋，車端感知是必不可少的。

高精地圖，現(xiàn)在熟悉的大家更多習(xí)慣用激光雷達(dá)等一系列比較高額的方案做這件事情。高精地圖里所需要的車道標(biāo)識(shí)標(biāo)線、紅綠燈、標(biāo)志牌，包括旁邊的路燈之類的柱狀物，在視覺也能提供很高精度情況下，視覺也可以做這件事情。高精地圖的建圖和定位，尤其是它的定位使用會(huì)非常重要。建圖時(shí)可以用激光雷達(dá)或高額傳感器，但車輛大批量上市使用情況下，目前來看是沒有辦法在車頂裝一個(gè)激光雷達(dá)做定位，但視覺可以有效使用ADAS的感知信息做定位。以上就是我們現(xiàn)在感知賦能各個(gè)方面的應(yīng)用。

最后，宣傳一下我們的品牌價(jià)值，Power to Sense感知的力量，我們以感知賦能。

敬請(qǐng)關(guān)注蓋世汽車“2020第三屆全球自動(dòng)駕駛論壇”直播專題！

https://auto.gasgoo.com/NewsTopic/251.html