本文來(lái)源:智車(chē)科技

/ 導(dǎo)讀 /

埃隆·馬斯克一直在詬病激光雷達(dá)的成本,現(xiàn)在激光雷達(dá)便宜的競(jìng)爭(zhēng)者來(lái)了,他應(yīng)該點(diǎn)贊哦。不過(guò),特斯拉至今沒(méi)有搭載,咋的了?

埃隆·馬斯克的特斯拉打死也不搭載激光雷達(dá)(LiDAR)自有其道理,但也沒(méi)能找到讓尚處于自動(dòng)駕駛起步階段的車(chē)輛發(fā)現(xiàn)未經(jīng)機(jī)器學(xué)習(xí)訓(xùn)練的龐然大物的方法,以至于因“視而不見(jiàn)”而事故不斷,當(dāng)然,無(wú)端突然加速又是另外一回事了。事實(shí)上,近年來(lái)馬斯克愛(ài)用的攝像頭方案已有了新的進(jìn)展,引起了主機(jī)廠和Tier 1極大的關(guān)注和采用,它就是立體視覺(jué)(StereoVision)技術(shù),也有人叫它3D感測(cè)或雙目攝像頭,當(dāng)然還有多目攝像頭。今天就來(lái)聊聊這個(gè)雙目攝像頭的一些事兒。

特斯拉黑客的發(fā)現(xiàn)

談到一種技術(shù),人們總要看電動(dòng)汽車(chē)的領(lǐng)頭羊特斯拉是怎么做的,雙目攝像頭自然也不能例外。

近,特斯拉黑客@greentheonly在Autopilot代碼中觀察到Tesla Semi卡車(chē)的10個(gè)攝像頭設(shè)置,發(fā)現(xiàn)了Semi可能會(huì)安裝10個(gè)攝像頭的提示。他說(shuō):“Semi的第十個(gè)攝像頭被列為“右中繼器(Repeater)2”,這是相當(dāng)有趣的,在Class 8卡車(chē)位于中央駕駛位置。車(chē)輛控制器‘HW3．2’也提到了Semi的10個(gè)攝像頭設(shè)置。所以只有一個(gè)右中繼器是不夠的�！辈贿^(guò),上述發(fā)現(xiàn)沒(méi)有涉及雙目立體視覺(jué)之類(lèi)的攝像頭。

此前,Model 3車(chē)主Erik J． Martin曾路遇一輛路測(cè)的Semi原型車(chē),它配備了26個(gè)攝像頭。特斯拉工程師當(dāng)時(shí)表示,量產(chǎn)版Semi車(chē)型不會(huì)配備那么多攝像頭。那么,除了Green發(fā)現(xiàn)的10個(gè)攝像頭,另外16個(gè)又是什么樣的攝像頭呢?其實(shí),早在2016年,在Model S上測(cè)試的特斯拉Autopilot 2．0硬件就可能有“某種雙目鏡頭相機(jī),在駕駛員一側(cè)有一個(gè)吸盤(pán)支架,看起來(lái)像一副小望遠(yuǎn)鏡。支架下面是一個(gè)非常大的中心鏡頭,看起來(lái)很像警車(chē)的行車(chē)記錄儀�！瘪{駛員側(cè)的大鏡頭是一個(gè)較小的單元,看起來(lái)像是面對(duì)路邊。這些附加攝像頭都沒(méi)有成為Model S或Model X當(dāng)前Autopilot傳感器套件的一部分。為什么?最后會(huì)分析。

地主家有沒(méi)有余糧啊

就目前來(lái)說(shuō),特斯拉只能算新能源領(lǐng)域的豪車(chē),尚無(wú)法與傳統(tǒng)意義上的豪車(chē)相提并論�？纯茨切┑湫秃廊A車(chē):奔馳S級(jí)和E級(jí)、寶馬7系和5系、雷克薩斯LS系列、路虎Discovery Sport SUV、捷豹XFL、XE,都搭載了雙目攝像頭。

目前,全球主要雙目系統(tǒng)供應(yīng)商有德國(guó)大陸、博世、韓國(guó)LG、日本日立和日本電裝,國(guó)內(nèi)也有中科慧眼等雙目相機(jī)頭部企業(yè),這些廠商的主要工作是使雙目相機(jī)能夠具備較好的障礙物分類(lèi)能力。  兩個(gè)“眼睛”的雙目攝像頭

那真正的豪華車(chē)為什么與“新貴”一樣不使用測(cè)距很精確,視角也很大,覆蓋面更廣的LiDAR呢?最主要的原因還是成本太高,豪華車(chē)也不能不計(jì)成本呀!

現(xiàn)在,L4自動(dòng)駕駛所需64線LiDAR的成本約為8-10萬(wàn)美元,而在改裝第一代自動(dòng)駕駛時(shí)大概花了兩百萬(wàn)人民幣。”一位業(yè)內(nèi)人士透露。其中,LiDAR是公認(rèn)最花錢(qián)的地方之一。分辨率底很多的16線LiDAR也要約4千美元。一些初創(chuàng)公司如Oryx Vision、Oryx Vision、Quanergy都在研發(fā)替代旋轉(zhuǎn)式LiDAR的全固態(tài)LiDAR,但是,即使這樣,后者的價(jià)格還是在近千美元,況且成熟度有待考量。性能好的LiDAR與雙目攝像頭相比不相上下,而價(jià)格卻一個(gè)是“很高”,另一個(gè)是“中等”。

Innoviz聯(lián)合創(chuàng)始人兼CEO Omer Keilaf也承認(rèn):“針對(duì)L3自動(dòng)駕駛,主機(jī)廠通常只愿意為L(zhǎng)iDAR付1000美元;對(duì)于L2車(chē)型,他們只愿付400到500美元。”面對(duì)激烈的市場(chǎng)競(jìng)爭(zhēng),哪家主機(jī)廠會(huì)不計(jì)成本為車(chē)輛增加更多功能呢?

實(shí)錘還要看性能

現(xiàn)代汽車(chē)中使用的各種傳感器都是為了安全相關(guān)的感測(cè)目的,其實(shí)并無(wú)優(yōu)劣之分,各有各的用處。自動(dòng)駕駛車(chē)輛通常部署多個(gè)傳感器系統(tǒng)用于環(huán)境感知,LiDAR、雷達(dá)和攝像頭模塊最受歡迎。這些傳感器系統(tǒng)協(xié)同工作,提供對(duì)外部世界車(chē)輛、行人、騎自行車(chē)的人、標(biāo)志等的綜合表示,其重疊功能也會(huì)產(chǎn)生冗余,確保在一個(gè)系統(tǒng)出現(xiàn)故障時(shí),另一個(gè)系統(tǒng)會(huì)填補(bǔ)這一空白。來(lái)看看三種方案的對(duì)比。

·雷達(dá):是大多數(shù)汽車(chē)傳感器套件的一個(gè)組成部分,也是一種成本相對(duì)較低、可靠且經(jīng)過(guò)時(shí)間考驗(yàn)的技術(shù),能夠在合理距離內(nèi)探測(cè)到較大的物體,并且在弱光和惡劣天氣情況下表現(xiàn)良好,這也是其在汽車(chē)領(lǐng)域的強(qiáng)大優(yōu)勢(shì)。然而,由于很難探測(cè)到較小的物體并識(shí)別已探測(cè)到的物體,因此雷達(dá)只是解決方案的一個(gè)組成部分,即主要感測(cè)方式(LiDAR或攝像頭)的重要補(bǔ)充。

·LiDAR:通過(guò)測(cè)量激光信號(hào)從物體上返回到本地傳感器所需的時(shí)間來(lái)測(cè)量距離。它使用與聲納相似的原理,通過(guò)發(fā)射激光脈沖并測(cè)量這些信號(hào)從物體上彈回接收器所需的時(shí)間來(lái)確定車(chē)輛與環(huán)境之間的距離。

·雙目攝像頭:成對(duì)兒使用的攝像頭(即立體視覺(jué))也可提供距離估計(jì),它基于從相鄰的兩個(gè)視角(即兩個(gè)攝像頭)獲取同一環(huán)境的兩幅獨(dú)立圖像來(lái)估計(jì)距離,是視覺(jué)信息的三角測(cè)量結(jié)果。下圖顯示了雙目攝像頭的簡(jiǎn)單原理。 

與人類(lèi)雙眼成像原理相同,利用左相機(jī)和右相機(jī)同步對(duì)場(chǎng)景進(jìn)行成像,近處物體在左右眼之間的位置變化比較大,而遠(yuǎn)處的物體在左右眼中的位置差異較小。這就是視差,坐標(biāo)系中的每一點(diǎn)距立體相機(jī)的距離都可以通過(guò)視差來(lái)轉(zhuǎn)化。

由于立體攝像頭有兩個(gè)“眼睛”,能夠利用一個(gè)攝像頭拍攝的圖像中的差異來(lái)檢測(cè)每種類(lèi)型的障礙物,從掉在道路上的物品到人、動(dòng)物和道路邊界,并可以確定它們的大小和到它們的距離,實(shí)現(xiàn)物體、車(chē)輛和行人檢測(cè)。LiDAR與雙目攝像頭的優(yōu)缺點(diǎn)在下表中一目了然。

LiDAR與雙目攝像頭的優(yōu)缺點(diǎn)

比起LiDAR,雙目攝像頭最大的優(yōu)勢(shì)是成本,價(jià)格在幾千元人民幣。另外就是不用裸露在車(chē)外,維護(hù)成本低。此外,與成為豪華車(chē)首選的雙目攝像頭相比,LiDAR車(chē)載功能單一,無(wú)法識(shí)別顏色(剎車(chē)燈)。雙目攝像頭不僅能精確測(cè)量距離,還可以識(shí)別剎車(chē)燈、車(chē)道線、路旁交通標(biāo)志等。

中科慧眼COO孟然表示:“隨著更高等級(jí)自動(dòng)駕駛系統(tǒng)的技術(shù)成熟和市場(chǎng)應(yīng)用,雙目天然的測(cè)量精度優(yōu)勢(shì),加上干擾較少,可以使其在未來(lái)的發(fā)展中生命周期更長(zhǎng)。

立體視覺(jué)算法結(jié)合立體攝像頭的實(shí)時(shí)高精度深度圖(冷色調(diào)表示遠(yuǎn),暖色調(diào)表示近)

特斯拉還是“比目魚(yú)”

我們?nèi)祟?lèi)閉著一只眼也能感受到深度,因?yàn)橐曇爸邪�含了很多深度相關(guān)的語(yǔ)義線索,例如物體大小、消失點(diǎn)等;自然界中還真存在依靠單目感知的生物,例如比目魚(yú)。其實(shí)比目魚(yú)也是雙目,只不過(guò)兩眼離得很近罷了。

特斯拉有點(diǎn)像它,那為什么它敢以目前的單目攝像頭為主傳感器呢?因?yàn)閱文砍杀咀畹?所以才把重點(diǎn)放在單目上。之所以敢用,是因?yàn)樗�用�?shí)踐證明了單目可行和好用。

眾所周知,目前主流攝像頭只能提供2D圖像信息,缺少深度。使用攝像頭作主傳感器的主要難點(diǎn)就在于深度恢復(fù)。而自動(dòng)駕駛的路徑規(guī)劃需要有3D道路信息和3D障礙物信息。如果攝像頭想成為主傳感器,就必須能夠提供準(zhǔn)確的深度感知。從特斯拉公開(kāi)的資料看,其深度恢復(fù)做的相當(dāng)好,為感知、定位和規(guī)劃提供了堅(jiān)實(shí)的基礎(chǔ)。不過(guò),這樣做必須讓系統(tǒng)訓(xùn)練有素,雖然它有海量數(shù)據(jù)可以用來(lái)訓(xùn)練深度模型,但實(shí)際上仍無(wú)法保證能正確處理所有場(chǎng)景。所以,一旦出現(xiàn)深度預(yù)測(cè)失準(zhǔn),出現(xiàn)訓(xùn)練的“漏網(wǎng)之魚(yú)”,就會(huì)錯(cuò)誤估計(jì)道路環(huán)境和障礙物位置,可能車(chē)毀人亡。

事實(shí)上,LiDAR和HDMap(高精地圖)都可以可以作為額外的安全保障,但為了寬慰消費(fèi)者和投資者,馬斯克必須控制成本,拋棄LiDAR的理由主要是太貴。馬斯克還有虛晃的一槍:2020年底就實(shí)現(xiàn)完全自動(dòng)駕駛,但遇到實(shí)操時(shí)卻說(shuō):Autopilot只能作為L(zhǎng)2使用,出了事故還是用戶背鍋。2020年9月,加拿大一車(chē)主就被這漂亮的甩鍋砸中,因“濫用”Autopilot超速而受到犯罪指控。

特斯拉還玩不轉(zhuǎn)立體視覺(jué)?

攝像頭越用越多,怎么選擇?特斯拉任何車(chē)型至今沒(méi)有搭載雙目攝像頭,這一直是個(gè)謎。

使用單目攝像頭獲得距離信息,必須先識(shí)別目標(biāo)。而雙目攝像頭需要對(duì)每一個(gè)像素點(diǎn)進(jìn)行立體匹配,需要超大運(yùn)算量,但算法簡(jiǎn)單,適合用FPGA來(lái)完成,佐思產(chǎn)研研究總監(jiān)周彥武認(rèn)為:“FPGA不是特斯拉這種小廠能玩得轉(zhuǎn)的�！�

2020年4月,特斯拉收購(gòu)了一家專(zhuān)注于開(kāi)發(fā)計(jì)算機(jī)視覺(jué)技術(shù)的初創(chuàng)公司DeepScale,以提高其算法能力。特斯拉的深度學(xué)習(xí)網(wǎng)絡(luò)HydraNet包含48個(gè)不同的神經(jīng)網(wǎng)絡(luò),每個(gè)時(shí)間步輸出1000個(gè)不同的張量(tensor)即預(yù)測(cè);理論上,HydraNet可以同時(shí)檢測(cè)1000個(gè)物體。

同時(shí),特斯拉還發(fā)布了自主研發(fā)設(shè)計(jì)的芯片Tesla FSD,作為一款FPGA芯片,它集成了60億個(gè)晶體管和2．5億個(gè)邏輯門(mén),每顆處理器內(nèi)部有多達(dá)12個(gè)ARM A72 CPU核。馬斯克稱(chēng)之為世界上最強(qiáng)大的芯片,性能是之前是用的NVIDIA方案的21倍,而且不只是性能強(qiáng)大,更關(guān)鍵是安全,任何一個(gè)模塊掛掉,汽車(chē)都會(huì)繼續(xù)正常行駛,故障率甚至比人失去意識(shí)的可能性還要低一個(gè)數(shù)量級(jí)。不過(guò),至今尚無(wú)下文,沒(méi)有車(chē)型搭載。

半導(dǎo)體供應(yīng)商和主機(jī)廠緊鑼密鼓 2020年8月,在日本市場(chǎng)銷(xiāo)售的新款斯巴魯Levorg的高級(jí)駕駛輔助系統(tǒng)(ADAS)搭載了FPGA頭部企業(yè)Xilinx汽車(chē)認(rèn)證Zynq UltraScale+多處理器片上系統(tǒng)(MPSoC)。

雙目組件上的FPGA已在量產(chǎn)車(chē)中發(fā)揮關(guān)鍵作用 典型ADAS具有多種功能,包括自適應(yīng)巡航控制、車(chē)道保持輔助和搖擺警告、碰撞前感測(cè)和發(fā)動(dòng)機(jī)油門(mén)控制。斯巴魯?shù)膶?zhuān)有ADAS稱(chēng)為Eyesight,基于立體視覺(jué)技術(shù),2020和2021年幾款車(chē)型都將采用。

立體視覺(jué)系統(tǒng)生成兩種類(lèi)型環(huán)境數(shù)據(jù),一是基于高程(elevation)測(cè)量的復(fù)雜駕駛環(huán)境密度圖,二是由參數(shù)化車(chē)道、跟蹤長(zhǎng)方體和行人組成的一系列幾何元素。這些計(jì)算元素既耗時(shí)又密集。為了根據(jù)接收到的環(huán)境數(shù)據(jù)進(jìn)行實(shí)時(shí)決策,系統(tǒng)需要大量的數(shù)據(jù)帶寬和處理能力,因此并行性是必須的。這就是Xilinx UltraScale+SoC的用武之地。

Zynq UltraScale+MPSoC為ADAS提供了關(guān)鍵功能,Xilinx IP核上的高精度3D點(diǎn)云有助于產(chǎn)生立體視覺(jué);Xilinx FPGA進(jìn)行高速并行視頻和圖像處理,算法處理由Arm Cortex-A53處理,實(shí)時(shí)事件由Arm Cortex-R5處理。

汽車(chē)級(jí)Zynq UltraScale+MPSoC框圖

斯巴魯首席技術(shù)官Tetsuo Fujinuki表示:“立體攝像頭是斯巴魯ADAS應(yīng)用的核心。與普通方法不同,我們新一代系統(tǒng)采用的圖像處理技術(shù)可掃描立體攝像頭捕捉的所有東西,并創(chuàng)建高精度3D點(diǎn)云,使我們能夠提供先進(jìn)的功能,例如在交叉口進(jìn)行碰撞前制動(dòng),在高速公路和交通擁堵時(shí)協(xié)助放手駕駛。”

他補(bǔ)充說(shuō):“由于Xilinx汽車(chē)器件具有內(nèi)置功能,使我們能夠滿足嚴(yán)格的ASIL要求,因此它們無(wú)疑是實(shí)現(xiàn)斯巴魯新ADAS視覺(jué)系統(tǒng)的最佳技術(shù)�！�

ADAS雙目感知進(jìn)入AI時(shí)代

雙目系統(tǒng)成本比單目系統(tǒng)要高,但尚處于可接受范圍內(nèi),且與激光雷達(dá)等方案相比成本較低,但計(jì)算量級(jí)的加倍是難關(guān)也是突破口。

過(guò)去,傳統(tǒng)雙目攝像頭不能區(qū)分障礙物類(lèi)型,僅僅是將前方障礙物檢測(cè)或測(cè)量出來(lái),在實(shí)際應(yīng)用中難以滿足要求�，F(xiàn)在,利用先進(jìn)處理器和人工智能算法,雙目攝像頭已能夠具備較好的障礙物分類(lèi)能力和量產(chǎn)實(shí)用性。值得我們期待的是,雙目系統(tǒng)的門(mén)檻將正在逐步降低,未來(lái)將進(jìn)入更多車(chē)型。- End -