多傳感器前融合是否是無(wú)人駕駛的必由之路？近日，Roadstar.ai首席科學(xué)家周光主講，主題為《多傳感器融合，無(wú)人駕駛的必由之路》，給出了答案。

近日，Roadstar.ai首席科學(xué)家周光主講，主題為《多傳感器融合，無(wú)人駕駛的必由之路》。本文為周光的主講實(shí)錄。一起了解周光的主講提綱：

主講實(shí)錄

周光：大家好，我是Roadstar.ai的首席科學(xué)家周光。很高興能跟大家交流多傳感器融合。

經(jīng)過(guò)一年的時(shí)間，現(xiàn)在在設(shè)計(jì)無(wú)人駕駛中大家都普遍認(rèn)同多傳感器融合這一方案。我還記得一年以前，當(dāng)我們剛出來(lái)創(chuàng)業(yè)的時(shí)候，市面上其實(shí)沒(méi)有任何一家企業(yè)是認(rèn)同這個(gè)方案的。經(jīng)過(guò)這一年的技術(shù)攻關(guān)，我們Roadstar最終向所有人證明了這套方案的先進(jìn)性以及可行性。我們現(xiàn)在能夠做到在深圳，硅谷等地的復(fù)雜場(chǎng)景實(shí)現(xiàn)單次高達(dá)數(shù)小時(shí)的無(wú)人駕駛。從今年2月份在中國(guó)上路測(cè)試到今天，我們測(cè)試了大概有幾千公里距離，沒(méi)有發(fā)生過(guò)一起事故，同時(shí)我們的接管率也是幾乎接近于零。

跟大家介紹一下我們公司的創(chuàng)始團(tuán)隊(duì)。我們公司的三位創(chuàng)始人，我和佟顯喬、衡量都是在百度認(rèn)識(shí)的。在這里我要感謝百度作為中國(guó)無(wú)人駕駛的黃埔軍校，為大家提供了各式各樣的人才。

今天我要講的內(nèi)容分為四個(gè)方向。首先我會(huì)跟大家大概介紹一下全球無(wú)人駕駛的格局以及技術(shù)方案；之后會(huì)講解一下多傳感器融合的基本原理以及一些簡(jiǎn)單的算法；然后我會(huì)講基于前融合的技術(shù)方案的優(yōu)勢(shì)以及在具體場(chǎng)景下做一些解析；最后講解一下基于前融合技術(shù)如何加快落地以及商業(yè)化。

Part1

這幅圖簡(jiǎn)要地介紹了無(wú)人駕駛的歷程。無(wú)人駕駛是源于美國(guó)的DARPA比賽，分為兩屆，一屆是2005年，一屆是2007年。在此之后，Google把DARPA中斯坦福團(tuán)隊(duì)收編，并于2009年由塞巴斯蒂安·特倫（Sebastian Thrun）開啟了無(wú)人駕駛這個(gè)計(jì)劃。在這之后很長(zhǎng)的一段時(shí)間里，全球只有Google這一個(gè)玩家，直到2014年新的玩家Uber以及百度入局。之后由于深度學(xué)習(xí)的發(fā)展，給了無(wú)人駕駛一個(gè)可能看清楚事件的眼睛。

此后，無(wú)人駕駛開啟百家爭(zhēng)鳴，形成科技公司主導(dǎo)的無(wú)人駕駛方案和由主機(jī)廠主導(dǎo)的無(wú)人駕駛方案二個(gè)流派。由于基因不同，科技公司和主機(jī)廠有著明顯不同的技術(shù)方案。

傳統(tǒng)主機(jī)廠多數(shù)都是以攝像頭和毫米波雷達(dá)為主，主打L2、L3的無(wú)人駕駛方案。而科技公司由于沒(méi)有量產(chǎn)的壓力，是采用激光雷達(dá)的方案。

在這些主機(jī)廠中，也有著明顯的不同。美國(guó)主機(jī)廠是依靠并購(gòu)，比如Cruise被GM收購(gòu)，Argo AI被福特收購(gòu)。日本和德國(guó)的公司則是采用一種自研的方式。

下面我跟大家講解一下無(wú)人駕駛的四代系統(tǒng)：

第一代無(wú)人駕駛系統(tǒng)——也是今天在國(guó)內(nèi)廣泛應(yīng)用的無(wú)人駕駛系統(tǒng)，最明顯的特點(diǎn)是頭上有一顆Velodyne的64線激光雷達(dá)，這是源于2007年的DARPA無(wú)人駕駛挑戰(zhàn)賽。該方案在國(guó)內(nèi)有百度、騰訊、Pony和景馳等公司在繼承。這種技術(shù)方案是單一傳感器不融合的方案，也即是說(shuō)不同的傳感器做不同的任務(wù)，比如用64線激光雷達(dá)做人的檢測(cè)，用相機(jī)做紅綠燈的識(shí)別等。

第二代方案由Waymo以及Cruise等公司在繼承，主要特點(diǎn)是整個(gè)車輛采用多顆低線束激光雷達(dá)融合Camera以及各種傳感器的技術(shù)方案。

第三代無(wú)人駕駛系統(tǒng)是2018年年初由豐田在CES上展出的基于全固態(tài)前裝的無(wú)人駕駛方案?？梢钥吹竭@一代方案有兩個(gè)不同：一是用多顆固態(tài)激光雷達(dá)，二是做到了車輛的前裝車規(guī)級(jí)。

第四代方案是移動(dòng)空間這個(gè)概念。在這個(gè)移動(dòng)空間的方案中，車輛不再具有方向盤，整個(gè)車的概念和品牌也都不再重要，車只是為人類提供一個(gè)移動(dòng)的空間。其實(shí)這也是今天所有公司，不管是互聯(lián)網(wǎng)巨頭還是主機(jī)公司都在追求的終極目標(biāo)。

這幅圖具體展現(xiàn)了前兩代的一些代表公司。在下面的是2012年采用64線激光雷達(dá)方案的谷歌以及其他公司。上面的是最新的Waymo、Cruise、Drive.ai以及Roadstar.ai。Waymo采用了一顆高線束加6顆低線束的融合；Cruise采用了兩顆32線以及兩顆16線；Drive.ai采用了六顆16線；Roadstar采用了一顆32線加4顆16線的方案。

Part2

下面簡(jiǎn)單講一下多傳感器融合的基本原理和算法。多傳感器融合分為兩塊，第一塊是傳感器同步技術(shù)，第二塊是基于融合數(shù)據(jù)開發(fā)的算法。

簡(jiǎn)單的傳感器融合，我相信大家也不陌生，不外乎就是每個(gè)傳感器的數(shù)據(jù)能大致在空間跟時(shí)間上能得到對(duì)齊。而整個(gè)多傳感器融合技術(shù)的核心就在于高精度的時(shí)間以及空間同步。精度到什么量級(jí)呢？舉個(gè)例子，比如時(shí)間上能得到10的-6次方，空間上能得到在一百米外3到5厘米的誤差，這是一個(gè)典型的技術(shù)指標(biāo)。當(dāng)然，多傳感器同步技術(shù)的難度與時(shí)間和空間的要求是一個(gè)指數(shù)級(jí)的增加。在百米外能得到3cm的空間精度，換算成角度是0.015度左右。大家也知道在無(wú)人駕駛當(dāng)中，毫米波雷達(dá)、相機(jī)、激光雷達(dá)和超聲波都是完全不同的傳感器，讓他們?cè)跁r(shí)域跟空域上得到這樣的精度是非常難的，需要對(duì)機(jī)器人技術(shù)以及機(jī)器學(xué)習(xí)優(yōu)化技術(shù)有非常深的理解。

Roadstar的多傳感器技術(shù)不僅僅在國(guó)內(nèi)得到了認(rèn)同，在國(guó)際上也得到了廣泛的認(rèn)同。我們之前去過(guò)豐田的日本總部，也見到了他們負(fù)責(zé)研發(fā)的老大。他們也知道多傳感器融合做前融合很重要，對(duì)系統(tǒng)的提升很大，但是他們老大認(rèn)為這東西不可能被實(shí)現(xiàn)。但是當(dāng)我們展示出Roadstar的多傳感器融合視頻，他們當(dāng)時(shí)就被震驚了。整個(gè)豐田在東京的負(fù)責(zé)人都過(guò)來(lái)看我們的傳感器融合方案。

當(dāng)有了異構(gòu)多傳感器同步技術(shù)之后，我們針對(duì)這個(gè)數(shù)據(jù)集開發(fā)了自己的感知以及定位算法。這個(gè)數(shù)據(jù)集是一個(gè)8維的數(shù)據(jù)集，其中包含了X,Y,Z的空間數(shù)據(jù)以及R,G,B的顏色數(shù)據(jù)、激光反射值數(shù)據(jù)和多普勒速度數(shù)據(jù)。

這是一個(gè)比較簡(jiǎn)單的calibration的算法，我大概講一下。

第一個(gè)算法,本質(zhì)上是在事件坐標(biāo)系中，你得到相機(jī)以及手的Pose信息，然后根據(jù)它轉(zhuǎn)換的幾何限制，最終可以解算出你的X。

第二個(gè)算法,對(duì)應(yīng)的是在事件坐標(biāo)系以及機(jī)器人自己的坐標(biāo)系中，你分別知道傳感器的運(yùn)動(dòng)軌跡、手的移動(dòng)軌跡以及兩個(gè)坐標(biāo)系中的轉(zhuǎn)換等信息，然后通過(guò)這個(gè)反算出你的X。

上面這個(gè)視頻是做了完美的前融合之后的效果。這也是當(dāng)初我們呈現(xiàn)在日本豐田總部讓研發(fā)老大所震驚的視頻。

大家可以看到，這是一個(gè)270度環(huán)視攝像頭。彩色的點(diǎn)是激光雷達(dá)的點(diǎn)，當(dāng)時(shí)車速大概是60到80km/h。不管是在極遠(yuǎn)處還是在極近處，所有激光雷達(dá)的像素點(diǎn)和圖片的像素點(diǎn)都達(dá)到了像素級(jí)別的誤差。

整個(gè)Sensor Fusion的視頻是可以實(shí)時(shí)顯示在我們車上的。我相信做過(guò)機(jī)器學(xué)習(xí)的同學(xué)，很快就能get到，如果能有這樣一套完美的系統(tǒng)，那對(duì)感知的提升是非常非常Significant的。

做Machine Learning的朋友都知道PCA算法，但PCA算法跟傳感器融合是完全相反的方法。在Deep Learning產(chǎn)生之前，由于傳統(tǒng)的Machine Learning并不能夠高效地學(xué)出數(shù)據(jù)中的信息，因此才誕生了PCA算法。而在今天深度學(xué)習(xí)技術(shù)得到極大提高的情況之下，PCA算法也就再?zèng)]有人提了。

在傳感器融合提供的8維數(shù)據(jù)中，每個(gè)通道都是沒(méi)有任何冗余信息，能夠極大的提高整個(gè)系統(tǒng)的可靠性以及穩(wěn)定性。相比于傳統(tǒng)的方法，我們能夠非常容易地提高十個(gè)點(diǎn)以上表現(xiàn)。

這是我們從網(wǎng)上搜集到另外一些無(wú)人駕駛公司融合失敗的案例。大家可以看到，這個(gè)無(wú)人駕駛汽車是靜止地停在一個(gè)測(cè)試場(chǎng)地，前面是有一個(gè)車在繞圓圈或者是八字，但是點(diǎn)云跟相機(jī)的信息是差了半個(gè)車頭的距離，這個(gè)誤差是隨著距離呈線性增加的。目前這個(gè)距離大概是十米，可以想象在100米或者50米開外的時(shí)候，車和車已經(jīng)是完全分離的。因此，這種融合效果是不能為系統(tǒng)增加額外的可靠性以及穩(wěn)定性的。

這個(gè)例子能夠比較形象地解釋為什么高維數(shù)據(jù)會(huì)更好。左邊是平面的2D信息，大家可以想象一下，如果想分割出里面紅色的元素，是需要做非常復(fù)雜的曲線能分開。其實(shí)原始的信息是在右邊。右邊的信息，可以通過(guò)簡(jiǎn)單的一些平面就能分開。

下面我跟大家介紹一下前融合算法和后融合算法的區(qū)別。左邊的方法對(duì)應(yīng)的是后融合算法。在后融合算法中，每個(gè)傳感器都有自己獨(dú)立的感知，比如激光雷達(dá)有激光雷達(dá)的感知，攝像頭有攝像頭的感知，毫米波雷達(dá)也會(huì)做出自己的感知。在最終的Objectlist結(jié)果匯總里面，它會(huì)通過(guò)一些人工算法過(guò)濾或者合并掉一些物體。

在前融合過(guò)程中，我們只有一個(gè)感知的算法。我們?cè)谠紝影褦?shù)據(jù)都融合在一起，融合好的數(shù)據(jù)就好比是一個(gè)Super傳感器，而且這個(gè)傳感器不僅有能力可以看到紅外線，還有能力可以看到攝像頭或者RGB，也有能力看到三維信息，也有能力看到LiDAR信息，就好比是一雙超級(jí)眼睛。在這雙超級(jí)眼睛上面，我們開發(fā)自己的感知算法，最后會(huì)輸出一個(gè)結(jié)果層的物體。

這樣講可能大家還不太清楚為什么前融合更好，我在這里舉一個(gè)例子。假設(shè)在你手上有一個(gè)手機(jī)，激光雷達(dá)只能看到手機(jī)的的一個(gè)角，攝像頭只能看到第二個(gè)角，而毫米波雷達(dá)可以看到第三個(gè)角，那么大家可以想象，如果使用后融合算法，由于每個(gè)傳感器只能看到它的一部分，這個(gè)物體非常有可能不被識(shí)別到，最終會(huì)被濾掉。而在前融合中，由于它是集合了所有的數(shù)據(jù)，也就相當(dāng)于可以看到這個(gè)手機(jī)的三個(gè)角，那對(duì)于前融合來(lái)說(shuō)，是非常容易能夠識(shí)別出這是一臺(tái)手機(jī)的。

除了以上提到的優(yōu)點(diǎn)，多傳感器融合還有另外的一個(gè)優(yōu)點(diǎn)。

我們相信，前裝的固態(tài)是真正無(wú)人駕駛的未來(lái)。但是每個(gè)固態(tài)雷達(dá)有它的特性，尤其是MEMS雷達(dá)。MEMS雷達(dá)是基于諧振反算出一個(gè)角度，從而得到這個(gè)點(diǎn)云在空間中的位置。由于這并不是直接測(cè)量，而是間接測(cè)量的角度，從而導(dǎo)致固態(tài)雷達(dá)的點(diǎn)云分辨率很低，對(duì)溫度也很敏感。

同時(shí)每一個(gè)固態(tài)雷達(dá)都只能有有限的Field of view，這就導(dǎo)致要想使用固態(tài)激光雷達(dá)，你必須得是多顆融合在一起。之前我跟大家介紹的四代技術(shù)當(dāng)中，第一代技術(shù)是不能直接跳躍到第三代技術(shù)的，因?yàn)榈谝淮夹g(shù)不能夠做到低線束的融合；另外由于點(diǎn)云質(zhì)量的降低，對(duì)于第一代單一傳感器的技術(shù)，感知效果會(huì)更差；如果沒(méi)有加入Camera信息，那么它的感知是沒(méi)法在常用場(chǎng)景上開的。這就是為什么到今天為止，就我們公司能夠做到在極端復(fù)雜的場(chǎng)景下實(shí)現(xiàn)完美的感知，同時(shí)車能夠開得非常的好。

這一頁(yè)是重復(fù)講我之前提到的后融合的缺點(diǎn)，大家可以再看一下。

對(duì)于DeepFusion技術(shù)，由于它的信息中每個(gè)通道的不冗余性，最終導(dǎo)致算法對(duì)數(shù)據(jù)的依賴會(huì)極大的降低。在我們的數(shù)據(jù)集中，我們做了一個(gè)簡(jiǎn)單的測(cè)試，DeepFusion采用前融合的算法，我們大概采用1萬(wàn)幀左右的算法，能得到傳統(tǒng)算法10萬(wàn)幀的效果。除了Corner Case以及數(shù)據(jù)集的遠(yuǎn)遠(yuǎn)減少以外，DeepFusion還有其他的一些Benefits。比如采用DeepFusion的數(shù)據(jù)集是可以當(dāng)做來(lái)L2、L3的Ground Truth，你在出去標(biāo)注的過(guò)程中，需要標(biāo)注一次，那么你會(huì)完成對(duì)所有數(shù)據(jù)的標(biāo)注。

Part3

接下來(lái)我跟大家講一下Roadstar基于前融合技術(shù)所開發(fā)的無(wú)人駕駛系統(tǒng)。

上圖是我們Roadstar使用的機(jī)頂盒，是第二代傳感器平臺(tái)，我們稱之為One cable solution。在這個(gè)機(jī)頂盒上有著5顆低線束激光雷達(dá)，加上6顆攝像頭、3顆毫米波雷達(dá)和GPS&IMU系統(tǒng)。所有的傳感器都會(huì)在這個(gè)機(jī)頂盒中做處理，包含異構(gòu)多傳感器同步技術(shù)。處理好的數(shù)據(jù)會(huì)通過(guò)一根Cable輸入到我們的電腦當(dāng)中，電腦接入這個(gè)數(shù)據(jù)后進(jìn)行檢測(cè)、決策、定位算法，最終會(huì)通過(guò)Control來(lái)控制這個(gè)車。

相比于大多數(shù)公司的方法，我們的硬件平臺(tái)非常的穩(wěn)定，到今天為止我們沒(méi)有發(fā)生過(guò)由于硬件Failure導(dǎo)致系統(tǒng)宕掉的情況。講個(gè)小插曲，在硅谷的那段時(shí)間，我們?cè)?jīng)有過(guò)3顆激光雷達(dá)壞掉，但是我們的車依然完成了無(wú)人駕駛，安全地把乘客送回我們的公司，乘客當(dāng)時(shí)也是非常地驚訝。

這是Roadstar 的L4系統(tǒng)架構(gòu)。這個(gè)架構(gòu)相信做無(wú)人駕駛的人應(yīng)該也不是太陌生。最左邊是傳感器模塊，最右邊是Perception + Decision+Control模塊，以及中下的定位模塊。

在整個(gè)架構(gòu)中，中間藍(lán)色部分的HeteroSync和DeepFusion是Roadstar的核心技術(shù)?；谶@個(gè)技術(shù)，我們的感知和定位都能得到一個(gè)量級(jí)的提升。

這是Roadstar采用的神經(jīng)網(wǎng)絡(luò)。中間網(wǎng)絡(luò)的具體架構(gòu)部分被我省略了。大家可以看到我們的Input是來(lái)自于八維的高位數(shù)據(jù)，Output是3D Bounding Box。

這是Roadstar Daytime的Perception。在每個(gè)Bounding Box中，左上角是ID，右下角的是車速，可以看到我們準(zhǔn)確地識(shí)別出路上的所有車以及行人。整個(gè)視頻我們是做了3倍速的加速。

從上面我們知道基于前融合的感知是如何的強(qiáng)大。在整個(gè)路測(cè)當(dāng)中，在80米內(nèi)的人和車基本都是沒(méi)有被miss掉的，我們得到一個(gè)非常高的Perception Recall。

大家可以看到，Roadstar在深度學(xué)習(xí)上有非常強(qiáng)的功底。我們?cè)贑ITYSCAPES數(shù)據(jù)集上，目前在語(yǔ)義分割上是排第一。我們基于單一傳感器的激光雷達(dá)的感知目前在KITTI上也是居于前三。在我們前融合的內(nèi)部Benchmark上，easy我們有接近99%的average precision，在Moderate和Hard基于前融合上能夠達(dá)到接近90%的水平。我覺(jué)得完美的感知是無(wú)人駕駛真正實(shí)現(xiàn)的前提。但我也知道多數(shù)公司其實(shí)并不敢把自己的感知顯示給客人看。但在Roadstar，任何過(guò)來(lái)試車的人都能看到完全跟上面視頻一樣的感知畫面以及感知體驗(yàn)。

DeepFusion技術(shù)除了能夠在Perception上極大地提高感知，在地圖定位上也能夠極大地提高系統(tǒng)的魯棒性。對(duì)于傳統(tǒng)定位，比如今天阿波羅上用的是2D反射值定位，有著很大的缺陷。由于天然2D的特性，它在高架橋上以及在多層停車庫(kù)里面都是不工作的。另外，反射值地圖的定位，在對(duì)車的Hidden上，它無(wú)法做z和heading上的修正。Roadstar用了整個(gè)三維點(diǎn)云的信息以及Camera的信息，極大地提高了定位的效果。

這個(gè)視頻是我們?cè)诙鄬油＼噲?chǎng)中的定位效果。大家可以仔細(xì)看一下，整個(gè)停車場(chǎng)是沒(méi)有GPS信號(hào)的，整個(gè)車輛的定位是完全按照imu以及LiDAR的feature來(lái)做到的。

在這個(gè)視頻的右下角是Camera的View，也可以看到這是一個(gè)完全封閉的停車場(chǎng)，沒(méi)有任何的GPS信號(hào)，而且我們的車也長(zhǎng)時(shí)間地停在車庫(kù)當(dāng)中。

定位技術(shù)在中國(guó)特色的路況下是極其重要的。相比于美國(guó)的簡(jiǎn)單場(chǎng)景，不少相當(dāng)于中國(guó)的大農(nóng)村，建筑一般都是不超過(guò)三層的。GPS在這種場(chǎng)景之下是不會(huì)有多次反射的影響，單靠GPS&IMU定位是足夠的。但中國(guó)城市化高，高樓大廈會(huì)極大地影響著GNSS系統(tǒng)的穩(wěn)定性，如果沒(méi)有一套良好的設(shè)備，而Demo測(cè)試的場(chǎng)地往往都是在開放的場(chǎng)地上進(jìn)行的，比如在政府大廳的一個(gè)開放路段上進(jìn)行。待會(huì)我們會(huì)給大家放出，Roadstar在深圳的路測(cè)場(chǎng)景，整個(gè)都是在特別高的樹木遮擋下進(jìn)行的。

Part4

最后講一講， Roadstar如何利用我們先進(jìn)技術(shù)來(lái)加快商業(yè)落地以及商業(yè)化。

去年10月到11月份，我們就在硅谷實(shí)現(xiàn)了四小時(shí)長(zhǎng)時(shí)間的無(wú)人工干預(yù)的測(cè)試。當(dāng)時(shí)在蘋果總部等交通繁忙路段實(shí)現(xiàn)了完全的無(wú)人駕駛，包含非常常見的場(chǎng)景，比如紅燈右拐、換道匯入等等，整個(gè)車速應(yīng)該是60邁/每小時(shí)。

今年2月份，我們?cè)谏钲谖鼷悓?shí)現(xiàn)了高達(dá)50Km/h的路測(cè)，其中包含了中國(guó)特色的測(cè)試場(chǎng)景，比如緊急加塞、送外賣小哥逆行、中國(guó)式過(guò)馬路、翻欄桿等等幾個(gè)場(chǎng)景?，F(xiàn)今為止，我們是唯一一家能夠做到在這種場(chǎng)景下測(cè)試的公司。

大家應(yīng)該看完了剛才的視頻，中間有一些場(chǎng)景我們都做了解釋。最后可以看到有一個(gè)行人是緊急加塞，我們的車也做了準(zhǔn)確的識(shí)別，并且做到減速避讓。

這是Roadstar的發(fā)展歷程。從去年5月份成立到今天還不到一年時(shí)間，Roadstar就實(shí)現(xiàn)了在中美兩地最復(fù)雜路況上的測(cè)試，而且我們是采用一個(gè)完全不同于第一代無(wú)人駕駛的解決方案。

之后我們會(huì)做無(wú)人車隊(duì)運(yùn)營(yíng)。在2018年，我們?cè)谏钲跁?huì)鋪20輛乘用車，每個(gè)車輛配備一名安全員做一些數(shù)據(jù)的收集以及技術(shù)的驗(yàn)證，向政府證明Roadstar可以安全地做到車輛的運(yùn)營(yíng)；2019年我們會(huì)跟車廠或者是Tier1進(jìn)行合作，生產(chǎn)100臺(tái)無(wú)人車，同時(shí)跟出行公司或者是自己開發(fā)打車軟件，提供比較大范圍的出租車或?qū)＼嚪?wù)。當(dāng)然，在2019年我們依然會(huì)配備安全員，保證用戶的體驗(yàn)。

經(jīng)過(guò)這兩年的數(shù)據(jù)收集，Roadstar會(huì)配備1500臺(tái)車以上，然后做一個(gè)大范圍，比如深圳一個(gè)區(qū)或者是深圳市以上，這時(shí)車輛將不再配備安全員，并且使用遠(yuǎn)程干預(yù)來(lái)實(shí)現(xiàn)運(yùn)營(yíng)。