作者：Alone

一、各傳感器的優(yōu)劣勢

1.激光雷達(dá)：優(yōu)點(diǎn)：一般情況下精度準(zhǔn)確、360度的感知范圍、3維數(shù)據(jù)（相對于相機(jī)具有深度信息）缺點(diǎn)：成本高昂、數(shù)據(jù)量大、無序且稀疏（對于單個物體而言，其數(shù)據(jù)點(diǎn)更少，類似于一張具有深度信息低分辨率的廣角照片）

2.相機(jī)優(yōu)點(diǎn)：紋理細(xì)節(jié)豐富、成本低廉缺點(diǎn)：易受光照影響、沒有深度信息

3.毫米波雷達(dá)：優(yōu)點(diǎn)：在特殊場景下（雨霧天氣）相對Lidar抗干擾能力強(qiáng)；基于多普勒效應(yīng)的探測原理能捕捉到一定運(yùn)動信息；長波長（毫米波）能夠檢測到一些corner場景下的目標(biāo)缺點(diǎn)：精度較低（以點(diǎn)云表達(dá)后，數(shù)據(jù)稀疏且高度信息費(fèi)城不準(zhǔn)；對相對靜止的物體檢測效果差，并非所有靜止物體

4.紅外相機(jī)：夜視場景，是優(yōu)點(diǎn)也是局限二、解決方案沒有詳細(xì)調(diào)研過各企業(yè)最終落地的傳感器配置方案，但看過不少waymo、百度、nvidia多傳感器融合的研究，所以更多地從理論和技術(shù)角度分析一下各種解決方案。

1.激光雷達(dá)+相機(jī)

當(dāng)前主流的多傳感器融合方案，采用相機(jī)和激光雷達(dá)相互的方式進(jìn)行3D檢測。將圖像數(shù)據(jù)和點(diǎn)云統(tǒng)一坐標(biāo)系后，結(jié)合圖像提供的豐富的物體紋理信息和點(diǎn)云提供的幾何結(jié)構(gòu)信息有助于分類任務(wù)；點(diǎn)云提供的精確3維信息以及物體在物理世界自然分離的特點(diǎn)有助于改善圖像中目標(biāo)相互重疊的情況，從而更精準(zhǔn)地進(jìn)行目標(biāo)檢測。一些經(jīng)典的方法比如MV3D、Frustum Pointnet以及同作者出的ImVotenet等，隨便一篇融合的論文的related work都會有較詳?shù)木C述，在這就不多重復(fù)了。

目前對于此類融合的算法研究較多，理論研究短期內(nèi)很難有較大創(chuàng)新，但在工程實(shí)踐中兩種傳感器相互輔助的方式可以更加多樣化，且必須在考慮算力的前提下，結(jié)合不同的場景自適應(yīng)地調(diào)整對不同數(shù)據(jù)源及特征置信度可能才能真正發(fā)揮激光雷達(dá)和相機(jī)融合的作用。

2.毫米波雷達(dá)+相機(jī)

若采用點(diǎn)云形式表達(dá)毫米波數(shù)據(jù)，那其實(shí)和Lidar和RGB融合原理相差不大，但效果會更差。另外，毫米波雷達(dá)還有range-doppler-azimuth（就是極坐標(biāo)系下距離、角度以及多普勒特征）數(shù)據(jù)形式，經(jīng)過一些數(shù)據(jù)處理后其實(shí)和image張量形式相差不大，因此可以采用傳統(tǒng)CNN方法進(jìn)行融合提取。關(guān)于毫米波雷達(dá)的多普勒特征可以算一個小的研究課題，有研究表明，多普勒效應(yīng)能夠捕捉到物體內(nèi)部組件的振動特征，且毫米波雷達(dá)檢測到的目標(biāo)速度信息也是基于此原理。但自動駕駛對此研究并不多，工業(yè)應(yīng)用就更少了。

個人認(rèn)為微多普勒特征的應(yīng)用雖有理論支持，但在自動駕駛復(fù)雜場景以及對安全的高要求下，其性能表現(xiàn)并不穩(wěn)定和魯棒，因此沒有得到廣泛應(yīng)用。另外，在4D radar實(shí)現(xiàn)技術(shù)突破能夠量產(chǎn)以后，這種特別的特征在自動駕駛場景也許只是錦上添花。這篇研究［1］則采用這種新的表征形式來融合radar和image的特征，結(jié)合模仿學(xué)習(xí)的理念進(jìn)行radar檢測。

圖1

3.毫米波雷達(dá)+激光雷達(dá)

這篇研究［2］是2020CVPR的一篇文章，研究指出：在霧天場景下，Lidar點(diǎn)云會受到很大干擾，增加很多噪點(diǎn)；而radar的生成的點(diǎn)云雖然稀疏，但幾乎不受霧的干擾，因此采用此融合方式可以改善在霧天場景下的3D檢測表現(xiàn)。圖2為該研究主要框架。

圖2

4.RGB相機(jī)+紅外相機(jī)：主要用于夜視場景的檢測由于應(yīng)用場景有限，目前更多的是用于學(xué)術(shù)界的理論研究。但如果真的要實(shí)現(xiàn)全天候的自動駕駛，可能終究跨不過類似夜視的長尾場景，只是目前還沒發(fā)展到那個階段而已。

總結(jié)來看針對工業(yè)界目前近幾年L3+的目標(biāo)，除特斯拉能依靠大規(guī)模真實(shí)駕駛數(shù)據(jù)來實(shí)現(xiàn)純視覺的自動駕駛方案以外，其他造車新勢力無不加持了激光雷達(dá)，同時結(jié)合多攝像頭實(shí)現(xiàn)感知功能。radar和超聲傳感器等基本已是現(xiàn)代汽車的標(biāo)配，只是如何使用的問題。單說傳感器的配置方案，可能激光雷達(dá)+相機(jī)將會是主流（除特斯拉）。但更加具體和成熟的解決方案必須結(jié)合自動駕駛的基礎(chǔ)系統(tǒng)來實(shí)現(xiàn)，并基于一定的機(jī)制來自適應(yīng)調(diào)整從而靈活應(yīng)用各傳感器的數(shù)據(jù)特征，明確：一般場景采用什么方式節(jié)省算力？不同場景更加信任哪種數(shù)據(jù)？特殊場景如何安全兜底？等問題的處理機(jī)制，在大多數(shù)場景下能夠表現(xiàn)穩(wěn)定，才能真正勝出！

編輯：黃飛