人類駕駛員會根據(jù)行人的移動軌跡大概評估其下一步的位置，然后根據(jù)車速，計算出安全空間（路徑規(guī)劃），公交司機最擅長此道。無人駕駛汽車同樣要能做到。要注意這是多個移動物體的軌跡的追蹤與預測，難度比單一物體要高得多。這就是環(huán)境感知，也是無人駕駛汽車最具難度的技術。

今天介紹一下環(huán)境感知的內容。環(huán)境感知也被稱為MODAT(Moving Object Detection andTracking)。

自動駕駛四大核心技術，分別是環(huán)境感知、精確定位、路徑規(guī)劃、線控執(zhí)行。環(huán)境感知是其中被研究最多的部分，不過基于視覺的環(huán)境感知是無法滿足無人汽車自動駕駛要求的。實際的無人駕駛汽車面對的路況遠比實驗室仿真或者試車場的情況要復雜很多，這就需要建立大量的數(shù)學方程。而良好的規(guī)劃必須建立對周邊環(huán)境，尤其是動態(tài)環(huán)境的深刻理解。

環(huán)境感知主要包括三個方面，路面、靜態(tài)物體和動態(tài)物體。對于動態(tài)物體，不僅要檢測還要對其軌跡進行追蹤，并根據(jù)追蹤結果，預測該物體下一步的軌跡（位置）。這在市區(qū)，尤其中國市區(qū)必不可少，最典型場景就是北京五道口：如果你見到行人就停，那你就永遠無法通過五道口，行人幾乎是從不停歇地從車前走過。人類駕駛員會根據(jù)行人的移動軌跡大概評估其下一步的位置，然后根據(jù)車速，計算出安全空間（路徑規(guī)劃），公交司機最擅長此道。無人駕駛汽車同樣要能做到。要注意這是多個移動物體的軌跡的追蹤與預測，難度比單一物體要高得多。這就是MODAT(Moving Object Detectionand Tracking)。也是無人駕駛汽車最具難度的技術。

下圖是一個典型的無人駕駛汽車環(huán)境感知框架 ：

這是基于激光雷達的環(huán)境感知模型，目前來說，搞視覺環(huán)境感知模型研究的人遠多于激光雷達。不過很遺憾地講，在無人駕駛汽車這件事上，視覺肯定是不夠的，長遠來說， 激光雷達配合毫米波雷達， 再加上視覺環(huán)境感知的綜合方案才能真正做到無人駕駛。

讓我們來看計算機視覺的發(fā)展歷程，神經網絡的歷史可追述到上世紀四十年代，曾經在八九十年代流行。神經網絡試圖通過模擬大腦認知的機理，解決各種機器學習的問題。1986年Rumelhart，Hinton和Williams在《自然》發(fā)表了著名的反向傳播算法用于訓練神經網絡，直到今天仍被廣泛應用。

不過深度學習自80年代后沉寂了許久。神經網絡有大量的參數(shù)，經常發(fā)生過擬合問題，即往往在訓練集上準確率很高，而在測試集上效果差。這部分歸因于當時的訓練數(shù)據(jù)集規(guī)模都較小，而且計算資源有限，即便是訓練一個較小的網絡也需要很長的時間。神經網絡與其它模型相比并未在識別的準確率上體現(xiàn)出明顯的優(yōu)勢，而且難于訓練。

因此更多的學者開始采用諸如支持向量機（SVM）、Boosting、最近鄰等分類器。這些分類器可以用具有一個或兩個隱含層的神經網絡模擬，因此被稱作淺層機器學習模型。它們不再模擬大腦的認知機理；相反，針對不同的任務設計不同的系統(tǒng)，并采用不同的手工設計的特征。例如語音識別采用高斯混合模型和隱馬爾可夫模型，物體識別采用SIFT特征，人臉識別采用LBP特征，行人檢測采用HOG特征。

2006年以后，得益于電腦游戲愛好者對性能的追求，GPU性能飛速增長。同時，互聯(lián)網很容易獲得海量訓練數(shù)據(jù)。兩者結合，深度學習或者說神經網絡煥發(fā)了第二春。2012年，Hinton的研究小組采用深度學習贏得了ImageNet圖像分類的比賽。從此深度學習開始席卷全球。

深度學習與傳統(tǒng)模式識別方法的最大不同在于它是從大數(shù)據(jù)中自動學習特征，而非采用手工設計的特征。好的特征可以極大提高模式識別系統(tǒng)的性能。在過去幾十年模式識別的各種應用中，手工設計的特征處于統(tǒng)治地位。它主要依靠設計者的先驗知識，很難利用大數(shù)據(jù)的優(yōu)勢。由于依賴手工調參數(shù)，特征的設計中只允許出現(xiàn)少量的參數(shù)。深度學習可以從大數(shù)據(jù)中自動學習特征的表示，其中可以包含成千上萬的參數(shù)。手工設計出有效的特征是一個相當漫長的過程。回顧計算機視覺發(fā)展的歷史，往往需要五到十年才能出現(xiàn)一個受到廣泛認可的好的特征。而深度學習可以針對新的應用從訓練數(shù)據(jù)中很快學習得到新的有效的特征表示。

一個模式識別系統(tǒng)包括特征和分類器兩個主要的組成部分，二者關系密切，而在傳統(tǒng)的方法中它們的優(yōu)化是分開的。在神經網絡的框架下，特征表示和分類器是聯(lián)合優(yōu)化的。兩者密不可分。深度學習的檢測和識別是一體的，很難割裂，從一開始訓練數(shù)據(jù)即是如此，語義級標注是訓練數(shù)據(jù)的最明顯特征。絕對的非監(jiān)督深度學習是不存在的，即便弱監(jiān)督深度學習都是很少的。因此視覺識別和檢測障礙物很難做到實時。而激光雷達云點則擅長探測檢測障礙物3D輪廓，算法相對深度學習要簡單的多，很容易做到實時。激光雷達擁有強度掃描成像，換句話說激光雷達可以知道障礙物的密度，因此可以輕易分辨出草地，樹木，建筑物，樹葉，樹干，路燈，混凝土，車輛。這種語義識別非常簡單，只需要根據(jù)強度頻譜圖即可。而視覺來說要準確的識別，非常耗時且可靠性不高。

視覺深度學習最致命的缺點是對視頻分析能力極弱，而無人駕駛汽車面對的視頻，不是靜態(tài)圖像。而視頻分析正是激光雷達的特長。視覺深度學習在視頻分析上處于最初的起步階段，描述視頻的靜態(tài)圖像特征，可以采用從ImageNet上學習得到的深度模型；難點是如何描述動態(tài)特征。以往的視覺方法中，對動態(tài)特征的描述往往依賴于光流估計，對關鍵點的跟蹤，和動態(tài)紋理。如何將這些信息體現(xiàn)在深度模型中是個難點。最直接的做法是將視頻視為三維圖像，直接應用卷積網絡，在每一層學習三維濾波器。但是這一思路顯然沒有考慮到時間維和空間維的差異性。另外一種簡單但更加有效的思路是通過預處理計算光流場，作為卷積網絡的一個輸入通道。也有研究工作利用深度編碼器(deepautoencoder)以非線性的方式提取動態(tài)紋理，而傳統(tǒng)的方法大多采用線性動態(tài)系統(tǒng)建模。

光流只計算相鄰兩幀的運動情況，時間信息也表述不充分。two-stream只能算是個過渡方法。目前CNN搞空域，RNN搞時域已經成共識，尤其是LSTM和GRU結構的引入。RNN在動作識別上效果不彰，某些單幀就可識別動作。除了大的結構之外，一些輔助的模型，比如visual hard/softattention model，以及ICLR2016上的壓縮神經網絡都會對未來的深度學習視頻處理產生影響。

目前深度學習對視頻分析還不如手工特征，而手工特征的缺點，前面已經說過，準確率很低，誤報率很高。未來恐怕也難以提升。

MODAT首先要對視頻分析，實時計算出地平面，這對點云為主的激光雷達來說易如反掌，對視覺來說難比登天。

用分段平面擬合和RANSAC算法計算出真實地平面。實際單靠激光雷達的強度掃描成像，一樣可以得出準確的地平面，這也是激光雷達用于遙感的主要原因，可以排除植被的干擾，獲得準確的地形圖，大地基準面。

用VOXEL GRID濾波器將動靜物體分開，黑棕藍綠是激光雷達發(fā)射到行人身上的每個時間段的假設，與動態(tài)物體比，靜態(tài)物體捕獲的點云數(shù)自然要多。

左邊是深度學習領域人盡皆知的權威Kitti數(shù)據(jù)集的采集車，右邊是數(shù)據(jù)集的數(shù)據(jù)格式和內容。Kitti對其Ground Truth有一段描述：

To generate 3Dobject ground-truth we hired a set of annotators, and asked them to assigntracklets in the form of 3D bounding boxes to objects such as cars, vans,trucks,trams, pedestrians and cyclists. Unlike most existing benchmarks, we donot rely on online crowd-sourcing to perform the labeling. Towards this goal,we create a special purpose labeling tool, which displays 3D laser points aswell as the camera images to increase the quality of the annotations.

這里Kitti說的很明確，其訓練數(shù)據(jù)的標簽加注不是人工眾包，而是打造了一個自動標簽軟件，這個軟件把3D激光云點像光學圖像一樣顯示出來，以此來提高標注的質量。很簡單，激光雷達是3D ObjectDetection的標準，即使視覺深度學習再強大，與激光雷達始終有差距。

再來說一下Stixel（sticks abovethe ground in the image）， 中文一般叫棒狀像素，這是2008年由奔馳和法蘭克福大學Hern′an Badino教授推出的一種快速實時檢測障礙物的方法，尤其適合檢測行人，每秒可做到150甚至200幀，這也是奔馳和寶馬雙目的由來。Hern′an Badino后來被卡梅隆大學的機器人實驗室挖走了，Uber的無人車主要就是基于卡梅隆大學機器人實驗室開發(fā)的。Stixel的核心是計算棒狀物的上下邊緣和雙目視差，構建一個Stixel， 可以準確快速地檢測障礙物，特別是行人。這是奔馳寶馬大規(guī)模使用雙目的主要原因，相對單目的行人識別，雙目Stixel擁有碾壓性優(yōu)勢。

通過激光雷達，可以更容易獲得相應的3D距離信息，而且也更準確，因此由此來建立Steixel也更加快捷準確。

現(xiàn)在該說Tracking了，現(xiàn)在不少人把跟蹤(tracking)和計算機視覺中的目標跟蹤搞混了。前者更偏向數(shù)學，是對狀態(tài)空間在時間上的變化進行建模，并對下一時刻的狀態(tài)進行預測的算法。例如卡爾曼濾波，粒子濾波等。后者則偏向應用，給定視頻中第一幀的某個物體的框，由算法給出后續(xù)幀中該物體的位置。最初是為了解決檢測算法速度較慢的問題，后來慢慢自成一系。因為變成了應用問題，所以算法更加復雜，通常由好幾個模塊組成，其中也包括數(shù)學上的tracking算法，還有提取特征，在線分類器等步驟。

在自成一系之后，目標跟蹤實際上就變成了利用之前幾幀的物體狀態(tài)(旋轉角度，尺度)，對下一幀的物體檢測進行約束(剪枝)的問題了。它又變回物體檢測算法了，但卻人為地把首幀得到目標框的那步剝離出來。在各界都在努力建立end-to-end系統(tǒng)的時候，目標跟蹤卻只去研究一個子問題，選擇性無視"第一幀的框是怎么來的"的問題。

激光雷達的Tracking則很容易做到，以IBEO為例，IBEO每一款激光雷達都會附送一個叫IBEOObject Tracking的軟件，這是一個基于開曼濾波器的技術，最多可實時跟蹤65個目標，是實時喲，這可是視覺類根本不敢想的事。Quanergy也有類似的軟件，叫3DPerception。