本文詳細(xì)介紹了自動(dòng)駕駛汽車的硬件和軟件，以及所需要做的準(zhǔn)備工作，每個(gè)研發(fā)者或者準(zhǔn)備投身于無人駕駛領(lǐng)域的人都應(yīng)該好好看一下。

全球有數(shù)不清的公司在忙著研發(fā)自動(dòng)駕駛汽車，他們的產(chǎn)品也千奇百怪，不過基本思路和核心技術(shù)是類似的，本文詳細(xì)介紹了自動(dòng)駕駛汽車的硬件和軟件，以及所需要做的準(zhǔn)備工作，每個(gè)研發(fā)者或者準(zhǔn)備投身于無人駕駛領(lǐng)域的人都應(yīng)該好好看一下。

大家都知道智能車（Intelligent Vehicle）是一個(gè)集環(huán)境感知、規(guī)劃決策、多等級(jí)輔助駕駛等功能于一體的綜合系統(tǒng)，它集中運(yùn)用了計(jì)算機(jī)、現(xiàn)代傳感、信息融合、通訊、人工智能及自動(dòng)控制等技術(shù)，是典型的高新技術(shù)綜合體。

自動(dòng)駕駛的關(guān)鍵技術(shù)依次可以分為環(huán)境感知、行為決策、路徑規(guī)劃和運(yùn)動(dòng)控制四大部分。

自動(dòng)駕駛理論聽上去很簡單，四大關(guān)鍵技術(shù)，但到底如何實(shí)現(xiàn)的呢？Google 從 2009 年開始做自動(dòng)駕駛，到現(xiàn)在已有 8 個(gè)年頭。8 個(gè)年頭的技術(shù)積累還無法將自動(dòng)駕駛技術(shù)量產(chǎn)落地，可見自動(dòng)駕駛技術(shù)并不簡單。自動(dòng)駕駛是一個(gè)龐大而且復(fù)雜的工程，涉及的技術(shù)很多，而且太過細(xì)致。我從硬件和軟件兩方面談一談自動(dòng)駕駛汽車所涉及的技術(shù)。

硬件

離開硬件談自動(dòng)駕駛都是耍流氓。先看個(gè)圖，下圖基本包含了自動(dòng)駕駛研究所需要的各種硬件。

然而，這么多傳感器并不一定會(huì)同時(shí)出現(xiàn)在一輛車上。某種傳感器存在與否，取決于這輛車需要完成什么樣的任務(wù)。如果只需要完成高速公路的自動(dòng)駕駛，類似 Tesla 的 AutoPilot 功能，那根本不需要使用到激光傳感器；如果你需要完成城區(qū)路段的自動(dòng)駕駛，沒有激光傳感器，僅靠視覺是很困難的。

自動(dòng)駕駛系統(tǒng)工程師要以任務(wù)為導(dǎo)向，進(jìn)行硬件的選擇和成本控制。有點(diǎn)類似于組裝一臺(tái)計(jì)算機(jī)，給我一份需求，我就給你出一份配置單。

汽車

既然要做自動(dòng)駕駛，汽車當(dāng)然是必不可少的東西。從上汽做自動(dòng)駕駛的經(jīng)驗(yàn)來看，做開發(fā)時(shí)，能不選純汽油車就別選。一方面是整個(gè)自動(dòng)駕駛系統(tǒng)所消耗的電量巨大，混動(dòng)和純電動(dòng)在這方面具有明顯優(yōu)勢。另一方面是 發(fā)動(dòng)機(jī)的底層控制算法相比于電機(jī)復(fù)雜太多，與其花大量時(shí)間在標(biāo)定和調(diào)試底層上，不如直接選用電動(dòng)車研究更高層的算法。

國內(nèi)也有媒體專門就測試車輛的選擇做過調(diào)研?！笧槭裁垂雀?、蘋果不約而同的選擇了雷克薩斯RX450h（混動(dòng)汽車）？」「科技公司測試自己的自動(dòng)駕駛技術(shù)時(shí)，對(duì)于測試車的選擇又都有哪些講究？」等問題。他們得出的結(jié)論是「電」和「空間」對(duì)無人車改裝至關(guān)重要，其次從技術(shù)層面上對(duì)車的「熟悉程度」是另外一個(gè)因素，因?yàn)槿绻缓蛙嚻蠛献鞲难b，需要「Hack（侵入）」某些控制系統(tǒng)。

控制器

在前期算法預(yù)研階段，推薦使用工控機(jī)（Industrial PC，IPC）作為最直接的控制器解決方案。因?yàn)楣た貦C(jī)相比于嵌入式設(shè)備更穩(wěn)定、可靠，社區(qū)支持及配套的軟件也更豐富。百度開源的 Apollo 推薦了一款包含 GPU 的工控機(jī)，型號(hào)為Nuvo-5095GC，如下圖。

Github ApolloAuto

當(dāng)算法研究得較為成熟時(shí)，就可以將嵌入式系統(tǒng)作為控制器，比如 Audi 和 TTTech 共同研發(fā)的 zFAS，目前已經(jīng)應(yīng)用在最新款 Audi A8 上量產(chǎn)車上了。

CAN 卡

工控機(jī)與汽車底盤的交互必須通過專門的語言——CAN。從底盤獲取當(dāng)前車速及方向盤轉(zhuǎn)角等信息，需要解析底盤發(fā)到 CAN 總線上的數(shù)據(jù)；工控機(jī)通過傳感器的信息計(jì)算得到方向盤轉(zhuǎn)角以及期望車速后，也要通過 CAN 卡將消息轉(zhuǎn)碼成底盤可以識(shí)別的信號(hào)，底盤進(jìn)而做出響應(yīng)。

CAN 卡可以直接安裝在工控機(jī)中，然后通過外部接口與 CAN 總線相連。Apollo 使用的 CAN 卡，型號(hào)為 ESD CAN-PCIe/402，如下圖。

全球定位系統(tǒng)（GPS）+慣性測量單元（IMU）

人類開車，從 A 點(diǎn)到 B 點(diǎn)，需要知道 A 點(diǎn)到 B 點(diǎn)的地圖，以及自己當(dāng)前所處的位置，這樣才能知道行駛到下一個(gè)路口是右轉(zhuǎn)還是直行。

無人駕駛系統(tǒng)也一樣，依靠 GPS + IMU 就可以知道自己在哪（經(jīng)緯度），在朝哪個(gè)方向開（航向），當(dāng)然 IMU 還能提供諸如橫擺角速度、角加速度等更豐富的信息，這些信息有助于自動(dòng)駕駛汽車的定位和決策控制。

Apollo 的 GPS 型號(hào)為NovAtel GPS-703-GGG-HV，IMU 型號(hào)為NovAtel SPAN-IGM-A1。

感知傳感器

相信大家對(duì)車載傳感器都耳熟能詳了。感知傳感器分為很多種，包括視覺傳感器、激光傳感器、雷達(dá)傳感器等。視覺傳感器就是攝像頭，攝像頭分為單目視覺，雙目（立體）視覺。比較知名的視覺傳感器提供商有以色列的Mobileye，加拿大的PointGrey，德國的Pike等。

激光傳感器分為單線，多線一直到 64 線。每多一線，成本上漲 1 萬 RMB，當(dāng)然相應(yīng)的檢測效果也更好。比較知名的激光傳感器提供商有美國的 Velodyne 和 Quanergy，德國的 Ibeo 等，國內(nèi)有速騰聚創(chuàng)。

雷達(dá)傳感器是車廠 Tier1 的強(qiáng)項(xiàng)，因?yàn)槔走_(dá)傳感器已經(jīng)在汽車上得到了廣泛使用。知名的供應(yīng)商當(dāng)然 是博世、德爾福、電裝等。

硬件部分總結(jié)

組裝一套可以完成某項(xiàng)功能的自動(dòng)駕駛系統(tǒng)需要及其豐富的經(jīng)驗(yàn)，并且要對(duì)各傳感器的性能邊界及控制器計(jì)算能力了如指掌。優(yōu)秀的系統(tǒng)工程師能在滿足功能的要求下將成本控制在最低，使其量產(chǎn)、落地的可能性更大。

軟件

軟件包含四層：感知、融合、決策、控制。

各個(gè)層級(jí)之間都需要編寫代碼，去實(shí)現(xiàn)信息的轉(zhuǎn)化，更細(xì)化的分類如下。

先分享某創(chuàng)業(yè)公司公開的一份 PPT。

實(shí)現(xiàn)一個(gè)智能駕駛系統(tǒng)，會(huì)有幾個(gè)層級(jí)：

感知層 → 融合層 → 規(guī)劃層 → 控制層

更具體一點(diǎn)為：

傳感器層 → 驅(qū)動(dòng)層 → 信息融合層 → 決策規(guī)劃層 → 底層控制層

各個(gè)層級(jí)之間都需要編寫代碼，去實(shí)現(xiàn)信息的轉(zhuǎn)化。

最基本的層級(jí)有以下幾類：采集及預(yù)處理、坐標(biāo)轉(zhuǎn)換、信息融合。

采集

傳感器跟我們的 PC 或者嵌入式模塊通信時(shí)，會(huì)有不同的傳輸方式。

比如我們采集來自攝像機(jī)的圖像信息，有的是通過千兆網(wǎng)卡實(shí)現(xiàn)的通信，也有的是直接通過視頻線進(jìn)行通信的。再比如某些毫米波雷達(dá)是通過 CAN 總線給下游發(fā)送信息的，因此我們必須編寫解析 CAN 信息的代碼。

不同的傳輸介質(zhì)，需要使用不同的協(xié)議去解析這些信息，這就是上文提到的「驅(qū)動(dòng)層」。 通俗地講就是把傳感器采集到的信息全部拿到，并且編碼成團(tuán)隊(duì)可以使用的數(shù)據(jù)。

預(yù)處理

傳感器的信息拿到后會(huì)發(fā)現(xiàn)不是所有信息都是有用的。

傳感器層將數(shù)據(jù)以一幀一幀、固定頻率發(fā)送給下游，但下游是無法拿每一幀的數(shù)據(jù)去進(jìn)行決策或者融合的。為什么？

因?yàn)閭鞲衅鞯臓顟B(tài)不是 100% 有效的，如果僅根據(jù)某一幀的信號(hào)去判定前方是否有障礙物（有可能是傳感器誤檢了），對(duì)下游決策來說是極不負(fù)責(zé)任的。因此上游需要對(duì)信息做預(yù)處理，以保證車輛前方的障礙物在時(shí)間維度上是一直存在的，而不是一閃而過。

這里就會(huì)使用到智能駕駛領(lǐng)域經(jīng)常使用到的一個(gè)算法——卡爾曼濾波。

坐標(biāo)轉(zhuǎn)換

坐標(biāo)轉(zhuǎn)換在智能駕駛領(lǐng)域十分重要。

傳感器是安裝在不同地方的，比如毫米波（上圖中紫色區(qū)域）是布置在車輛前方的；當(dāng)車輛前方有一個(gè)障礙物，距離這個(gè)毫米波雷達(dá)有 50 米，那么我們就認(rèn)為這個(gè)障礙物距離汽車有 50 米嗎？

不是的！因?yàn)闆Q策控制層做車輛運(yùn)動(dòng)規(guī)劃時(shí)，是在車體坐標(biāo)系下完成的（車體坐標(biāo)系一般以后軸中心為 O 點(diǎn)），因此毫米波雷達(dá)檢測到的 50 米，轉(zhuǎn)換到自車坐標(biāo)系下，還需要加上傳感器到后軸的距離。

最終所有傳感器的信息，都是需要轉(zhuǎn)移到自車坐標(biāo)系下的，這樣所有傳感器信息才能統(tǒng)一，供規(guī)劃決策使用。

同理，攝像機(jī)一般安裝在擋風(fēng)玻璃下面，拿到的數(shù)據(jù)也是基于攝像機(jī)坐標(biāo)系的，給下游的數(shù)據(jù)，同樣需要轉(zhuǎn)換到自車坐標(biāo)系下。

自車坐標(biāo)系：拿出你的右手，以大拇指 → 食指 → 中指 的順序開始念 X、Y、Z。然后把手握成如下形狀：

把三個(gè)軸的交點(diǎn)（食指根部）放在汽車后軸中心，Z 軸指向車頂，X 軸指向車輛前進(jìn)方向。

各個(gè)團(tuán)隊(duì)可能定義的坐標(biāo)系方向不一致，只要開發(fā)團(tuán)隊(duì)內(nèi)部統(tǒng)一即可。

信息融合

信息融合是指把相同屬性的信息進(jìn)行多合一操作。

比如攝像機(jī)檢測到了車輛正前方有一個(gè)障礙物，毫米波也檢測到車輛前方有一個(gè)障礙物，激光雷達(dá)也檢測到前方有一個(gè)障礙物，而實(shí)際上前方只有一個(gè)障礙物，所以我們要做的是把多傳感器下這輛車的信息進(jìn)行一次融合，以此告訴下游，前面有一輛車，而不是三輛車。

決策規(guī)劃

這一層次主要設(shè)計(jì)的是拿到融合數(shù)據(jù)后，如何正確做規(guī)劃。規(guī)劃包含縱向控制和橫向控制：縱向控制即速度控制，表現(xiàn)為什么時(shí)候加速，什么時(shí)候制動(dòng)；橫向控制即行為控制，表現(xiàn)為 什么時(shí)候換道，什么時(shí)候超車等。

個(gè)人對(duì)這一塊不是很了解，不敢妄作評(píng)論。

軟件長什么樣子？

自動(dòng)駕駛系統(tǒng)中的部分軟件看起來和下面類似。

軟件的名字反映了該軟件的實(shí)際作用：

app_driver_camera：攝像機(jī)驅(qū)動(dòng)

app_driver_hdmap：高精度地圖驅(qū)動(dòng)

app_driver_ins：慣導(dǎo)驅(qū)動(dòng)

app_driver_lidar：激光傳感器驅(qū)動(dòng)

app_driver_mwr：毫米波傳感器驅(qū)動(dòng)

app_fusion_freespace：自由行駛區(qū)域融合

app_fusion_lane：車道線融合

app_fusion_obstacle：障礙物融合

app_planning&decision：規(guī)劃決策

然而實(shí)際上攻城獅們會(huì)編寫一些其他軟件用于自己的調(diào)試工作，比如記錄數(shù)據(jù)和回放數(shù)據(jù)的工具。

還有用于傳感器信息顯示的可視化程序，類似下圖的效果。

掌握了軟件的思路，那么我們來看你都要做哪些準(zhǔn)備。

準(zhǔn)備

操作系統(tǒng)安裝

既然是做軟件，首先得有個(gè)操作系統(tǒng)。常見的操作系統(tǒng) Windows/Linux/Mac...（打...的操作系統(tǒng)我也沒用過），考慮到社區(qū)支持、開發(fā)效率，推薦使用 Linux 作為無人駕駛研究的操作系統(tǒng)。

大部分做無人駕駛的團(tuán)隊(duì)都用的 Linux，跟著大趨勢走，可以省很多事。

Linux 又分為很多版本，最常用且普及率很高的當(dāng)屬 Ubuntu 系列。雖然 Ubuntu 已更新至 17.04，但從穩(wěn)定性上，推薦安裝 14.04 版本。

推薦用一塊單獨(dú)的 SSD 安裝 Linux，或者使用虛擬機(jī)安裝，最不推薦裝雙系統(tǒng)（不太穩(wěn)定）奉上 Linux Ubuntu 14.04 安裝包 + 虛擬機(jī)安裝方法。（鏈接：http://pan.baidu.com/s/1jIJNIPg密碼：147y。）

Linux 基本指令

作為 Linux 的核心——命令行操作不僅對(duì)開發(fā)大有幫助，而且是裝 X 利器。另一個(gè)好處是使用指令apt-get install，可以快捷地完成很多軟件的安裝，不用像 Windows 那樣，在網(wǎng)上四處尋覓適配的安裝包。Linux 的指令很多，而且比較雜，使用起來需要多學(xué)，多用。

開發(fā)環(huán)境安裝

開發(fā)環(huán)境會(huì)涉及很多實(shí)際使用的庫，不同的程序員處理相同的問題，可能使用不同的庫。下面通過安裝我在工作和學(xué)習(xí)中經(jīng)常使用到的庫，拋磚引玉，將開發(fā)者「引進(jìn)門」。

搭建環(huán)境所需安裝包：

（鏈接：http://pan.baidu.com/s/1sllta5v密碼：eyc8）

附：開發(fā)環(huán)境介紹

集成開發(fā)環(huán)境 IDE

前面安裝了一款開源的 IDE qt，目前 qt 在 Linux 中的地位，就和 Visual Studio 在 Windows 中的地位一樣。除非是不使用 IDE 開發(fā)的高玩，大部分在 Linux 下做開發(fā)的團(tuán)隊(duì)還是會(huì)選擇用 qt 開發(fā)的。

qt 的主要作用是做交互式的界面，比如在界面中顯示當(dāng)前傳感器采集到的各種信息。界面交互會(huì)明顯加快開發(fā)者調(diào)試程序和標(biāo)定參數(shù)的過程。

Tips：

熟悉 qt 可以網(wǎng)上找教程，我更推薦系統(tǒng)地學(xué)習(xí)，比如買一本 Qt 的書。

買書或者去圖書館借書，注意看寫書的日期，越新越好，太老的書，相應(yīng)的版本也很舊。

OpenCV

OpenCV 是一個(gè)非常強(qiáng)大的庫，其中封裝了大量的可應(yīng)用于無人駕駛研究的函數(shù)，包括各種濾波器算法、特征點(diǎn)提取、矩陣運(yùn)算、投影坐標(biāo)轉(zhuǎn)換、機(jī)器學(xué)習(xí)算法等。

當(dāng)然最重要的是，它在計(jì)算機(jī)視覺領(lǐng)域的影響力，相機(jī)標(biāo)定，目標(biāo)檢測、識(shí)別、跟蹤的接口使用起來十分方便。使用 OpenCV 庫完全可以做出這張圖展現(xiàn)的效果。

Tips：

請至少購買版本為 2.4 以上的教程學(xué)習(xí) OpenCV，但目前市面上買得到的 OpenCV 中文教程都講的太淺，甚至連經(jīng)典的 Kalman Filter 都不介紹。我推薦直接學(xué)習(xí)英文版的 Learning OpenCV3。

奉上電子版，講解很詳細(xì)，每次打印一章閱讀，循序漸進(jìn)。

（鏈接：http://pan.baidu.com/s/1dE5eom9 密碼：n2dn）

libQGLViewer

libQGLViewer 是大名鼎鼎的 OpenGL 適配 qt 的一個(gè)庫，編程接口及方法與 OpenGL 大同小異，我們經(jīng)常在各大無人駕駛公司宣傳畫上看到的環(huán)境感知信息的顯示，就完全可以用 QGL 做出來。

Tips：

學(xué)習(xí) libQGLViewer 不需要購買任何教材，官網(wǎng)及壓縮包內(nèi)的 example 就是最好的老師，按照官網(wǎng)的tutorial，把每個(gè)例子實(shí)現(xiàn)一遍，就基本入門了。

官網(wǎng)鏈接：libQGLViewer Home Page

Boost

Boost 庫是有著「C++準(zhǔn)標(biāo)準(zhǔn)庫」之稱。這個(gè)庫里面有大量的「輪子」，對(duì)于 C++ 開發(fā)者來說，方便直接調(diào)用，避免重造「輪子」。

Tips：

Boost 是基于標(biāo)準(zhǔn) C++ 開發(fā)，其構(gòu)造用盡精巧手法，不要貿(mào)然費(fèi)時(shí)研讀，找一份和 Boost 庫相關(guān)的（電子或紙質(zhì)）書，把目錄讀一遍，大致知道里面有哪些功能即可，需要時(shí)就某一個(gè)點(diǎn)，花時(shí)間做研究。

QCustomplot

除了上面提到的 libQGLViewer 外，還可以通過平面圖的形式顯示車載傳感器的信息。鑒于 qt 內(nèi)部只提供了基本的直線、圓等繪圖工具，使用起來并不是很方便，因此 QCustomplot 誕生了。簡單地調(diào)用 API，然后把想要顯示的數(shù)據(jù)作為參數(shù)輸入進(jìn)去，就可以繪制出下面這些很棒的圖形。而且可以很方便地拖動(dòng)和縮放。

下面是我在實(shí)際開發(fā)過程中，使用 QCustomplot 顯示的部分傳感器信息。

Tips：

官網(wǎng)提供了該庫的源碼下載，你只需要在你的工程中導(dǎo)入 .cpp 和 .h 文件即可。跟著官網(wǎng)提供的 tutorials 學(xué)習(xí)，可以快速上手。對(duì)照著 example 中的例程寫代碼，可以快速把自己的數(shù)據(jù)變成可視化圖像。

LCM（Lightweight Communications and Marshalling）

團(tuán)隊(duì)開發(fā)軟件必然存在程序（多進(jìn)程）的通信問題，多進(jìn)程通信的方式很多，也各有優(yōu)缺點(diǎn)，使用起來就見仁見智了。2014 年 12 月 MIT 公布了他們在美國 DARPA 機(jī)器人挑戰(zhàn)賽中使用到的信號(hào)傳輸機(jī)制 LCM，出處：MIT releases LCM driver for MultiSense SL。

LCM 含多種語言如 java,c++ 等專門針對(duì)實(shí)時(shí)系統(tǒng)在高帶寬和低的延遲的情況下進(jìn)行消息發(fā)送和數(shù)據(jù)封送處理。它提供了一個(gè)發(fā)布/訂閱消息模型、自動(dòng)封裝/解封代碼生成工具含多種編程語言版本。這個(gè)模式和 ROS 現(xiàn)在節(jié)點(diǎn)間的通信方式很類似。

Tips：

LCM 兩個(gè)進(jìn)程間通信的 demo 官網(wǎng)上有源代碼，按照官網(wǎng)上的 tutorial 就能快速建立屬于你自己的 LCM 通信機(jī)制。

官方網(wǎng)站：LCM Projcect

Git & Github

Git 是團(tuán)隊(duì)開發(fā)不可缺少的版本控制工具，大家在寫論文時(shí)肯定每天一個(gè)版本，如果沒有特別標(biāo)注每個(gè)版本改了些什么時(shí)間久了就會(huì)忘記。寫代碼更是如此。

使用 Git 可以極大地提高多人開發(fā)的效率，而且版本管理規(guī)范，代碼追溯起來十分方便。

Github 在軟件開發(fā)領(lǐng)域如雷貫耳，需要某些代碼時(shí)，直接上去搜索即可。

Tips：

目前世面上介紹 Git 的書，讓人看起來十分吃力，而且對(duì)細(xì)枝末節(jié)的東西介紹地太過深入，讓人無法快速上手。

于是我要強(qiáng)烈推薦 Git 入門的教程：廖雪峰的 Git 教程，淺顯易懂，而且還配合圖文+視頻，簡直良心。

以上基本介紹完了，掌握好這些東西，你就變成無人駕駛領(lǐng)域的老司機(jī)了。