本期，將與大家分享百度Apollo L4級(jí)別自動(dòng)駕駛系統(tǒng)在高精地圖方面的進(jìn)展和相關(guān)的內(nèi)容。話不多說(shuō)，歡迎各位開(kāi)發(fā)者一起進(jìn)入進(jìn)階課程第6期。

SAE的自動(dòng)駕駛分級(jí)

美國(guó)國(guó)家交通安全管理局將自動(dòng)駕駛分為五個(gè)等級(jí)。SAE（SAE International, Society of Automotive Engineers 國(guó)際自動(dòng)機(jī)工程師學(xué)會(huì)）將自動(dòng)駕駛分成六個(gè)等級(jí)，國(guó)內(nèi)廣泛接受SAE的六等級(jí)分類(lèi)方法。

在SAE的六等級(jí)分類(lèi)方法中，L0級(jí)別是人類(lèi)駕駛，L1到L3級(jí)別是輔助駕駛，L3以上是自動(dòng)駕駛。

在L1—L3輔助駕駛級(jí)別，常見(jiàn)的很多車(chē)型都已經(jīng)配備其中的一些功能，比如偏離預(yù)警、碰撞預(yù)警和自適應(yīng)巡航等。

L3級(jí)別以上的自動(dòng)駕駛研發(fā)是現(xiàn)在Apollo正在做的事情，百度內(nèi)部本身分L3和L4。

L3級(jí)別基本上已達(dá)到一定程度上的自動(dòng)駕駛，它不需要車(chē)輛駕駛員來(lái)關(guān)注環(huán)境，只需要在緊急情況下接管；L4級(jí)別則可在限定區(qū)域下完全做到自動(dòng)駕駛。

L5級(jí)別可能是比較遙遠(yuǎn)的狀態(tài)?，F(xiàn)在有些廠商宣稱(chēng)L5級(jí)別自動(dòng)駕駛可以做到完全沒(méi)有人員操控，車(chē)輛能處理所有的情況。

但這需要依賴于技術(shù)能夠發(fā)展到非常好的階段，到時(shí)候所有的道路情況車(chē)輛才能理解和處理。

從分類(lèi)等級(jí)里面可以看到，L3級(jí)別以下不需要高精地圖，但在L3、L4級(jí)別，高精地圖是標(biāo)配。

發(fā)展到L5階段是否需要高精地圖？到目前為止還不確定。在目前的情況下，如果沒(méi)有高精地圖，L3、L4級(jí)別的自動(dòng)駕駛很難實(shí)現(xiàn)。

高精地圖的定義

傳統(tǒng)地圖的技術(shù)不是不精確，而是尚未達(dá)到自動(dòng)駕駛的需求。

用于L3、L4級(jí)別自動(dòng)駕駛的高精地圖，對(duì)整個(gè)道路的描述更加準(zhǔn)確、清晰和全面。高精地圖除了傳統(tǒng)地圖的道路級(jí)別，還有道路之間的連接關(guān)系，專(zhuān)業(yè)術(shù)語(yǔ)叫Link。

高精地圖最主要的特征是需要描述車(chē)道、車(chē)道的邊界線、道路上各種交通設(shè)施和人行橫道。

即它把所有東西、所有人能看到的影響交通駕駛行為的特性全部表述出來(lái)。

第二個(gè)特征是實(shí)時(shí)性。實(shí)時(shí)性是非常關(guān)鍵的指標(biāo)，因?yàn)樽詣?dòng)駕駛完全依賴于車(chē)輛對(duì)于周?chē)h(huán)境的處理，如果實(shí)時(shí)性達(dá)不到要求，可能在車(chē)輛行駛過(guò)程中會(huì)有各種各樣的問(wèn)題及危險(xiǎn)。

高精地圖更類(lèi)似于自動(dòng)駕駛的專(zhuān)題組，但國(guó)內(nèi)可能為了稱(chēng)謂方便還是稱(chēng)它為高精地圖。高精地圖并不是特指精度，它在描述上更加的全面，對(duì)實(shí)時(shí)性的要求更高。

導(dǎo)航地圖與高精地圖的差別

左邊是我們經(jīng)常用到的一些電子導(dǎo)航地圖，它的表述形式傾向“有向圖”結(jié)構(gòu)，把道路抽象成一條條的邊，各邊連通關(guān)系構(gòu)成整體上的有向圖。這類(lèi)似百度地圖、高德地圖、谷歌地圖的做法。

導(dǎo)航地圖只是給駕駛員提方向性的引導(dǎo)。識(shí)別標(biāo)志標(biāo)牌、入口復(fù)雜情況、行人等都是由駕駛員來(lái)完成，地圖只是引導(dǎo)作用。導(dǎo)航地圖是根據(jù)人的行為習(xí)慣來(lái)設(shè)計(jì)的。

高精地圖完全為機(jī)器設(shè)計(jì)的。因?yàn)閷?duì)于道路的各種情況、人都能理解，但是對(duì)于車(chē)輛來(lái)說(shuō)它完全不理解。

右邊的圖是比較典型的復(fù)雜路口，包括人行橫道、紅綠燈、限速標(biāo)牌、車(chē)道左轉(zhuǎn)右轉(zhuǎn)類(lèi)型。

我們可以看到圖中的路口中間有虛擬的連接線。真實(shí)道路中不存在連接線。連接線是為了讓車(chē)輛更好的去理解環(huán)境，并在高精地圖上表示出來(lái)。通過(guò)這一步，在人類(lèi)構(gòu)建的交通設(shè)施環(huán)境下，自動(dòng)駕駛車(chē)輛便能運(yùn)行。

自動(dòng)駕駛領(lǐng)域?qū)δ苣K的劃分

高精地圖可以作為自動(dòng)駕駛的「大腦」?！复竽X」里面最主要是地圖、感知、定位、預(yù)測(cè)、規(guī)劃、安全。綜合處理成自動(dòng)駕駛車(chē)輛能接受的外部信息，并統(tǒng)一運(yùn)行在實(shí)時(shí)的操作系統(tǒng)上。

ROS是業(yè)界普遍接受的實(shí)時(shí)操作系統(tǒng)，百度內(nèi)部也在研發(fā)自己的操作系統(tǒng)。

編者注：

在2019CES的Apollo 3.5發(fā)布會(huì)上，Apollo正式發(fā)布首個(gè)自動(dòng)駕駛高性能開(kāi)源計(jì)算框架 Cyber RT。

Apollo Cyber RT系統(tǒng)是 Apollo 開(kāi)源軟件平臺(tái)層的一部分，作為運(yùn)行時(shí)計(jì)算框架，處于實(shí)時(shí)操作系統(tǒng) (RTOS) 和應(yīng)用模塊之間。

Apollo Cyber RT作為基礎(chǔ)平臺(tái)，支持流暢高效的運(yùn)行所有應(yīng)用模塊。

車(chē)上配備的傳感器類(lèi)似于人的感知系統(tǒng)，用來(lái)感知外部環(huán)境；自動(dòng)駕駛車(chē)輛會(huì)把感知的結(jié)果通過(guò)「大腦」處理后發(fā)送給控制系統(tǒng)。

HMI人機(jī)交互接口前期主要用于內(nèi)部調(diào)試，后期當(dāng)自動(dòng)駕駛車(chē)輛量產(chǎn)后，需要用戶輸入目的地等信息。

因此，高精地圖對(duì)于感知、定位、規(guī)劃、決策、仿真和安全都是不可缺少的。

下面讓我們來(lái)逐一了解高精地圖模塊與其他模塊之間的關(guān)系。

視覺(jué)與高精地圖結(jié)合是比較典型的視覺(jué)定位方法

現(xiàn)在主流的自動(dòng)駕駛的定位方案有兩種：一種是基于點(diǎn)云，另一種是基于Camera。其本身都是一種對(duì)周?chē)h(huán)境的感知。

感知后是Feature提取，提取之后可以通過(guò)特征匹配最終得到精確結(jié)果。

自動(dòng)駕駛車(chē)輛在路口“看”到建筑物，然后通過(guò)激光雷達(dá)能搜到點(diǎn)云的信息，通過(guò)點(diǎn)云的特征提取，然后通過(guò)復(fù)雜的組合變換、視角變換，最終通過(guò)跟周?chē)h(huán)境的比對(duì)能得到比較準(zhǔn)確的定位坐標(biāo)。

目前主流Camera定位的視覺(jué)方案，會(huì)實(shí)時(shí)做LocationFeature的提取。在HDMap里面也存儲(chǔ)了對(duì)應(yīng)的一些Location相關(guān)的特征。經(jīng)過(guò)兩個(gè)提取特征的比較后可以得到相對(duì)準(zhǔn)確的定位位置信息。

Camera下有GNSS，雷達(dá)也有。有初值之后可以減少搜索的范圍，在工程上可以搜到更好的結(jié)果。

路邊特征/車(chē)道線對(duì)比

左側(cè)「路邊的特征」圖片是我們利用粒子濾波提取路邊特征的演示。

車(chē)輛在初始位置時(shí)，Camera可以觀測(cè)到在它左邊有一棵樹(shù)。這棵樹(shù)可能是高精地圖的Feature，通過(guò)Feature我們知道車(chē)輛可能的位置。

下一刻，Camera觀測(cè)到它右邊又有一棵樹(shù)。通過(guò)這兩個(gè)Feature的比對(duì)，再通過(guò)概率性疊加計(jì)算，幾次迭代后就可以大概確定車(chē)輛所在道路的位置。

道路上的Feature是非常多的，除了樹(shù)以外，也可能是車(chē)道線。

右側(cè)「道路車(chē)道線」圖片是基于車(chē)道線的匹配情況演示。通過(guò)Camera、DeepLearning和實(shí)時(shí)的檢測(cè)模塊，系統(tǒng)能夠?qū)崟r(shí)地檢測(cè)到車(chē)道線。

從右圖可以看出左邊的車(chē)道線匹配情況不太好，右邊的車(chē)道線匹配比較好，這時(shí)候能大概的確定我們?cè)谟疫呠?chē)道線對(duì)應(yīng)的相關(guān)位置。

高精地圖里面由定位提供的Feature有很多，例如電線桿、車(chē)道線、停止線和人行橫道等都能提供很多的約束信息。

超距離感知、障礙物感知與紅綠燈感知

自動(dòng)駕駛車(chē)輛搭載的傳感器類(lèi)型有很多。但64線激光雷達(dá)、Camera和Radar等傳感器都有一定局限性。

64線激光雷達(dá)號(hào)稱(chēng)有一百米的檢測(cè)距離。但實(shí)踐中超過(guò)60米之后，點(diǎn)云本身已非常稀疏，60米外檢測(cè)的可信度會(huì)繼續(xù)下降。

自動(dòng)駕駛車(chē)輛在行駛中如果遭遇灑水車(chē)，或者碰到霧霾天氣，對(duì)激光雷達(dá)的檢測(cè)可信度也會(huì)有很大影響。

Camera的局限更大，在夜間、逆光的情況下很難達(dá)到非常好的視覺(jué)效果。

Radar的穿透能力很強(qiáng)，但精度不高。

所以基于這些傳感器本身的局限性，高精地圖能夠提供非常大的幫助。

開(kāi)發(fā)者可以把高精地圖看作是離線的傳感器，在高精地圖里，道路元素的位置都被標(biāo)注好了。

由于物體的遮擋影響，自動(dòng)駕駛車(chē)輛在某些地方看不到左下側(cè)/比較遠(yuǎn)的紅綠燈。

在高精地圖里提前標(biāo)注紅綠燈的三維空間位置后，感知模塊就可以提前做針對(duì)性的檢測(cè)。

這樣做不僅可以減少感知模塊的工作量，而且可以解決DeepLearning的部分缺陷。識(shí)別可能會(huì)有些誤差，但先驗(yàn)之后可提高識(shí)別率。

高精地圖可以幫助車(chē)輛做到先驗(yàn)信息/軌跡約束/預(yù)測(cè)選擇

規(guī)劃、預(yù)測(cè)和決策也是自動(dòng)駕駛里非常重要的模塊。

「規(guī)劃模塊」完成的工作主要有兩個(gè)：第一是A點(diǎn)到B點(diǎn)的長(zhǎng)距離規(guī)劃；第二個(gè)是短距離規(guī)劃。

自動(dòng)駕駛車(chē)輛在行駛過(guò)程中面臨動(dòng)態(tài)環(huán)境。其中包括道路交通的參與者，比如其他車(chē)輛和行人。我們要根據(jù)障礙物的實(shí)時(shí)位置及時(shí)地做局部規(guī)劃。

在Apollo源碼里有Planning的模塊，是用來(lái)專(zhuān)門(mén)研究規(guī)劃的。

有了以上兩個(gè)層面的規(guī)劃之后，還需要預(yù)測(cè)?！割A(yù)測(cè)模塊」的作用是把其他道路參與者的可能行駛的路徑軌跡和行動(dòng)預(yù)測(cè)出來(lái)。

「決策模塊」主要是根據(jù)規(guī)劃和預(yù)測(cè)的結(jié)果決定自動(dòng)駕駛車(chē)輛是跟車(chē)、超車(chē)還是在紅綠燈燈前停下等決策。

「控制模塊」是把決策結(jié)果分解為一系列的控制行動(dòng)，然后分發(fā)給控制模塊執(zhí)行。

從以上分析可以看到，規(guī)劃、預(yù)測(cè)、決策和控制的每個(gè)步驟都與高精地圖有密切的關(guān)系。

高精地圖的規(guī)劃是Lean級(jí)別的，傳統(tǒng)導(dǎo)航只需知道點(diǎn)到點(diǎn)的信息。對(duì)于高精地圖而言，規(guī)劃需要知道從哪個(gè)Lean到哪個(gè)Lean，是一系列Lean的序列。

規(guī)劃的第二個(gè)層次是Planning。

在軌跡約束中，經(jīng)高精地圖運(yùn)算后，自動(dòng)駕駛車(chē)輛避讓時(shí)會(huì)清楚地知道目的地在哪/怎么選，并提供可行的解空間。

預(yù)測(cè)的體系比較復(fù)雜，但底層仍依賴于高精地圖。

例如，自動(dòng)駕駛車(chē)輛「看到」其他車(chē)輛在左轉(zhuǎn)車(chē)道上，系統(tǒng)會(huì)預(yù)測(cè)此車(chē)輛很大概率上要左轉(zhuǎn)；若是「看到」其他車(chē)輛在右轉(zhuǎn)車(chē)道上，系統(tǒng)會(huì)預(yù)測(cè)此車(chē)輛很大概率上要右轉(zhuǎn)；「看到」行人在人行橫道上，這時(shí)候紅綠燈是綠的，系統(tǒng)則預(yù)測(cè)行人要過(guò)馬路。

以上便是高精地圖給規(guī)劃、預(yù)測(cè)和決策模塊提供先驗(yàn)的知識(shí)，高精地圖能夠讓車(chē)輛「決策」更加準(zhǔn)確。

自動(dòng)駕駛車(chē)輛聯(lián)網(wǎng)后，遭受攻擊無(wú)可避免

自動(dòng)駕駛的主要目標(biāo)是能夠取代人類(lèi)司機(jī)，能夠取代的前提是自動(dòng)駕駛車(chē)輛必須足夠的安全。

安全的維度有很多。駕駛算法的穩(wěn)定性和對(duì)場(chǎng)景的處理能力也屬于安全范疇。

今天我們著重講安全模塊與高精地圖的關(guān)系。

自動(dòng)駕駛車(chē)輛有很多傳感器，當(dāng)自動(dòng)駕駛車(chē)輛上路之后，會(huì)出現(xiàn)很多質(zhì)疑的聲音。

聯(lián)網(wǎng)的自動(dòng)駕駛車(chē)輛可能被攻擊。因?yàn)樗械臇|西一旦聯(lián)網(wǎng)，就存在各種各樣的隱患。

自動(dòng)駕駛車(chē)輛可能遭受4個(gè)維度的攻擊：傳感器、操作系統(tǒng)、控制系統(tǒng)和通信系統(tǒng)。

傳感器是自動(dòng)駕駛車(chē)輛輛上通用的模塊，相當(dāng)于IMU慣性測(cè)量單元，它對(duì)于磁場(chǎng)是非常敏感，如果我們?cè)谲?chē)輛周?chē)乓恍?qiáng)磁場(chǎng)，會(huì)影響它測(cè)量的準(zhǔn)確度。

輪速器也有風(fēng)險(xiǎn)。車(chē)輪變形和損壞都會(huì)影響測(cè)量精度。

激光雷達(dá)依賴于激光反射。如果我們?cè)谥車(chē)h(huán)境上加載人工的反射物或假的紅綠燈，就會(huì)讓我們的車(chē)直接停下。假的GPS信號(hào)和激光也會(huì)對(duì)系統(tǒng)造成干擾。

定位模塊依賴于高精地圖提供的信息來(lái)做運(yùn)動(dòng)學(xué)的約束；激光雷達(dá)依賴高精地圖做一些三維點(diǎn)的掃描。

Apollo提供的定位方案基于激光雷達(dá)反射值。反射值不準(zhǔn)確就會(huì)對(duì)定位精度有影響，紅綠燈對(duì)規(guī)劃決策控制也有很大的影響。

針對(duì)任何一種攻擊，目前來(lái)說(shuō)，還很難有全面有效的方法來(lái)防止問(wèn)題發(fā)生。

高精地圖能在這里面起什么作用？

高精地圖能提供離線的標(biāo)準(zhǔn)信息。比如說(shuō)，激光雷達(dá)在場(chǎng)景中掃描到物體，通過(guò)與高精地圖中的信息進(jìn)行對(duì)比匹配。如果結(jié)果不一致，我們可以大概率地認(rèn)為此地有問(wèn)題，這就是通過(guò)多傳感器的融合來(lái)解決安全問(wèn)題。

仿真系統(tǒng)是自動(dòng)駕駛非常重要的模塊

自動(dòng)駕駛車(chē)輛的成本很高。車(chē)輛的成本幾十萬(wàn)，64線激光雷達(dá)的成本在8萬(wàn)美元。

實(shí)際情況中，開(kāi)發(fā)者很難把所有的策略迭代都放在車(chē)上去測(cè)試，所以需要非常強(qiáng)大的仿真系統(tǒng)。

仿真的主要問(wèn)題是「真實(shí)」，怎樣做到「真實(shí)」？

Apollo的仿真系統(tǒng)主要是基于高精地圖/真實(shí)場(chǎng)景來(lái)構(gòu)建。仿真場(chǎng)景回放后，和真實(shí)上路的實(shí)際情況相比，可以基本保證Gap不會(huì)很大。

在實(shí)際測(cè)試的過(guò)程中，Apollo的測(cè)試人員也會(huì)錄一些Bag，記錄實(shí)測(cè)中遇到的一些問(wèn)題，并放到仿真系統(tǒng)里去做測(cè)試。

高精地圖為仿真地圖提供了最底層的基礎(chǔ)結(jié)構(gòu)，能讓仿真系統(tǒng)更好的去模擬真實(shí)道路的場(chǎng)景。

沒(méi)有高精地圖的高可靠性，L3/L4自動(dòng)駕駛無(wú)法落地。

高精地圖可將人類(lèi)經(jīng)驗(yàn)賦予自動(dòng)駕駛系統(tǒng)

上圖是幾個(gè)非常典型的、難理解的場(chǎng)景。

第一是在重慶的某地。路網(wǎng)非常復(fù)雜，我們目前的技術(shù)從算法層面無(wú)法理解如此復(fù)雜的交通場(chǎng)景。

第二個(gè)是雪天。雪天是非常難解的場(chǎng)景，雪天時(shí)路上的車(chē)道線全部被蓋住了，不管是基于視覺(jué)還是雷達(dá)都無(wú)法正常運(yùn)行。

2018年谷歌IO大會(huì)上提出了通過(guò)深度學(xué)習(xí)能夠解決雪天的場(chǎng)景。在下雪過(guò)程中，激光雷達(dá)在掃描到雪花之后會(huì)誤報(bào)出很多障礙物，通過(guò)深度學(xué)習(xí)能夠把激光雷達(dá)上檢測(cè)到的雪花障礙物過(guò)濾掉，最終得到跟沒(méi)有下雪的場(chǎng)景一樣，但是具體效果怎么樣，并沒(méi)有具體的數(shù)據(jù)披露。

第三個(gè)是復(fù)雜的紅綠燈，這種紅綠燈即使人看到也不知該如何處理。

高精地圖是靜態(tài)的Perception。機(jī)器理解不了，我們可以把人理解的經(jīng)驗(yàn)賦予給駕駛系統(tǒng)，相當(dāng)于把人的經(jīng)驗(yàn)傳授給它。

高精地圖可以彌補(bǔ)系統(tǒng)性缺陷

自動(dòng)駕駛需要非常復(fù)雜的計(jì)算系統(tǒng)，4G的傳輸速度并不能滿足現(xiàn)階段自動(dòng)駕駛的海量數(shù)據(jù)傳輸需求。

64線激光雷達(dá)、Camera和其他傳感器，每時(shí)每刻都會(huì)產(chǎn)生巨量的數(shù)據(jù)，這些數(shù)據(jù)不能傳回云端，就不能采用互聯(lián)網(wǎng)的模式：通過(guò)云端計(jì)算把結(jié)果發(fā)送給終端。

5G是否能達(dá)到數(shù)據(jù)傳輸?shù)囊筮€需要再驗(yàn)證。目前從5G的宣傳層面來(lái)看，能夠達(dá)到數(shù)據(jù)實(shí)時(shí)傳輸?shù)男Ч?，但?G的普及還需要時(shí)間。所以我們現(xiàn)在把大量的數(shù)據(jù)都放在終端。

Apollo的自動(dòng)駕駛車(chē)輛后面有非常大的計(jì)算單元?；?a href="http://www.delux-kingway.cn/tags/英特爾/" target="_blank">英特爾工控機(jī)，Apollo把所有的計(jì)算都放在車(chē)上，這會(huì)對(duì)計(jì)算速度和實(shí)時(shí)性有很大的影響。

我們希望Apollo的各模塊都能達(dá)到實(shí)時(shí)級(jí)的響應(yīng)，但是自動(dòng)駕駛車(chē)輛的計(jì)算量太大，想要達(dá)到實(shí)時(shí)級(jí)的響應(yīng)，仍需其他模塊的輔助。

舉個(gè)例子，高精地圖告訴感知/控制模塊，在你的雙向通行的車(chē)道中有柵欄隔離，對(duì)向車(chē)道的車(chē)不可能過(guò)來(lái)，系統(tǒng)就可以放棄檢測(cè)對(duì)向車(chē)道上的障礙物，有效地降低系統(tǒng)負(fù)擔(dān)。

傳感器有局限，但高精地圖給自動(dòng)駕駛提供了超視覺(jué)、超過(guò)傳感器邊界的遠(yuǎn)距離感知。