英偉達(dá)在今年的秋季GTC大會(huì)上發(fā)布了下一代自動(dòng)駕駛芯片Thor，再次點(diǎn)燃了自動(dòng)駕駛算力比拼的導(dǎo)火索。我們已經(jīng)看到國(guó)內(nèi)汽車市場(chǎng)中，蔚來(lái)、智已、飛凡等廠商積極在新車型上集成這一代Orin芯片，Thor能收獲怎樣的市場(chǎng)反響已經(jīng)可以預(yù)知。其實(shí)英偉達(dá)所做的遠(yuǎn)不止于此，他們的王牌是一整套DRIVE自動(dòng)駕駛軟硬件生態(tài)。

從車端到云端

NAD是蔚來(lái)打造的全棧自動(dòng)駕駛方案，在車身的Aquila超級(jí)傳感系統(tǒng)上，蔚來(lái)選擇了33個(gè)高性能的傳感單元，包括7個(gè)800萬(wàn)像素的高分辨率攝像頭、4個(gè)300萬(wàn)像素的環(huán)視專用攝像頭、1個(gè)1550nm的超長(zhǎng)測(cè)距激光雷達(dá)、5個(gè)毫米波雷達(dá)、12個(gè)USS超聲波傳感器、兩個(gè)高精度定位單元（GNSS+IMU）、1個(gè)V2X和一個(gè)ADMS。

然而，這樣龐大的傳感系統(tǒng)，也帶來(lái)了更大的數(shù)據(jù)吞吐量，根據(jù)蔚來(lái)的說(shuō)明，Aquila每秒要傳輸8GB的數(shù)據(jù)。要完成如此規(guī)模的數(shù)據(jù)計(jì)算量，車身上必須具備強(qiáng)大的算力，所以蔚來(lái)的Adam超級(jí)計(jì)算系統(tǒng)配置了4個(gè)英偉達(dá)DriveOrin，將算力提高至1016TOPS，以滿足自動(dòng)駕駛的計(jì)算要求。
但自動(dòng)駕駛從來(lái)都不只是車端的工作，如何訓(xùn)練并利用這些得到的數(shù)據(jù)，提高自動(dòng)駕駛算法的可靠性，才是廠商們需要持續(xù)發(fā)力的工作。這里我就拿大家最關(guān)注的一個(gè)功能來(lái)分析一下，AEB緊急制動(dòng)功能。

蔚來(lái)稱在研發(fā)初期，他們需要在10天內(nèi)制作出100萬(wàn)個(gè)數(shù)據(jù)分布較好的高質(zhì)量素材，以求滿足最低的精度和時(shí)延要求。后續(xù)就要在英偉達(dá)的GPU上跑AI負(fù)載，這個(gè)過(guò)程需要200個(gè)GPU整整運(yùn)行3個(gè)月。

除了訓(xùn)練以外，為了確保NAD在引入新改進(jìn)后既能解決相應(yīng)的問(wèn)題，又不會(huì)引入新的問(wèn)題，蔚來(lái)還基于英偉達(dá)的開(kāi)源推理服務(wù)器軟件Triton打造了一套高性能的推理服務(wù)，每天開(kāi)展10萬(wàn)個(gè)推理任務(wù)，用于數(shù)據(jù)挖掘、仿真和回歸測(cè)試等。

值得一提的是，目前蔚來(lái)的NAD尚未正式投入使用，不少人都想知道他們與其他競(jìng)爭(zhēng)對(duì)手公司的自動(dòng)駕駛系統(tǒng)有何差距。不過(guò)蔚來(lái)表示，他們的產(chǎn)品團(tuán)隊(duì)正在測(cè)試NAD與其他自動(dòng)駕駛方案的性能對(duì)比，待報(bào)告完成后會(huì)公開(kāi)分享出來(lái)。

合成數(shù)據(jù)加速自動(dòng)駕駛開(kāi)發(fā)

打從一開(kāi)始，我們都對(duì)合成數(shù)據(jù)有著或多或少的偏見(jiàn)，認(rèn)為這是假數(shù)據(jù)，怎么能用在以安全為第一要義的自動(dòng)駕駛中呢？但事實(shí)上，在物理屬性準(zhǔn)確的合成數(shù)據(jù)下，我們甚至可以將其看作是罕見(jiàn)的真實(shí)數(shù)據(jù)。

就拿車禍來(lái)說(shuō)，盡管這是常見(jiàn)道路情況之一，但相對(duì)正常駕駛的數(shù)據(jù)來(lái)說(shuō)，采集到的真實(shí)車禍數(shù)據(jù)在數(shù)量上肯定是遠(yuǎn)遠(yuǎn)不及的，更別說(shuō)拿來(lái)做仿真訓(xùn)練了，在汽車試驗(yàn)場(chǎng)中測(cè)出來(lái)的車禍數(shù)據(jù)也難以代表真實(shí)路況數(shù)據(jù)。至于那些更稀少但又并非不存在的情況，比如貨箱、輪胎脫落等，也都是會(huì)對(duì)自動(dòng)駕駛場(chǎng)景造成干擾的。
英偉達(dá)DRIVE Sim中的DRIVE Replicator就為開(kāi)發(fā)者提供了一個(gè)生成各種合成數(shù)據(jù)集，并具備真值標(biāo)簽的平臺(tái)，為訓(xùn)練和驗(yàn)證一個(gè)覆蓋全場(chǎng)景的自動(dòng)駕駛算法提供幫助。至于合成數(shù)據(jù)中常見(jiàn)的數(shù)據(jù)偏見(jiàn)問(wèn)題，DRIVE Replicator提供了隨機(jī)化引擎，通過(guò)泛化來(lái)讓虛擬域的數(shù)據(jù)盡可能涵蓋到真實(shí)域。DRIVE Sim的場(chǎng)景編輯已經(jīng)實(shí)現(xiàn)了相當(dāng)優(yōu)秀的隨機(jī)化，比如借助SimReadyAPI實(shí)時(shí)改變自然/人工光線、路況天氣等等。

除此之外DRIVE Replicator還可以通過(guò)PythonAPI對(duì)USD模型和屬性實(shí)現(xiàn)直接控制來(lái)完成隨機(jī)化，比如隨機(jī)將一個(gè)包含動(dòng)量數(shù)據(jù)的物體隔空生成在路面上。盡管這已經(jīng)超出了真實(shí)的范疇，但這對(duì)于訓(xùn)練自動(dòng)駕駛算法對(duì)于VRU（弱勢(shì)道路使用者）的識(shí)別相當(dāng)有用，比如突然出現(xiàn)在汽車后方的小孩等。

至于傳感器的仿真建模，英偉達(dá)也已經(jīng)在著手打造自己的一套驗(yàn)證系統(tǒng)，以求在真實(shí)環(huán)境和仿真環(huán)境中，得到相匹配的傳感器數(shù)據(jù)，比如攝像頭在麥克佩斯色卡下展現(xiàn)與真實(shí)環(huán)境一樣的色彩和亮度。

DRIVE SIM——英偉達(dá)在自動(dòng)駕駛仿真上的CUDA？

可能從多數(shù)人的視角看來(lái)，英偉達(dá)在汽車上的動(dòng)作僅僅支持推出自動(dòng)駕駛芯片而已，就像大多數(shù)車廠在發(fā)布會(huì)上提及的那樣，新車型搭載了哪些芯片等等。但事實(shí)上英偉達(dá)對(duì)自動(dòng)駕駛技術(shù)的投入遠(yuǎn)不只有芯片，英偉達(dá)已經(jīng)基于Omniverse這一技術(shù)底座，打造了DRIVE Sim這樣一個(gè)龐大的互通仿真平臺(tái)。這對(duì)于汽車廠商來(lái)說(shuō)具有很重要的意義，因?yàn)椴粌H是造車新勢(shì)力，老牌車廠也享受到了英偉達(dá)提供的自動(dòng)駕駛開(kāi)發(fā)工作流帶來(lái)的便利。
比如蔚來(lái)等一眾造車新勢(shì)力，他們?cè)谧詣?dòng)駕駛傳感器的選擇上是相當(dāng)多樣化的，而英偉達(dá)的DRIVE Sim已經(jīng)通過(guò)一系列API加入了對(duì)通用和Hyperion傳感器套件的配置和擴(kuò)展，無(wú)疑極大地減輕汽車廠商的開(kāi)發(fā)工作量。而傳感器廠商也在積極加入對(duì)DRIVE Sim的支持，諸如索尼、禾賽和Luminar等等。一是他們也沒(méi)有這么多精力來(lái)打造這樣一個(gè)互通的開(kāi)發(fā)生態(tài)，二是英偉達(dá)在提供傳感器開(kāi)發(fā)自由度的同時(shí)，也給到了對(duì)專有IP的保護(hù)，因?yàn)橛ミ_(dá)并不需要知道這些傳感器的實(shí)現(xiàn)方式。

而這樣一個(gè)軟件生態(tài)卻又與英偉達(dá)的硬件息息相關(guān)，甚至在新發(fā)布的L40等硬件上能發(fā)揮出更大的優(yōu)勢(shì)，似乎又一個(gè)CUDA生態(tài)呼之欲出，而這次是出現(xiàn)在自動(dòng)駕駛上。不由得讓人佩服起英偉達(dá)，在這些TO B產(chǎn)品的軟硬件生態(tài)融合上，他們確實(shí)是無(wú)可匹敵的。