自動駕駛系統(tǒng)通常采用分階段模塊化的設(shè)計(jì)，即感知、預(yù)測、規(guī)劃等模塊相互解耦，獨(dú)立優(yōu)化。而端到端方案基于數(shù)據(jù)驅(qū)動的方式優(yōu)化整個(gè)系統(tǒng)，打通了各個(gè)模塊的壁壘，并減少了繁瑣的后處理，具有很高的研究價(jià)值。

在ICCV 2023.上， 地平線和華中科技大學(xué)提出基于矢量化場景表征的端到端自動駕駛算法一VAD.VAD擯棄了柵格化表征，對整個(gè)駕駛場景進(jìn)行矢量化建模，并利用矢量環(huán)境信息對自車規(guī)劃軌跡進(jìn)行約束。研究顯示，相比于之前的方案，VAD在規(guī)劃性能和推理速度上具有明顯的優(yōu)勢。

自動駕駛系統(tǒng)通常采用分階段模塊化的設(shè)計(jì)，即感知、預(yù)測、規(guī)劃等模塊相互解耦，獨(dú)立優(yōu)化。但對于模塊化方案，模塊間無法協(xié)同優(yōu)化，存在誤差累積，感知的漏檢誤檢將會影響規(guī)劃的安全性。近年來，端到端自動駕駛逐漸受到業(yè)界的關(guān)注。端到端方案基于數(shù)據(jù)驅(qū)動的方式優(yōu)化整個(gè)系統(tǒng)，打通了各個(gè)模塊的壁壘，并減少了繁瑣的后處理，具有很高的研究價(jià)值。然而，之前的端到端方案往往基于柵格化的環(huán)境表征（如圖1）。這種密集的表征不具備高層級的語義信息，并且需要較高的計(jì)算代價(jià)。

在ICCV 2023上，地平線和華中科技大學(xué)提出基于矢量化場景表征的端到端自動駕駛算法——VAD。VAD擯棄了柵格化表征，對整個(gè)駕駛場景進(jìn)行矢量化建模（如圖2），并利用矢量環(huán)境信息對自車規(guī)劃軌跡進(jìn)行約束。相比于之前的方案，VAD在規(guī)劃性能和推理速度上具有明顯的優(yōu)勢。VAD的源碼已開源，以促進(jìn)該領(lǐng)域后續(xù)的研究。

圖1 ?柵格化場景表征

圖2 矢量化場景表征

VAD架構(gòu)：基于Transformer

的端到端模型

圖3 VAD模型框架

VAD基于統(tǒng)一的Transformer結(jié)構(gòu)（如圖3所示）。BEV Encoder用于編碼輸入的環(huán)視圖像，并將其轉(zhuǎn)化為鳥瞰圖視角（BEV）下的特征圖；Vectorized Motion Transformer提取場景中的動態(tài)目標(biāo)信息，實(shí)現(xiàn)動態(tài)目標(biāo)檢測和矢量化的軌跡預(yù)測；Vectorized Map Transformer提取場景中矢量化的靜態(tài)元素信息（如車道線，路沿和人行道）；Planning Transformer以隱式的動靜態(tài)場景特征作為輸入，提取其中與駕駛決策規(guī)劃相關(guān)的信息，并完成自動駕駛車輛的軌跡規(guī)劃。另外在模型訓(xùn)練階段，VAD基于矢量場景表征，對自車的規(guī)劃軌跡進(jìn)行矢量化約束，從而提升規(guī)劃的安全性。

圖4 基于矢量場景表征的規(guī)劃約束

基于矢量場景表征的規(guī)劃約束

許多先前的工作采用各種后處理策略對規(guī)劃軌跡進(jìn)行優(yōu)化，以提升規(guī)劃安全性。例如，使用占據(jù)圖預(yù)測結(jié)果對規(guī)劃軌跡進(jìn)行微調(diào)，從而使規(guī)劃軌跡位于可行駛區(qū)域內(nèi)。這種方法破壞了模型的端到端學(xué)習(xí)能力，另外，后處理也會帶來額外的計(jì)算開銷，降低模型的推理速度。VAD完全擯棄了后處理策略，而是選擇在訓(xùn)練階段，使用駕駛先驗(yàn)知識優(yōu)化規(guī)劃表現(xiàn)，從而在不引入額外推理計(jì)算開銷的前提下，提升了規(guī)劃的安全性。

自車-他車碰撞約束

基于場景中其他動態(tài)目標(biāo)預(yù)測的矢量化軌跡和自車規(guī)劃軌跡的碰撞約束。VAD將自車安全邊界分解為橫向和縱向的安全距離，當(dāng)規(guī)劃軌跡在任一方向與他車預(yù)測軌跡的距離小于指定的安全閾值時(shí)，則懲罰該軌跡，從而避免自車規(guī)劃軌跡與他車預(yù)測軌跡相交。

自車-邊界越界約束

基于預(yù)測的矢量化邊界線，VAD約束自車規(guī)劃軌跡始終在可行駛區(qū)域內(nèi)。當(dāng)自車規(guī)劃軌跡越出道路邊界線時(shí)，則懲罰該軌跡。

自車-道路方向約束

VAD基于預(yù)測的道路線方向，約束自車規(guī)劃軌跡朝向與道路前進(jìn)方向保持一致。當(dāng)自車規(guī)劃軌跡朝向與道路前進(jìn)方向有較大差異時(shí)，則懲罰該軌跡。

VAD規(guī)劃性能

VAD在nuScenes開環(huán)驗(yàn)證和CARLA閉環(huán)驗(yàn)證中均取得了state-of-the-art的規(guī)劃性能。除此之外，相比之前的方案，VAD大幅提升了模型的推理速度。

表1 nuScenes開環(huán)規(guī)劃性能

表2 CARLA閉環(huán)規(guī)劃性能

總結(jié)與展望

VAD初步探索了基于矢量化場景表征的端到端自動駕駛算法框架。如何將道路拓?fù)浜徒?a href="http://www.delux-kingway.cn/v/tag/1301/" target="_blank">通信息融入這一框架中，并進(jìn)一步提升系統(tǒng)的魯棒性，將是未來重要的研究方向。

編輯：黃飛

?