為研究夜間追尾事故中本車智能防撞預警方法，本文提出了一種基于毫米波雷達和機器視覺的前方車輛檢測方法。利用多傳感器融合數(shù)據(jù)，檢測前方車輛的距離、速度等。建立傳感器之間轉(zhuǎn)換關(guān)系，轉(zhuǎn)換雷達目標的世界坐標到圖像坐標。在圖像上形成感興趣區(qū)域，利用圖像處理方法減少干擾點，運用 Dempster-Shafer（D-S）證據(jù)理論，融合特征信息，得到總的信任度值檢驗感興趣區(qū)域內(nèi)的車輛。實驗采集多段夜間道路行車視頻數(shù)據(jù)，統(tǒng)計實現(xiàn)尾燈識別的幀數(shù)，與主觀判斷進行比較。

結(jié)果表明：該方法能夠?qū)崿F(xiàn)對夜間前方車輛的檢測和定位。道路交通事故中由追尾相撞導致的事故占很大比例，而夜間交通事故尤為嚴重，約占交通事故總數(shù)的 40%。夜間車輛檢測技術(shù)已成為智能車輛安全輔助駕駛系統(tǒng)的重要組成部分，用于準確地識別夜間前方車輛，為駕駛員及時提供前方車輛信息及路況，降低夜間交通事故的發(fā)生 。夜間由于光線強度不夠，大部分白天的車輛特征信息已經(jīng)不可用，因此用于白天的車輛檢測算法基本失效。車輛尾燈是夜間車輛的明顯特征，目前，對于夜間前方車輛檢測識別的研究主要是利用單目視覺傳感器，獲取車輛前方的視覺感知信息，基于圖像信息提取尾燈特征進行前方車輛識別。

機器視覺是一種用于車輛檢測的有效傳感器，但其有一定的局限性，因此有文獻提出綜合考慮激光雷達和機器視覺的信息，進行前方目標車輛檢測。雖然激光雷達和機器視覺在一定程度可以互補，但激光雷達對天氣、燈光、障礙物表面光滑度等干擾非常敏感，不適合復雜道路環(huán)境。由于毫米波雷達不易受外界干擾而且測量的距離精度高，可以準確獲得前方車輛的速度、角度等深度信息。因此，本文提出利用毫米波雷達和機器視覺進行多傳感器數(shù)據(jù)融合，通過先驗知識篩選毫米波雷達探測到的障礙物數(shù)據(jù)，融合雷達數(shù)據(jù)和圖像信息初步確立動態(tài)感興趣區(qū)域（Region of Interest，ROI），在縮小的范圍內(nèi)基于視覺傳感器提取表征車輛的特征，運用 D-S 證據(jù)理論（Dempster-Shafer Evidential Theory）融合信息，減少了計算量和主觀閾值對檢測精確度的影響，提高了執(zhí)行速度和車輛定位的準確性。

01

夜間車輛檢測算法實現(xiàn)

整個過程分為假設產(chǎn)生（Hypothesis Generation，HG）和假設檢驗（Hypothesis Verifcation，HV）兩部分：假設產(chǎn)生過程利用雷達獲取候選目標的的距離、角度、速度等信息，進而得到候選目標的世界坐標，利用攝像機標定原理得到世界坐標與圖像像素坐標的轉(zhuǎn)換關(guān)系，初步確定候選目標在圖像上的區(qū)域，即感興趣區(qū)域 ROI；假設驗證過程是通過改進的自適應閾值確定方法（大津法，OTSU 法）進行圖像分割處理，進而利用圖像處理方法、先驗知識和 D-S 證據(jù)理論對感興趣區(qū)域檢測是否存在車輛特征。

圖 1 夜間前方車輛檢測方法流程圖

算法流程圖如圖 1 所示。

02

假設產(chǎn)生（HG）

2.1 雷達數(shù)據(jù)處理及初選目標的確定

毫米波雷達接收到的是十六進制數(shù)據(jù)，根據(jù)雷達協(xié)議解算數(shù)據(jù)，并提取可以用于車輛檢測的有效信息包括：前方車輛相對于本車的角度、距離、速度、反射強度。在實際測量中，毫米波雷達獲取的信號有一部分是空目標信號、無效目標信號、靜止目標信號，首先要去除這 3 種目標信號的干擾。根據(jù)國家規(guī)定車道寬度設置橫向?qū)挾乳撝?，進行目標與自車的同車道判斷，保留行駛方向距離閾值和相對速度閾值內(nèi)的目標，對篩選出的前方目標由近及遠的原則重新排序，使用同車道近距離原則初選有效目標，如表 1 所示。

表 1 初選有效目標信號

表 1 中：ID 表示雷達檢測得到的目標信號的標準幀號；α、R、Δv 分別為本車與目標信號的相對角度、相對距離、相對速度（?v = v1 - v0，v1 為目標速度，v0 為本車速度）；p 從目標返回信號的強度，即反射率。長距離的毫米波雷達掃描范圍是 1~175 m，中距離是 1~60 m。距離小于 1 m 時雷達就不能識別物體。以避免車輛行駛過程中與前方車輛發(fā)生追尾碰撞為出發(fā)點，在有效目標選擇過程中最關(guān)注的是與本車位于同一車道的前方最近車輛。當 Δv＜0，有出現(xiàn)追尾事故的可能。因此，把雷達掃描近距離 1~60 m 內(nèi)、離本車最近且 Δv＜0 的車輛作為初選目標。

2.2 雷達數(shù)據(jù)和機器視覺的融合

雷達和機器視覺是不同坐標系的傳感器，因此要實現(xiàn)雷達和機器視覺的空間融合，必須建立兩傳感器所在坐標系的轉(zhuǎn)換模型，即雷達坐標與圖像像素坐標之間的轉(zhuǎn)換。雷達坐標系與圖像像素坐標系之間有著密切的聯(lián)系，按照右手系原則建立坐標系，由式 （1）-（2） 確定坐標系之間的空間位置關(guān)系。將世界坐標系中的點 （ XW， YW， ZW ） 變換到圖像像素坐標 （ u， v ），轉(zhuǎn)換公式為：

式中：（ XW， YW， ZW， 1 ）^T 是點的世界坐標，與其對應的攝像機齊次坐標是 （ XC， YC， ZC， 1 ）^T，dx 與 dy 分別表示每個像素在橫、縱軸上的物理單位下的大小，f 是攝像機的焦距，s‘ 表示因攝像機成像平面坐標軸相互不正交引出的傾斜因子（Skew Factor），R 代表旋轉(zhuǎn)矩陣（為一個 3×3 的正交單位矩陣），t 代表平移向量，I 是元素全為 1 的對角矩陣，O=（0， 0， 0）^T。毫米波雷達獲取的前方障礙物信息是在極坐標下的二維信息，將障礙物 P 的極坐標下的二維信息轉(zhuǎn)換到直角坐標系中，雷達坐標系的 X0O0Z0 平面與世界坐標系的 XOZ 平面平行，兩平面之間的距離為 Y0，通過雷達可以得到前方車輛中心點投影到雷達掃射平面內(nèi)的點 P 相對雷達的距離 R 和角度 α，確定點 P 在世界坐標系下的坐標，轉(zhuǎn)換關(guān)系如下：

由雷達獲得前方車輛形心點的輸入，綜合以上建立雷達坐標系和圖像像素坐標系之間的相對關(guān)系，即可獲得前方車輛在像素平面的投影，基于車輛的常用外形（寬高比）投影在像素平面上，建立可以根據(jù)距離變化的動態(tài)感興趣區(qū)域，縮小在圖像上的搜索時間，減少計算量。通過統(tǒng)計發(fā)現(xiàn)一般車輛的寬高比在 0.7~2.0 范圍內(nèi)，常見轎車、運動型多功能車（Sport Utility Vehicle，SUV）、面包車、商用車輛等車型的寬高比在 0.7~1.3 范圍內(nèi)，為了避免后續(xù)尾燈檢測時會遺漏尾燈目標，本文選取常見幾種車型的最大寬高比 W/H=1.3。動態(tài)感興趣區(qū)域的確定如下：

式中：（ x_lt， y_lt ），（ x_rb， y_rb ）分別為動態(tài)感興趣矩形區(qū)域的左上角點和右下角點的像素坐標，（ x， y ）為車輛形心點的像素坐標。

圖 2 雷達掃描圖

圖 3 雷達目標在圖像上的的 ROI 雷達掃描圖如圖 2 所示。雷達坐標系中的目標經(jīng)坐標轉(zhuǎn)換關(guān)系在圖像上形成的感興趣區(qū)域如圖 3 中的 （a） 列所示。動態(tài)感興趣區(qū)域的大小會隨目標的距離發(fā)生變化，以更適合的尺寸截取感興趣區(qū)域圖像進行下一步檢測驗證，縮小了檢測范圍，從而減少計算量提高檢測實時性。獲取的感興趣區(qū)域圖像如圖 3b 列所示。

03

假設驗證（HV）

3.1 圖像分割

前方車輛尾燈對的灰度級與路面及背景的灰度級有明顯區(qū)別，采用閾值分割的方法可以快速準確地將尾燈對分割出來。本文采用改進的 OTSU 算法分割圖像，凸顯出表征車輛特征的尾燈部分。改進的 OTSU 算法是以傳統(tǒng) OTSU 為基礎，從最小灰度值到最大灰度值遍歷，當灰度 T 使得方差 σ^2 = w_0*w_1*（μ_0-μ_1）^2 最大時，再次利用傳統(tǒng) OTSU 對圖像中大于 T 的部分從灰度 T 到最大灰度值遍歷，得到閾值 T0 使大于灰度值 T 的部分的方差最大，提取閾值 T0，用 T0 對感興趣區(qū)域圖像進行二值化分割，目標灰度為 1，背景灰度為 0。

圖 4 分割后圖像 分割后的圖像如圖 4 所示。 3.2?基于圖像形態(tài)學及先驗知識的圖像處理由于噪聲的影響，圖像在閾值化后所得到的邊界往往是很不平滑的，物體區(qū)域具有一些噪聲孔，背景區(qū)域上散布著一些小的噪聲物體，對分割后的圖像進行圖像形態(tài)學開閉運算處理，用來消除小物體、在纖細點處分離物體、平滑較大物體的邊界，同時并不明顯改變其面積。腐蝕操作會去掉物體的邊緣點，細小物體所有的點都會被認為是邊緣點，因此會整個被刪去。再做膨脹時，留下來的大物體會變回原來的大小，而被刪除的小物體則永遠消失了。膨脹操作會使物體的邊界向外擴張，如果物體內(nèi)部存在小空洞的話，經(jīng)過膨脹操作這些洞將被補上，因而不再是邊界了。再進行腐蝕操作時，外部邊界將變回原來的樣子，而這些內(nèi)部空洞則永遠消失了。開運算和閉運算的運算規(guī)則如下：

通過對采集到的不同距離的 253 張像素為 768×576 的圖片進行處理后統(tǒng)計，車輛明亮塊的面積最小不低于 10，最大不超于 300，同一車輛的左右尾燈亮塊之間的水平距離不小于 20 大于 300。同時，在 0~100 m 的距離范圍內(nèi)，在不同距離采集到的圖像上的車輛尾燈亮塊面積不小于 10，因此先通過亮斑的面積閾值和水平距離閾值去除感興趣區(qū)域部分的一些干擾亮斑。

圖 5 基于圖像形態(tài)學和先驗知識處理后的圖像 本文通過采用圖像形態(tài)學和先驗知識處理后的圖像如圖 5 所示。 3.3 D-S 證據(jù)理論融合特征信息對處理后的感興趣區(qū)域部分的圖像進行連通區(qū)域標記，提取圖像上可以表征車輛的特征，包括：連通區(qū)域面積比、垂直方向重疊率，運用 D-S 證據(jù)理論，融合車輛的特征信息得到總的信任度值。定義 1：設辨識框架 U 中的元素滿足不相容條件，命題 A 對基本概率賦值函數(shù) p 賦值 p（A） 是集合 2^U 到 ［0，1］ 的映射，滿足如下條件：

本文定義辨識框架為 U={true，false}，記連通區(qū)域面積比 R_A、垂直方向重疊率為 R_O，辨識框架下的 2 個命題分別為 A_1、A_2，其相應的證據(jù)概率函數(shù)為 p_1、p_2，兩連通區(qū)域面積比接近 1 的時候，連通區(qū)域?qū)儆谕卉囕v的概率比較大，垂直方向重疊率越接近 1，兩連通區(qū)域在同一水平的概率越大，因此兩個命題的基本概率函數(shù)值由下式確定：

采用 D-S 組合規(guī)則，對相容命題所對應的概率分配值進行融合，從而得到這些相容命題的交集命題所對應的概率分配值。假設 p_1 和 p_2 2 個基本概率函數(shù)的焦元分別為 B_1，?，B_k 與 C_1，?，C_k，運用正交和規(guī)則 p（A） = p_1 ⊕ p_2 得到 2 個證據(jù)體的組合輸出為：

p（A） 即是 p_1 和 p_2 的綜合概率賦值。

圖 6 運用 D-S 證據(jù)理論融合信息檢測出的車輛尾燈 最終設立信任度閾值驗證車輛如圖 6 所示。

圖 7 不同尾燈檢測圖

圖 8 不同干擾狀態(tài)檢測出的車輛尾燈 不同尾燈檢測結(jié)果見圖 7；不同干擾狀態(tài)檢測出的車輛尾燈檢測結(jié)果見圖 8。通過對不同車型試驗，本方法的視覺驗證可以實現(xiàn)對不同大小、形狀的尾燈的驗證；在實際行車時，會出現(xiàn)前相鄰車輛開啟轉(zhuǎn)向燈、前后車輛距離過近造成前相鄰車輛的尾部會出現(xiàn)大面積反光、攝像機晃動的情況，這幾種干擾狀態(tài)下視覺驗證也可以實現(xiàn)對尾燈的驗證。

04

試驗結(jié)果

圖 9 夜間前方車輛識別

試驗的硬件運行環(huán)境為 Intel 奔騰 E6500 CPU，軟件環(huán)境包括 Windows XP 系統(tǒng)，VC++ 6.0 集成開發(fā)環(huán)境和 OpenCv 開源計算機視覺庫。采集夜間道路上行駛車輛的視頻數(shù)據(jù)，利用搭建的毫米波雷達與視覺系統(tǒng)進行識別與判斷。車輛檢測的實驗結(jié)果如表 2 所示。夜間環(huán)境條件下的前方車輛識別效果如圖 9 所示。

表 2 車輛檢測的實驗結(jié)果

經(jīng)統(tǒng)計部分視頻數(shù)據(jù)并與人員主觀判斷比較，其中包含車輛圖像共 1170 幀，識別出車輛尾燈的圖像共 1060 幀，準確率達 90.6%。因此，本文方法在夜間環(huán)境下具有較好的檢測效果；車輛所處環(huán)境的光照條件較差，存在路燈、地面反光等干擾光源，且路燈與車燈相似，但檢測系統(tǒng)仍可以準確識別車輛尾燈，標記出車燈位置。

05

結(jié)論

試驗表明通過雷達可以確定前方車輛的距離、速度等信息，并形成感興趣區(qū)域。在感興趣區(qū)域內(nèi)采用基于機器視覺的圖像信息驗證車輛，這不僅可以減少外界環(huán)境的干擾，還可以縮小檢驗范圍，減少計算量。試驗結(jié)果表明：研究使用的毫米波雷達和機器視覺融合的方法可以有效識別夜間前方車輛。該方法對于不同形狀的車輛尾燈具有很好的識別效果。由于車尾燈重疊或遮擋會發(fā)生驗證失誤，這是下一步研究的重點。

審核編輯 ：李倩