我們知道，攝像頭在進(jìn)行圖像拍攝時(shí)，最理想的位置是能垂直與拍攝平面的，這樣能保證圖像能按照原來(lái)的幾何比重重現(xiàn)。

然而在智能駕駛汽車(chē)的實(shí)際應(yīng)用中，受到智能車(chē)車(chē)體結(jié)構(gòu)的限制，車(chē)體控制要求攝像頭有一定的預(yù)瞄距離，攝像頭的水平和垂直掃射面通常是成扇形擴(kuò)張的，且攝像頭與地面一般成一定角度安裝。

這種角度的存在會(huì)在圖像邊緣處造成一定的成像畸變?；兊慕Y(jié)果是在后期圖像處理過(guò)程中產(chǎn)生一系列如下的類(lèi)似問(wèn)題：

1）垂直線被拍攝成斜線導(dǎo)致斜率計(jì)算錯(cuò)誤；

2）遠(yuǎn)處的彎道可能由于畸變被壓縮導(dǎo)致曲率計(jì)算錯(cuò)誤等等。

3）對(duì)于旁車(chē)道車(chē)輛狀態(tài)在識(shí)別過(guò)程中產(chǎn)生嚴(yán)重的畸變，在后期處理的時(shí)候會(huì)存在匹配不上的問(wèn)題；

諸如上面各類(lèi)問(wèn)題都是可能存在在整個(gè)圖像感知中，如果畸變處理不得當(dāng)會(huì)對(duì)整個(gè)圖像質(zhì)量和后續(xù)神經(jīng)網(wǎng)絡(luò)識(shí)別造成較大的風(fēng)險(xiǎn)。

為了滿(mǎn)足智能車(chē)的實(shí)時(shí)控制需求，一般需要再實(shí)際應(yīng)用場(chǎng)景中針對(duì)攝像頭圖像畸變提出相應(yīng)的矯正算法。

智能汽車(chē)主要的畸變種類(lèi)

相機(jī)畸變包含徑向畸變、切向畸變、離?畸變、薄棱鏡畸變等，智能汽車(chē)上的相機(jī)畸變主要有徑向畸變和切向畸變。

徑向畸變分為桶形畸變和枕型畸變。

通常我們智能泊車(chē)系統(tǒng)一般采用的環(huán)視攝像頭由于采用廣角拍攝，其對(duì)應(yīng)的畸變類(lèi)型通常是徑向畸變。徑向畸變產(chǎn)?的主要原因是鏡頭徑向曲率的不規(guī)則變化，它會(huì)導(dǎo)致圖像的扭曲變形，這種畸變的特點(diǎn)是以主點(diǎn)為中?，沿徑向移動(dòng)，離的距離越遠(yuǎn)，產(chǎn)?的變形量就越?。對(duì)于?個(gè)矩形的嚴(yán)重徑向失真需要被較正成理想線性鏡頭的圖像才可以進(jìn)入后端處理過(guò)程。

而行車(chē)系統(tǒng)一般采用的前視、側(cè)視、后視攝像頭由于采用一般的CMOS工藝攝像頭進(jìn)行拍攝，且由于前側(cè)視攝像頭安裝過(guò)程中可能不能保證透鏡與成像面嚴(yán)格平行，同時(shí)也可能是由于制造上的缺陷使透鏡不與成像平面平行，從而產(chǎn)生切向畸變，這種現(xiàn)象通常發(fā)?于成像儀被粘貼在攝像機(jī)的時(shí)候。

徑向畸變和切向畸變模型中一共有5個(gè)畸變參數(shù)，在Opencv中他們被排列成一個(gè)5*1的矩陣，依次包含k1、k2、p1、p2、k3，經(jīng)常被定義為Mat矩陣的形式。

對(duì)于畸變矯正來(lái)說(shuō)，這5個(gè)參數(shù)就是相機(jī)標(biāo)定中需要確定的相機(jī)的5個(gè)畸變系數(shù)。參數(shù)k1、k2、k3被稱(chēng)為徑向畸變參數(shù)，其中k3是可選參數(shù)。

對(duì)于畸變嚴(yán)重的相機(jī)（如?眼相機(jī)），可能還會(huì)有k4、k5、k6。切向畸變可以用兩個(gè)參數(shù)p1 和 p2 來(lái)表示：至此，得到了共五個(gè)參數(shù)：K1、K2、K3、P1、P2，這五個(gè)參數(shù)是消除畸變所必須的，稱(chēng)為畸變向量，也叫相機(jī)外參數(shù)。

因此，求得這5個(gè)參數(shù)后，就可以校正由于鏡頭畸變引起的圖像的變形失真，下圖顯示根據(jù)鏡頭畸變系數(shù)校正后的效果：

通過(guò)5個(gè)畸變系數(shù)找到這個(gè)點(diǎn)在像素平面上的正確位置公式如下：

畸變后的點(diǎn)可以通過(guò)內(nèi)參矩陣投影到像素平面，得到該點(diǎn)在圖像上的正確位置(u,v)：

圖像畸變矯正方法

與相機(jī)模型方法論不同，圖像去畸變是為了補(bǔ)償透鏡缺陷，對(duì)原始圖像進(jìn)行徑向/切向去畸變，之后在使用該相機(jī)模型。處理圖像畸變的方法主要涉及選擇何種相機(jī)模型進(jìn)行圖像投影。

典型相機(jī)模型投影方式有球面模型和柱面模型。

1、魚(yú)眼相機(jī)成像畸變矯正

通常類(lèi)似魚(yú)眼鏡頭會(huì)產(chǎn)生極大的形變，比如普通相機(jī)成像過(guò)程中，直線投影到像平面上還是一定大小的直線，但是魚(yú)眼相機(jī)拍攝的圖到像平面上則會(huì)變成非常大且長(zhǎng)的直線，甚至部分場(chǎng)景下直線檢測(cè)會(huì)被投影到無(wú)窮大，因此針孔模型無(wú)法為魚(yú)眼鏡頭建模。

為了將盡可能大的場(chǎng)景投影到有限的圖像平面內(nèi)，魚(yú)眼鏡頭一版由十幾個(gè)不同的透鏡組合而成，在成像過(guò)程中，入射光線經(jīng)過(guò)不同程度的折射，投影到尺寸有限的成像平面上，使得魚(yú)眼鏡頭與普通鏡頭相比起來(lái)?yè)碛辛烁蟮囊曇胺秶?/p>

研究表明魚(yú)眼相機(jī)成像時(shí)遵循的模型近似為單位球面投影模型。這理我們?yōu)榱烁玫倪m配相機(jī)針孔模型的推導(dǎo)過(guò)程，常用的方法是采用投影到球面相機(jī)模型過(guò)程來(lái)進(jìn)行。

對(duì)于魚(yú)眼相機(jī)成像過(guò)程的分析可以分成兩步：

1）三維空間點(diǎn)線性投影到一個(gè)球面上，當(dāng)然這個(gè)球面是我們假設(shè)的虛擬球面，將其球心看成與相機(jī)坐標(biāo)原點(diǎn)重合。

2）單位球面上的點(diǎn)投影到像平面上，這個(gè)過(guò)程是非線性的。

如下圖表示了一種智駕系統(tǒng)中從魚(yú)眼相機(jī)拍攝變換到球面相機(jī)的圖像處理過(guò)程。假設(shè)相機(jī)坐標(biāo)系下的點(diǎn)為X=(x,y,z)，像素坐標(biāo)為x=(u,v)。那么它的投影過(guò)程表示如下：???

1、第一步是用攝像機(jī)采集世界坐標(biāo)系下的三維點(diǎn)，并將圖像坐標(biāo)系下的成像點(diǎn)投影到歸一化單位球面坐標(biāo)上；

2、將相機(jī)坐標(biāo)中心沿著z軸偏離個(gè)單位，得到如下：

3、考慮單位球面，將球面進(jìn)行歸一化為1個(gè)單位：

4、將球面投影模型變換到針孔模型上，得到相應(yīng)的主點(diǎn)坐標(biāo)，以該主點(diǎn)坐標(biāo)可以建立對(duì)應(yīng)的標(biāo)準(zhǔn)的相機(jī)坐標(biāo)系模型：

2、柱面坐標(biāo)投影

對(duì)于諸如前視、側(cè)視攝像頭這樣的終端來(lái)說(shuō)，通常捕獲的圖像主要產(chǎn)生的是切向畸變。切向畸變通常推薦采用柱面相機(jī)模型，其優(yōu)點(diǎn)是指用戶(hù)可以獲得諸如魚(yú)眼相機(jī)的全景圖中360度范圍內(nèi)任意切換視線，也可以在一個(gè)視線上改變視角，來(lái)取得接近或遠(yuǎn)離的效果，同時(shí)，柱面全景圖像也較為容易處理，因?yàn)榭梢詫A柱面沿軸切開(kāi)并展開(kāi)在一個(gè)平面上，傳統(tǒng)的圖像處理方法常?？梢灾苯邮褂?，柱面全景圖并不要求照相機(jī)的標(biāo)定十分準(zhǔn)確。

用戶(hù)在水平方向上有360度的視角，在垂直方向上也可以做一定的視角變化，但是角度范圍則受到限制，由于柱面模型的圖像質(zhì)量均勻，細(xì)節(jié)真實(shí)度更高，應(yīng)用范圍比較廣泛。

總體來(lái)說(shuō)，柱面全景圖顯著優(yōu)點(diǎn)歸納為以下兩點(diǎn)：

1）它的單幅照片的獲取方式比立方體形式和球面形式的獲取方式簡(jiǎn)單。普通車(chē)載相機(jī)（如前視、側(cè)視攝像頭）基本就可以獲取到原始圖像。

2）柱面全景圖容易展開(kāi)為一個(gè)矩形圖像，可以直接用計(jì)算機(jī)常用的圖像格式進(jìn)行存儲(chǔ)和訪問(wèn)。柱面形式的全景圖在垂直方向允許參與者視線的轉(zhuǎn)動(dòng)角度小于180度，但是絕大多數(shù)應(yīng)用中，水平方向的360度環(huán)視場(chǎng)景足以表達(dá)空間信息。

這里我們重點(diǎn)講下如何利用柱面相機(jī)對(duì)原圖像進(jìn)行畸變矯正處理的算法，實(shí)際上這是個(gè)從獲得虛擬相機(jī)到原相機(jī)映射關(guān)系的過(guò)程。這里的虛擬相機(jī)是指針對(duì)真實(shí)圖像到生成柱面圖的映射關(guān)系。

如下圖表示了一種智駕系統(tǒng)中從普通車(chē)載相機(jī)拍攝變換到柱面相機(jī)的圖像處理過(guò)程。其中，獲得虛擬相機(jī)圖?的實(shí)質(zhì)就是求虛擬相機(jī)到原相機(jī)的映射關(guān)系，通?的過(guò)程如下：

首先，對(duì)于前/側(cè)視原始視頻圖像可以設(shè)置為目標(biāo)圖像dst img；其中該目標(biāo)圖上的主點(diǎn)（u，v）為基礎(chǔ)點(diǎn)進(jìn)行2D到3D的逆投影變換到目標(biāo)相機(jī)坐標(biāo)圖上，該目標(biāo)相機(jī)可重構(gòu)出世界坐標(biāo)系下的該點(diǎn)位置（x，y，z）；隨后，在三維坐標(biāo)系下通過(guò)投影變換算法得到虛擬相機(jī)下對(duì)應(yīng)的原始相機(jī)圖像Src Camera；在對(duì)該原始相機(jī)圖像進(jìn)行3D到2D的投影變換就可以得到對(duì)應(yīng)的矯正后的圖像Src img（u’，v’），該圖像可通過(guò)重構(gòu)的方式恢復(fù)出虛擬相機(jī)下的原始圖像dst img。

從柱面相機(jī)模型可以看出柱面相機(jī)模型到針孔相機(jī)模型的變換公式如下：

如上公式中，其中u，v表示針孔相機(jī)平面主點(diǎn)（也叫像素坐標(biāo)系中的坐標(biāo)），fx、fy、cx、cy表示由于制造或安裝誤差產(chǎn)生的兩個(gè)坐標(biāo)軸偏斜參數(shù)。該主點(diǎn)乘以圓柱坐標(biāo)系下的半徑距離則可以得到相應(yīng)的投影在柱面坐標(biāo)上。

ρ來(lái)進(jìn)行多項(xiàng)式近似，柱?相機(jī)2D->3D空間的過(guò)程中是不確定ρ的，當(dāng)Tdst=Tsrc時(shí)，ρ取不同值時(shí)，從3D空間->側(cè)視/前視相機(jī)2D求得的虛擬相機(jī)的映射是相同的；若Tdst！=Tsrc, 得到的虛擬相機(jī)的圖像隨ρ的不同?變化。對(duì)于給定的柱?圖2D位置（u,v），在給定ρ的條件下，由如上公式可以計(jì)算dst camera柱面坐標(biāo)系下的3D的相機(jī)坐標(biāo)xc , yc, zc。

Φ用來(lái)進(jìn)行多項(xiàng)式近似，Φ是入射光線和圖像平面的夾角，這個(gè)值和魚(yú)眼相機(jī)的參數(shù)很像。

接下來(lái)是相機(jī)變換過(guò)程，總結(jié)起來(lái)包括如下過(guò)程。

首先設(shè)置虛擬相機(jī)圖像分辨率為想要獲取的鳥(niǎo)瞰I(xiàn)PM圖的分辨率；其中虛擬相機(jī)圖像的主點(diǎn)為IPM圖分辨率的中心（一般假設(shè)不設(shè)置偏移）。其次，設(shè)置虛擬相機(jī)的fx、fy以及相機(jī)位置，其中高度設(shè)置為1，與fx、fy設(shè)置方式相對(duì)應(yīng)，可以根據(jù)需求修改y的偏移量。

由此，則可以根據(jù)目標(biāo)相機(jī)dst camera的外參（R，T）dst，把dst camera相機(jī)坐標(biāo)（xc，yc，zc）dst轉(zhuǎn)化為觀測(cè)坐標(biāo)系vcs坐標(biāo)，隨后再結(jié)合src camera的外參（R，T）src，將VCS坐標(biāo)轉(zhuǎn)化為src camera相機(jī)坐標(biāo)（xc，yc，zc）src 。

總結(jié)

由于車(chē)載相機(jī)通常搭載不同的成像鏡頭，這種多元件的構(gòu)造結(jié)構(gòu)使得對(duì)于車(chē)載相機(jī)的折射關(guān)系分析不能簡(jiǎn)單采用原來(lái)的針孔相機(jī)模型進(jìn)行適配。特別是對(duì)于魚(yú)眼相機(jī)來(lái)說(shuō)，由于需要擴(kuò)大可視范圍，這種折射率所帶來(lái)的圖像畸變更是明顯。

本文我們重點(diǎn)介紹了適配于智能駕駛系統(tǒng)各類(lèi)不同視覺(jué)傳感器的去畸變方法，主要通過(guò)投影方式將世界坐標(biāo)系下的圖像投影到虛擬球面坐標(biāo)系和虛擬柱面坐標(biāo)系下，從而依靠2D—>3D的相機(jī)變換來(lái)去除畸變。部分算法在長(zhǎng)期實(shí)踐基礎(chǔ)上相對(duì)于經(jīng)典去畸變算法有所改進(jìn) 。







審核編輯：劉清