傳感器和鏡頭的匹配設(shè)計(jì) ? ?

奈奎斯特頻率成像

在奈奎斯特頻率下成像是吸引人的，該頻率在高級(jí)鏡頭選擇的等式1中定義。然而，這通常不是一個(gè)好主意，因?yàn)檫@意味著正在觀(guān)察的特征正好落在一個(gè)像素上。如果成像系統(tǒng)移動(dòng)半個(gè)像素，則感興趣的對(duì)象將落在兩個(gè)像素之間，并且將完全模糊。因此，不建議在奈奎斯特頻率下成像。假設(shè)沒(méi)有使用子像素插值，通常建議在奈奎斯特頻率的一半處成像，因?yàn)檫@將允許感興趣的特征總是占據(jù)至少兩個(gè)像素。

通常不恰當(dāng)?shù)刈龀龅牧硪粋€(gè)假設(shè)是，除非鏡頭在與其一起使用的傳感器的奈奎斯特頻率下具有相當(dāng)大（>20%）的對(duì)比度，否則該鏡頭不適合與特定相機(jī)一起使用。事實(shí)并非如此。如前所述，在奈奎斯特極限下成像是不明智的，可能會(huì)產(chǎn)生幾個(gè)問(wèn)題。需要查看整個(gè)系統(tǒng)，以確定鏡頭是否適合給定的相機(jī)傳感器，這通常取決于應(yīng)用。下一節(jié)將介紹在奈奎斯特頻率或接近奈奎斯特頻率時(shí)成像系統(tǒng)中發(fā)生的情況，以及對(duì)整體系統(tǒng)分辨率的影響。

理解相機(jī)傳感器和成像鏡頭之間的相互作用是設(shè)計(jì)和實(shí)現(xiàn)機(jī)器視覺(jué)系統(tǒng)的重要部分。這種關(guān)系的優(yōu)化常常被忽視，它對(duì)系統(tǒng)整體分辨率的影響很大。不正確配對(duì)的相機(jī)/鏡頭組合可能導(dǎo)致在成像系統(tǒng)上浪費(fèi)金錢(qián)。不幸的是，決定在任何應(yīng)用中使用哪個(gè)鏡頭和相機(jī)并不總是一件容易的事：更多的相機(jī)傳感器（直接結(jié)果是更多的鏡頭）繼續(xù)被設(shè)計(jì)和制造，以利用新的制造能力并提高性能。這些新的傳感器為鏡頭帶來(lái)了許多需要克服的挑戰(zhàn)，并使正確的相機(jī)與鏡頭配對(duì)變得不那么明顯。

第一個(gè)挑戰(zhàn)是像素繼續(xù)變小。雖然較小的像素通常意味著較高的系統(tǒng)級(jí)分辨率，但一旦考慮到所使用的光學(xué)器件，情況并非總是如此。在一個(gè)完美的世界里，系統(tǒng)中沒(méi)有衍射或光學(xué)誤差，分辨率將簡(jiǎn)單地基于像素的大小和被觀(guān)察物體的大?。ㄒ?jiàn)分辨率）。簡(jiǎn)而言之，當(dāng)像素尺寸減小時(shí)，分辨率增加。當(dāng)較小的對(duì)象可以適合較小的像素并且仍然能夠分辨對(duì)象之間的間距時(shí)，即使該間距減小，也會(huì)發(fā)生這種增加。這是一個(gè)關(guān)于相機(jī)傳感器如何檢測(cè)物體的過(guò)于簡(jiǎn)化的模型，沒(méi)有考慮噪聲或其他參數(shù)。

鏡頭也有分辨率規(guī)格，但基本原理并不像傳感器那樣容易理解，因?yàn)闆](méi)有像像素那樣具體的東西。然而，當(dāng)通過(guò)鏡頭成像時(shí)，有兩個(gè)因素最終決定特定物體特征在像素上的對(duì)比度再現(xiàn)（調(diào)制傳遞函數(shù)或MTF）：衍射和像差內(nèi)容。任何時(shí)候光通過(guò)光圈都會(huì)發(fā)生衍射，導(dǎo)致對(duì)比度降低（艾里斑和衍射極限中的更多細(xì)節(jié)）。像差是發(fā)生在每個(gè)成像鏡頭中的誤差，其根據(jù)像差的類(lèi)型而模糊或錯(cuò)位圖像信息，如真實(shí)世界性能中所述。對(duì)于快鏡頭（≤f/4），光學(xué)像差通常是系統(tǒng)偏離衍射極限所規(guī)定的“完美”的原因；在大多數(shù)情況下，如公式1所示，鏡頭在其理論截止頻率（ξcutoffξcutoff）下根本不起作用。

將這個(gè)等式與相機(jī)傳感器聯(lián)系起來(lái)，隨著像素頻率的增加（像素大小下降），對(duì)比度下降-每個(gè)鏡頭都會(huì)遵循這一趨勢(shì)。然而，這并不能說(shuō)明鏡頭的真實(shí)硬件性能。鏡頭的公差和制造的緊密程度也將對(duì)鏡頭的像差內(nèi)容產(chǎn)生影響，并且真實(shí)世界的性能將不同于標(biāo)稱(chēng)的設(shè)計(jì)性能。根據(jù)標(biāo)稱(chēng)數(shù)據(jù)來(lái)估計(jì)真實(shí)世界鏡頭的表現(xiàn)可能會(huì)有差異，但實(shí)驗(yàn)室中的測(cè)試可以幫助確定特定鏡頭和相機(jī)傳感器是否兼容。

(1)

了解鏡頭在特定傳感器上的表現(xiàn)的一種方法是用美國(guó)空軍1951年的棒靶測(cè)試其分辨率。條形目標(biāo)比星形目標(biāo)更適合確定鏡頭/傳感器的兼容性，因?yàn)樗鼈兊奶卣髋c正方形（和矩形）像素排列得更好。以下示例顯示了使用相同的高分辨率50mm焦距鏡頭和相同的照明條件在三個(gè)不同的相機(jī)傳感器上拍攝的測(cè)試圖像。然后將每個(gè)圖像與鏡頭的標(biāo)稱(chēng)軸上MTF曲線(xiàn)（藍(lán)色曲線(xiàn)）進(jìn)行比較。在這種情況下僅使用軸上曲線(xiàn)，因?yàn)闇y(cè)量對(duì)比度的感興趣區(qū)域僅覆蓋傳感器中心的一小部分。圖1A顯示了50mm鏡頭與具有2.2μm像素的1/2.51/2.5ON Semiconductor MT9P031配對(duì)時(shí)的性能，放大倍率為0.177倍。

圖1：（a）2.2μm像素的ONSemiconductor MT9P031、（B）3.45μm像素的SonyIXC655和（C）7.4μm像素的ONSemiconductorKai-4021上的高分辨率50mm鏡頭的標(biāo)稱(chēng)鏡頭性能與實(shí)際性能的比較。紅線(xiàn)、紫線(xiàn)和深綠線(xiàn)分別表示傳感器的奈奎斯特極限。黃線(xiàn)、淺藍(lán)線(xiàn)和淺綠線(xiàn)分別表示傳感器奈奎斯特限值的一半。

使用分辨率公式1，傳感器的奈奎斯特分辨率（ξsensor）為227.7，這意味著系統(tǒng)在放大倍率為0.177x時(shí)理論上可以成像的最小物體為12.4μm（使用分辨率公式1的替代形式）。

(2)

請(qǐng)記住，這些計(jì)算沒(méi)有與之關(guān)聯(lián)的對(duì)比度值。圖1A的左側(cè)顯示了美國(guó)空軍1951目標(biāo)上的兩個(gè)元素的圖像；左圖顯示每個(gè)特征兩個(gè)像素，右圖顯示每個(gè)特征一個(gè)像素。在傳感器（227）的奈奎斯特頻率下，系統(tǒng)以8.8%的對(duì)比度對(duì)目標(biāo)成像，該對(duì)比度低于可靠成像系統(tǒng)所推薦的20%的最小對(duì)比度。注意，通過(guò)將特征尺寸增加兩倍至24.8μm，對(duì)比度增加了近三倍。在實(shí)際意義上，成像系統(tǒng)在奈奎斯特頻率的一半處將可靠得多。

(3)

成像系統(tǒng)不能可靠地對(duì)尺寸為12.4μm的物體特征進(jìn)行成像，這一結(jié)論與分辨率方程所示的結(jié)論截然相反，因?yàn)閺臄?shù)學(xué)上講，物體在系統(tǒng)的能力范圍內(nèi)。這一矛盾突出表明，一階計(jì)算和近似不足以確定成像系統(tǒng)是否能夠達(dá)到特定的分辨率。此外，奈奎斯特頻率計(jì)算并不是為系統(tǒng)的分辨率能力奠定基礎(chǔ)的可靠指標(biāo)，只能用作系統(tǒng)將具有的限制的指南。8.8%的對(duì)比度太低而不能被認(rèn)為是準(zhǔn)確的，因?yàn)闂l件的微小波動(dòng)很容易將對(duì)比度降低到無(wú)法分辨的水平。

圖1B和1C顯示的圖像與MT9P031上的圖像類(lèi)似，但使用的傳感器是索尼ICX655（3.45μm像素）和安森美半導(dǎo)體Kai-4021（7.4μm像素）。每個(gè)圖中的左側(cè)圖像顯示每個(gè)特征兩個(gè)像素，右側(cè)圖像顯示每個(gè)特征一個(gè)像素。這3個(gè)圖之間的主要區(qū)別在于，圖1B和1C的所有圖像對(duì)比度都在20%以上，這意味著（乍一看）它們?cè)诜直嬖摮叽绲奶卣鲿r(shí)是可靠的。當(dāng)然，與圖1A中的2.2μm像素相比，它們可以分辨的最小尺寸對(duì)象更大。然而，在奈奎斯特頻率下成像仍然是不明智的，因?yàn)槲矬w的輕微移動(dòng)可能會(huì)使兩個(gè)像素之間的所需特征發(fā)生偏移，從而使物體無(wú)法分辨。請(qǐng)注意，當(dāng)像素尺寸從2.2μm增加到3.45μm，再增加到7.4μm時(shí)，對(duì)比度從每個(gè)特征一個(gè)像素增加到每個(gè)特征兩個(gè)像素的影響較小。在ICX655（3.45μm像素）上，對(duì)比度變化略低于2倍；Kai-4021（7.4μm像素）進(jìn)一步減弱了這種影響。

圖2：在三種不同像素大小的相機(jī)傳感器上，使用相同的鏡頭和光照條件拍攝的圖像。頂部圖像以每個(gè)特征四個(gè)像素拍攝，底部圖像以每個(gè)特征兩個(gè)像素拍攝。

圖1中的一個(gè)重要差異是標(biāo)稱(chēng)鏡頭MTF與實(shí)際圖像中的真實(shí)對(duì)比度之間的差異。圖1A頂部的鏡頭的MTF曲線(xiàn)顯示，當(dāng)產(chǎn)生的對(duì)比度值為8.8%時(shí)，鏡頭在頻率227處應(yīng)達(dá)到約24%的對(duì)比度。造成這種差異的主要因素有兩個(gè)：傳感器MTF和鏡頭公差。大多數(shù)傳感器公司不公布其傳感器的MTF曲線(xiàn)，但它們具有與鏡頭相同的一般形狀。由于系統(tǒng)級(jí)MTF是系統(tǒng)的所有部件的MTF的乘積，因此鏡頭和傳感器的MTF必須相乘在一起，以提供系統(tǒng)的整體分辨率能力的更精確的結(jié)論。

如上所述，鏡頭的公差MTF也是偏離標(biāo)稱(chēng)值。所有這些因素共同改變了系統(tǒng)的預(yù)期分辨率，就其本身而言，鏡頭MTF曲線(xiàn)并不是系統(tǒng)級(jí)分辨率的準(zhǔn)確表示。

如圖2中的圖像所示，最佳系統(tǒng)級(jí)對(duì)比度出現(xiàn)在使用較大像素拍攝的圖像中。當(dāng)像素尺寸減小時(shí)，對(duì)比度顯著下降。一個(gè)好的最佳實(shí)踐是使用20%作為機(jī)器視覺(jué)系統(tǒng)中的最小對(duì)比度，因?yàn)榈陀谠搶?duì)比度的任何對(duì)比度值都太容易受到來(lái)自溫度變化或照明串?dāng)_的噪聲波動(dòng)的影響。使用50mm鏡頭和圖1A中的2.2μm像素拍攝的圖像的對(duì)比度為8.8%，由于鏡頭即將成為系統(tǒng)中的限制因素，因此對(duì)于與2.2μm像素尺寸相對(duì)應(yīng)的物體特征尺寸，圖像數(shù)據(jù)太低，無(wú)法依賴(lài)圖像數(shù)據(jù)。像素遠(yuǎn)小于2.2μm的傳感器當(dāng)然存在，并且非常受歡迎，但遠(yuǎn)小于該尺寸的傳感器幾乎不可能讓光學(xué)器件分辨到單個(gè)像素級(jí)別。這意味著在分辨率中描述的方程對(duì)于幫助確定系統(tǒng)級(jí)分辨率在功能上變得毫無(wú)意義，并且類(lèi)似于在上述圖中拍攝的圖像將不可能被捕獲。然而，這些微小的像素仍然有用處——僅僅因?yàn)楣鈱W(xué)不能分辨整個(gè)像素并不會(huì)使它們變得無(wú)用。對(duì)于某些算法，如斑點(diǎn)分析或光學(xué)字符識(shí)別（OCR），它不是關(guān)于鏡頭是否可以實(shí)際分辨到單個(gè)像素級(jí)別，而是關(guān)于可以在特定特征上放置多少像素。對(duì)于較小的像素，可以避免子像素插值，這將增加用它進(jìn)行的任何測(cè)量的精度。此外，當(dāng)切換到具有拜耳模式濾波器的彩色相機(jī)時(shí)，在分辨率損失方面的損失較小。

要記住的另一個(gè)要點(diǎn)是，從每個(gè)特征一個(gè)像素跳到每個(gè)特征兩個(gè)像素會(huì)產(chǎn)生大量的對(duì)比度，特別是在較小的像素上。盡管通過(guò)將頻率減半，最小可分辨物體的大小實(shí)際上增加了一倍。如果絕對(duì)有必要觀(guān)察到單像素水平，通常最好將光學(xué)放大倍數(shù)加倍，并將視場(chǎng)（FOV）減半。

這將導(dǎo)致特征尺寸覆蓋兩倍的像素，并且對(duì)比度將高得多。這種解決方案的缺點(diǎn)是整個(gè)場(chǎng)的可見(jiàn)度較低。從圖像傳感器的角度來(lái)看，最好的做法是保持像素大小，并將圖像傳感器的格式大小加倍。例如，使用具有2.2μm像素的?“傳感器的1倍放大成像系統(tǒng)將具有與使用具有2.2μm像素的1”傳感器的2倍放大系統(tǒng)相同的FOV和空間分辨率，但使用2倍系統(tǒng)，對(duì)比度理論上加倍。

不幸的是，將傳感器尺寸加倍會(huì)給鏡頭帶來(lái)額外的問(wèn)題。成像鏡頭的主要成本驅(qū)動(dòng)因素之一是其設(shè)計(jì)的格式尺寸。為較大規(guī)格的傳感器設(shè)計(jì)物鏡需要更多單獨(dú)的光學(xué)元件；這些部件需要更大，并且系統(tǒng)的公差需要更嚴(yán)格。繼續(xù)上面的例子，為1“傳感器設(shè)計(jì)的鏡頭的成本可能是為?”傳感器設(shè)計(jì)的鏡頭的五倍，即使它不能達(dá)到相同的像素限制分辨率規(guī)格。

審核編輯：黃飛

?