攝像頭在日常生活中無(wú)處不在，從醫(yī)療診斷到汽車、智能手機(jī)和視頻監(jiān)控。因此，今天的數(shù)據(jù)中有一半是圖像和視頻，其中大部分是在便攜式系統(tǒng)的邊緣生成的。與云相比，邊緣帶來(lái)了許多挑戰(zhàn)：緊湊性、低功耗和延遲。如何在 2 小時(shí)內(nèi)不耗盡電池的情況下從智能手機(jī)中獲得出色的圖像？自動(dòng)駕駛系統(tǒng)如何在不需要大量云數(shù)據(jù)處理能力的情況下同時(shí)分析來(lái)自近十個(gè)攝像頭的圖像？實(shí)現(xiàn)下一代邊緣和無(wú)處不在的相機(jī)將需要更新的工具箱。

在之前的一篇博客文章中，我回顧了數(shù)字孿生如何成為一項(xiàng)關(guān)鍵的使能技術(shù)，不僅適用于飛機(jī)或復(fù)雜的發(fā)電廠，也適用于成像系統(tǒng)。數(shù)字孿生將通過(guò)仿真促進(jìn)優(yōu)化的產(chǎn)品生命周期，實(shí)現(xiàn)更好的規(guī)格（避免超規(guī)格）、過(guò)程控制預(yù)測(cè)和早期軟件開(kāi)發(fā)。數(shù)字孿生還將促進(jìn)定制的成像系統(tǒng)，例如并不總是開(kāi)啟的高效視頻監(jiān)控?cái)z像頭。

開(kāi)發(fā)相機(jī)的團(tuán)隊(duì)提到的痛點(diǎn)包括規(guī)格變化、設(shè)計(jì)和制造之間的差異以及與多個(gè)組件的設(shè)計(jì)和組裝相關(guān)的復(fù)雜性。在這篇博文中，我將回顧數(shù)字孿生如何通過(guò)圖像仿真實(shí)現(xiàn)更好、更簡(jiǎn)化的成像系統(tǒng)規(guī)范和虛擬測(cè)試。

相機(jī)是一個(gè)復(fù)雜的系統(tǒng)

成像系統(tǒng)是一個(gè)多尺度、多物理場(chǎng)模型，具有多個(gè)相互依賴的組件。鏡頭組從場(chǎng)景中捕獲光子;CMOS圖像傳感器將這些光子轉(zhuǎn)換為電子;圖像信號(hào)處理器芯片將原始電子信號(hào)轉(zhuǎn)換為可讀、彩色和去噪的數(shù)字圖像;數(shù)字信號(hào)處理器計(jì)算數(shù)字圖像以獲取信息;I/O芯片將成像系統(tǒng)與一些外部組件連接。

最后，成像系統(tǒng)必須提供良好的圖像。但是我們這是什么意思呢？大多數(shù)時(shí)候，好的圖像仍然是指用數(shù)碼單反相機(jī)拍攝的攝影質(zhì)量圖像。但是，如果將此標(biāo)準(zhǔn)應(yīng)用于土壤監(jiān)測(cè)、醫(yī)療診斷或自動(dòng)駕駛的圖像，則可能導(dǎo)致預(yù)期結(jié)果的過(guò)度規(guī)格或錯(cuò)誤規(guī)格。

讓我們看看成像系統(tǒng)架構(gòu)師和團(tuán)隊(duì)如何使用 Synopsys 光學(xué)解決方案產(chǎn)品組合的圖像仿真功能來(lái)渲染和優(yōu)化成像系統(tǒng)中所需的圖像。

工作流程和結(jié)果

如以下簡(jiǎn)化示例所述，使用 CODE V、LightTools 和 RSoft 光子器件工具模擬圖像已經(jīng)成為可能。該示例的特點(diǎn)是嵌入四鏡頭組的成像系統(tǒng)以及具有1.12微米R(shí)GB像素和微透鏡陣列的CMOS傳感器。

具有四鏡頭組和CMOS傳感器的成像系統(tǒng)示例

1. 使用CODE V模擬來(lái)自鏡頭的圖像設(shè)置光學(xué)屬性

第一步是設(shè)計(jì)鏡頭組并生成相應(yīng)的PSF。我們使用代碼 V 中的圖像模擬 （IMS） 功能來(lái)模擬圖像。任何 2D 圖像都可以導(dǎo)入到工具中。然后，定義要根據(jù)對(duì)象計(jì)算的 PSF 網(wǎng)格和 FFT 網(wǎng)格大小。您可以添加顏色、相對(duì)照明參數(shù)和圖像傳感器屬性，例如像素大小和像素?cái)?shù)。IMS將使用CODE V定義和計(jì)算的光學(xué)參數(shù)計(jì)算輸入圖像的卷積，并將輸出結(jié)果圖像。

然后可以在模擬圖像上評(píng)估圖像質(zhì)量。鏡頭組的進(jìn)一步優(yōu)化可以為目標(biāo)應(yīng)用提供所需的圖像質(zhì)量。

2. 使用LightTools和RSoft光子器件工具模擬寄生光

大多數(shù)成像系統(tǒng)必須進(jìn)一步優(yōu)化，以避免寄生光并影響所需的圖像質(zhì)量。鬼影和耀斑是成像系統(tǒng)的典型寄生效應(yīng)。您可以在我們簡(jiǎn)化的成像系統(tǒng)中使用 RSoft 光子器件工具和 LightTools 來(lái)預(yù)測(cè)鬼影和耀斑。由于傳感器衍射和反射特性，我們希望預(yù)測(cè)系統(tǒng)中的寄生光。CMOS圖像傳感器通常是微米級(jí)像素的集合，可產(chǎn)生強(qiáng)烈的衍射圖案。我們必須使用RSoft光子器件工具來(lái)獲得該表面的光學(xué)特性。更具體地說(shuō)，DiffractMOD RCWA是嚴(yán)格計(jì)算橫向周期器件衍射特性的有效工具。它將輸出每個(gè)衍射階數(shù)的反射/透射功率、總反射/透射率、每個(gè)衍射階數(shù)的振幅/相位/角度以及仿真域中的場(chǎng)分布。所有結(jié)果都存儲(chǔ)在一個(gè)BSDF文件中，該文件可以導(dǎo)出到LightTools進(jìn)行進(jìn)一步的模擬。第三步是從 CODE V 導(dǎo)入鏡頭集幾何形狀，添加傳感器屬性，從 RSoft 導(dǎo)入 BSDF 文件，添加光源（下圖中的太陽(yáng)光源），并使用 LightTools 中的光線路徑工具運(yùn)行蒙特卡羅模擬以分析寄生光的所有可能路徑。模擬結(jié)果將類似于右側(cè)顯示的圖像。

左側(cè)：LightTools 相機(jī)型號(hào);在右側(cè)，傳感器上看到的寄生光圖。

3. 使用 COM API 將模擬圖像與寄生光貼圖組合 最后一步是使用 COM API

將來(lái)自 CODE V 的模擬圖像與使用 LightTools 和 RSoft 計(jì)算的寄生光組合在一起。伽馬和能量比可以在此卷積中進(jìn)行調(diào)整。

使用模擬圖像上的圖像質(zhì)量指標(biāo)評(píng)估圖像可以進(jìn)一步優(yōu)化系統(tǒng)，以實(shí)現(xiàn)適合目標(biāo)應(yīng)用的規(guī)格。通過(guò) CODE V、LightTools 和 RSoft 光子器件工具對(duì)仿真圖像進(jìn)行虛擬測(cè)試是一種強(qiáng)大的工作流程，可避免過(guò)度指定成像系統(tǒng)，并通過(guò)仿真預(yù)測(cè)組裝和測(cè)試階段來(lái)節(jié)省時(shí)間。

審核編輯：郭婷