描述

一、項(xiàng)目背景

工業(yè)用途需要使用高精度 3D 成像系統(tǒng)，例如 PCB 的 AOI（自動(dòng)光學(xué)檢測）或產(chǎn)品線中的 3D 檢查。但目前成本非常高。系統(tǒng)采用FPGA可以帶來相對(duì)低成本的解決方案，促進(jìn)成本敏感的工業(yè)應(yīng)用領(lǐng)域從2D+Rules向3D+AI過渡。

二、系統(tǒng)介紹

我首先在帶有 NVIDIA GPU 的 PC 上實(shí)現(xiàn)了結(jié)構(gòu)光原型系統(tǒng)。結(jié)構(gòu)光系統(tǒng)需要高吞吐量的圖像模式和低延遲。因此不適合嵌入系統(tǒng)。為了降低成本，需要用FPGA構(gòu)建結(jié)構(gòu)光3D相機(jī)的3D成像算法，并集成分析和檢測功能供工業(yè)使用。

Dual Cortex A53 用于配置相機(jī)和控制 DLP 投影儀。Vivado 用于設(shè)計(jì)和實(shí)現(xiàn)基于規(guī)則的核心算法，如失真校正、格雷碼和相位解碼、立體匹配等；Vitis AI用于實(shí)現(xiàn)基于神經(jīng)網(wǎng)絡(luò)的算法模塊，如輔助雙目特征匹配、點(diǎn)云校正、目標(biāo)檢測等。

?

主要過程包括格雷碼解碼、相位擴(kuò)展和相位匹配。我們?yōu)橄到y(tǒng)使用 6 個(gè)格雷碼模式和 4 個(gè)相位模式。PL部分用于格雷碼解碼和相位解碼。匹配后，匹配距離（或視差）將根據(jù)相機(jī)的基線和內(nèi)在參數(shù)轉(zhuǎn)換為深度。

最具挑戰(zhàn)性的部分是圖像對(duì)的畸變校正和對(duì)極校正。正如我們所知，圖像應(yīng)該是立體校正的。該操作使用大 LUT 來獲取圖像數(shù)據(jù)的 src 位置。這是非常耗時(shí)的，因?yàn)閷?duì) DDR 的無序訪問。