描述

立體視覺是通過從稍微不同的角度比較兩個圖像來推斷深度。有許多局部和全局算法用于獲得實時立體深度圖。

然而，立體聲的計算要求會根據(jù)分辨率呈指數(shù)增長。在深入研究立體視覺的實現(xiàn)之前，需要一個立體相機設置！

本系列將記錄如何從頭開始構建立體相機設置。下一步將是嘗試立體算法

該項目將概述用于 ZYNQ FPGA SOC 的立體相機平臺的設計。ZC702 開發(fā)板將用作主 SOC，但該設計可以輕松移植到任何帶有 FMC 連接器的板上，該連接器為相機使用適當?shù)碾妷?CMOS 電平。項目的第一部分詳細介紹了立體平臺設置的硬件設計設置和 Vivado FPGA 設計

?

在這種情況下，通過將兩個圖像源保持在相同的基線，設計將大大簡化。

兩個相機的每個對應特征都應該在同一級別。這稱為整改。為了簡化整改過程，兩個攝像頭將并排放置。

硬件

本項目的硬件部分由一塊ZC702開發(fā)板、兩塊OV5640攝像頭和一塊Stereo FMC板組成。

ZC702

該開發(fā)板包含一個 ZYNQ7000 XC7020。它與 PYNQ 和 Zedboard 上使用的芯片組相同，因此可以很容易地將設計移植到這些開發(fā)板上。

ZC702開發(fā)板包含XC7020 FPGA SOC。該開發(fā)板具有兩個 LPC（低引腳數(shù)）FMC（FPGA 夾層卡）連接器，可將多個引腳引出到外部世界。

默認情況下，這些引腳設置為在 2.8V 邏輯電平下運行。

?

DVP OV5640 攝像機

對于這個項目，我選擇了 DVP 攝像機，因為它們很容易獲得。此設置允許測試立體聲算法。

立體聲 FMC 卡的原理圖如下所示。

?

?

立體聲 FMC 插入 ZC702 板的兩個 LPC FMC 母插座之一。它兼容 20 針和 22 針 DVP 攝像頭模塊，例如 OV5640、OV7670、OV2640 等。Raspberry PI 攝像頭 V1 包含一個配置有 MIPI-CSI 接口的 OV5640 傳感器。

?

?

。

?

。

?

?

?

?

VDMA

VDMA 配置為三緩沖模式。與使用單個緩沖區(qū)的情況不同，這有助于防止撕裂偽影。由于混合器 AXI4-Stream 數(shù)據(jù)總線的輸出長度為 24bit（每種顏色 8 位），因此流數(shù)據(jù)寬度配置為 24bits。行緩沖區(qū)寬度至少應為掃描線寬度的大小。在這種情況下，對于 1280x720p 分辨率，使用了 2048 的緩沖區(qū)深度。

?

。有趣的是，IP 使用的是第 4 版，但 SDK 驅動程序使用的是第 5 版。關于此 IP，有幾個重要的注意事項。它需要外部重置，用戶指南中沒有明確提及。

SDK 驅動程序也有點錯誤，因此必須修改底層 BSP 驅動程序才能獲得工作設置。

?

VTC 配置為生成模式，分辨率為 1280x720p。

HDMI流水線

第二個版本實現(xiàn)了使用板載 HDMI 解碼器的管道。在這種情況下，必須通過使用 RGB 到 YCbCr 色度 IP (RGB -> YUV444) 來實現(xiàn)色彩空間轉換，然后將色度分量從 YUV444 重新采樣到 YUV422。

攝像頭配置

該 FMC 的主要優(yōu)點是您可以使用不同的 DVP 攝像頭（OV7670、OV2640、OV5640），甚至可以使用兩個具有 MIPI-CSI 接口的 Raspberry Pi V1 攝像頭。

作為圖像傳感器，使用了 OV5640 DVP 相機傳感器。主要原因是在通常的網(wǎng)站上可以找到幾乎開源的配置代碼。

由于攝像機使用 SCCB（I2C 的克?。┻M行配置。要配置兩臺攝像機，通常一個會使用多路復用器。但是，此 FMC 卡使用為每個攝像機分配的單獨引腳。

時鐘同步

在立體設置中，同步是處理 DVP 圖像傳感器時出現(xiàn)的另一個問題。每個傳感器都有一個主時鐘 (XCLK)。這個時鐘決定了像素輸出時鐘，但對于這些相機的 VGA 分辨率，它通常在 24Mhz 左右。

為了避免 FPGA 上出現(xiàn)額外的同步問題，F(xiàn)MC 被配置為向兩個相機提供相同的 XCLK。如果不是這種情況，則必須使用 FIFO 并手動確定從一臺攝像機到另一臺攝像機的延遲時間。

該設計由 Vivado 框圖和 SDK (Vitis) 裸機固件組成。

?

?

利用率和時間

?

。。該設計用作在 FPGA 上實現(xiàn)立體聲算法的測試平臺。