在近期舉辦的嵌入式視覺大會上，來自Xilinx合作伙伴安富利（Avnet）的高級FPGA/DSP設(shè)計工程師Mario Bergeron向大家展示了一款雙攝像頭采集圖像并實現(xiàn)融合的演示Demo。硬件平臺采用的是Avnet PicoZed SOM（片上系統(tǒng)），核心集成的是Xilinx Zynq Z-7030 SoC，同時還用到了PicoZed嵌入式開發(fā)套件的FMC擴展板卡等模塊。采用的兩款攝像頭分別是FMC接口的Python-1300-C彩色圖像傳感器，分辨率達(dá)1280x1024，配置靈活，敏感度高，性能高，主要應(yīng)用于工業(yè)圖像采集應(yīng)用，同樣是安富利（Avnet）公司設(shè)計生產(chǎn)的。另一個攝像頭采用的是FLIR紅外熱成像傳感器，輸出60x80分辨率的紅外視頻流，通過Pmod接口實現(xiàn)與PicoZed SoM的通信與數(shù)據(jù)傳輸。

圖1：安富利（Avnet）雙攝像頭圖像融合應(yīng)用模塊設(shè)計

首先對彩色圖像進(jìn)行了Sobel邊緣檢測處理，然后對紅外圖像進(jìn)行拉伸處理（warped）并重新調(diào)整大?。╮esize），這樣才能夠?qū)煞鶊D像進(jìn)行融合。開發(fā)過程中充分借助了Xilinx reVISION Stack資源，Sobel邊緣檢測和重新調(diào)整圖像大小的算法都直接來自reVISION Stack提供的算法庫，圖像融合部分是工程師Mario Bergeron采用C語言實現(xiàn)的，因為這三部分算法模塊都是計算密集型任務(wù)，因此采用Vivado HLS進(jìn)行綜合創(chuàng)建硬件加速器模塊，然后借助SDSoC工具實現(xiàn)加速器模塊與ARM處理器的通信連接，生成軟件接口驅(qū)動程序。

圖2：安富利（Avnet）圖像融合方案設(shè)計開發(fā)流程

整個系統(tǒng)的性能如何呢？我們以Sobel邊緣檢測模塊做一下對比，如果采用非硬件加速的Sobel算法，使得Zynq Z-7030 SoC的ARM Cortex-A9處理器的負(fù)載瞬間達(dá)到100%，輸出的圖像也僅為1幀/秒，如果采用硬件加速即使用Zynq Z-7030 SoC的可編程資源來實現(xiàn)圖像輸出能夠達(dá)到30幀/秒，同時ARM處理器的負(fù)載也降低了80%，具體測試情況如下面視頻所示：

Xilinx reVISION Stack包括豐富的平臺、算法和應(yīng)用開發(fā)資源，支持最流行的神經(jīng)網(wǎng)絡(luò)，針對應(yīng)用層開發(fā)，提供完善工業(yè)級框架，包括面向機器學(xué)習(xí)的Caffe和面向計算機視覺的OpenVX。Xilinx reVISION Stack支持更廣泛的沒有或者很少硬件設(shè)計專業(yè)知識的嵌入式軟件和系統(tǒng)工程師，使其與機器學(xué)習(xí)、計算機視覺、傳感器融合，從而可以更快速地開發(fā)視覺導(dǎo)向的智能系統(tǒng)。