作者：Jeff Shepard

許多應(yīng)用對(duì)機(jī)器視覺(jué)的需求在不斷增長(zhǎng)，包括安防、交通和城市攝像頭、零售分析、自動(dòng)檢測(cè)、過(guò)程控制和視覺(jué)引導(dǎo)機(jī)器人技術(shù)。實(shí)現(xiàn)機(jī)器視覺(jué)是一個(gè)復(fù)雜的過(guò)程，需要整合不同的技術(shù)和子系統(tǒng)，包括高性能硬件和先進(jìn)的人工智能/機(jī)器學(xué)習(xí)（AI/ML） 軟件。機(jī)器視覺(jué)從優(yōu)化視頻采集技術(shù)和視覺(jué) I/O以滿足應(yīng)用需求開(kāi)始，并延伸到多個(gè)圖像處理管道以實(shí)現(xiàn)高效連接。機(jī)器視覺(jué)最終取決于嵌入式視覺(jué)系統(tǒng)是否能夠通過(guò)高性能硬件執(zhí)行基于視覺(jué)的實(shí)時(shí)分析。這些硬件如現(xiàn)場(chǎng)可編程門(mén)陣列（FPGA）、系統(tǒng)級(jí)模塊 （SOM）、系統(tǒng)級(jí)芯片 （SoC），甚至是運(yùn)行所需的 AI/ML 圖像處理和識(shí)別軟件的系統(tǒng)級(jí)芯片上多處理器系統(tǒng)（MPSoC）。這可能是一個(gè)復(fù)雜、昂貴且耗時(shí)的過(guò)程，可能會(huì)頻繁導(dǎo)致成本超支、進(jìn)度延誤。

與其從頭開(kāi)始，設(shè)計(jì)者還不如采用一種經(jīng)過(guò)精心策劃的高性能開(kāi)發(fā)平臺(tái)，從而在加快上市時(shí)間、控制成本并降低開(kāi)發(fā)風(fēng)險(xiǎn)的同時(shí)，支持應(yīng)用實(shí)現(xiàn)高度靈活性和高性能?；赟OM 的開(kāi)發(fā)平臺(tái)可以提供集成硬件和軟件環(huán)境，讓開(kāi)發(fā)人員專注于應(yīng)用定制并節(jié)省多達(dá)九個(gè)月的開(kāi)發(fā)時(shí)間。除了開(kāi)發(fā)環(huán)境外，同樣的 SOM架構(gòu)還可用于商業(yè)和工業(yè)環(huán)境下的生產(chǎn)優(yōu)化配置，以提高應(yīng)用的可靠性和質(zhì)量，進(jìn)一步降低風(fēng)險(xiǎn)并加快上市時(shí)間。

本文首先回顧與開(kāi)發(fā)高性能機(jī)器視覺(jué)系統(tǒng)有關(guān)的挑戰(zhàn)，然后介紹 AMD Xilinx 的 Kria KV260 視覺(jué) AI入門(mén)套件提供的全面開(kāi)發(fā)環(huán)境，最后以基于 Kira 26 平臺(tái)設(shè)計(jì)的即用型 SOM 為例進(jìn)行介紹。該平臺(tái)用于插入帶有特定解決方案外設(shè)的載板。

該開(kāi)發(fā)板從數(shù)據(jù)類型優(yōu)化開(kāi)始

深度學(xué)習(xí)算法的需求在不斷增加。不是每個(gè)應(yīng)用都需要高精度計(jì)算。目前正在使用的較低精度數(shù)據(jù)類型如 INT8，或者使用自定義數(shù)據(jù)格式?；?GPU的系統(tǒng)可能面臨這樣的挑戰(zhàn)，即試圖修改為高精度數(shù)據(jù)優(yōu)化的架構(gòu)，以有效地適應(yīng)低精度數(shù)據(jù)格式。Kria K26 SOM 可重新配置，使其能夠支持從 FP32 到INT8 等多種數(shù)據(jù)類型。可重復(fù)配置也有助于實(shí)現(xiàn)較低總體能耗。例如，與 FP32 運(yùn)行相比，針對(duì) INT8 優(yōu)化的運(yùn)行所消耗的能量會(huì)少一個(gè)數(shù)量級(jí)（圖 1）。

最優(yōu)架構(gòu)帶來(lái)最小功耗

根據(jù)典型的電源使用模式，基于多核 GPU 或 CPU 架構(gòu)的設(shè)計(jì)可能功耗大。

內(nèi)核部分能耗占 30%

內(nèi)部存儲(chǔ)器 （L1， L2， L3） 能耗占 30%

外部存儲(chǔ)器（如 DDR）能耗為 40%

GPU 需要頻繁地訪問(wèn)低效率 DDR 內(nèi)存以支持可編程性，這是高帶寬計(jì)算需求的瓶頸。Kria K26 SOM 中使用的 Zynq MPSoC架構(gòu)支持開(kāi)發(fā)只需少量訪問(wèn)或不訪問(wèn)外部存儲(chǔ)器的應(yīng)用。例如，在典型的汽車應(yīng)用中，GPU 和各種模塊之間的通信需要多次訪問(wèn)外部 DDR 存儲(chǔ)器來(lái)完成，而基于 ZynqMPSoC 的解決方案包含了一個(gè)旨在避免大多數(shù) DDR 訪問(wèn)的管道（圖 2）。

修剪的優(yōu)勢(shì)

可以通過(guò)人工智能優(yōu)化工具來(lái)增強(qiáng) K26 SOM
上的神經(jīng)網(wǎng)絡(luò)性能，這種工具可以實(shí)現(xiàn)數(shù)據(jù)優(yōu)化和修剪。神經(jīng)網(wǎng)絡(luò)被過(guò)度參數(shù)化的情況非常常見(jiàn)，從而導(dǎo)致了高水平冗余。這種情況可通過(guò)數(shù)據(jù)修剪和模型壓縮來(lái)進(jìn)行優(yōu)化。使用Xilinx 的人工智能優(yōu)化器可使模型復(fù)雜度降低至原來(lái)的 1/50，而對(duì)模型精度的影響卻微乎其微。例如，一個(gè)單次檢測(cè)器 （SSD） 加上一個(gè) VGG 卷積神經(jīng)網(wǎng)（CNN） 架構(gòu)且具有 117 千兆運(yùn)算 （Gops） 能力，使用人工智能優(yōu)化器經(jīng)過(guò) 11 次迭代修剪后得到了改進(jìn)。優(yōu)化前，該模型在 ZynqUltraScale+ MPSoC 上每秒運(yùn)行 18 幀 （FPS）。經(jīng)過(guò) 11 次迭代——該模型的第 12 次運(yùn)行，其復(fù)雜性從 117 Gops 降低至11.6Gops（約前者的 1/10），性能從 18 FPS 提升至 103 FPS（前者的 5 倍），物體檢測(cè)準(zhǔn)確性從 61.55 平均精度 （mAP）下降到 60.4 mAP（僅降低 1%）（圖 3）。

基于 Uncanny Vision 的視覺(jué)分析軟件，開(kāi)發(fā)出用于汽車車牌檢測(cè)、識(shí)別的機(jī)器學(xué)習(xí)應(yīng)用，也稱為汽車車牌識(shí)別 （ANPR） 應(yīng)用。ANPR用于自動(dòng)收費(fèi)系統(tǒng)、高速公路監(jiān)控、安全門(mén)和停車場(chǎng)入口以及其他應(yīng)用。這種車牌識(shí)別應(yīng)用包括一個(gè)基于人工智能的信息管道，對(duì)視頻進(jìn)行解碼并預(yù)處理圖像，然后進(jìn)行 ML檢測(cè)和 OCR 字符識(shí)別（圖 4）。

實(shí)現(xiàn)車牌識(shí)別需要一個(gè)或多個(gè) H.264 或 H.265 編碼的實(shí)時(shí)流媒體協(xié)議 （RTSP）饋送，這些饋送經(jīng)過(guò)解碼或未經(jīng)過(guò)壓縮。解碼后的視頻幀經(jīng)過(guò)縮放、裁剪、色彩空間轉(zhuǎn)換和標(biāo)準(zhǔn)化（預(yù)處理），然后發(fā)送至 ML 檢測(cè)算法。實(shí)現(xiàn)高性能車牌識(shí)別需要多階段 AI信息管道。在第一階段中，檢測(cè)并定位圖像中的車輛，創(chuàng)建關(guān)注區(qū)域 （ROI）。同時(shí)，其他算法優(yōu)化圖像質(zhì)量，供 OCR字符識(shí)別算法隨后使用，并以跨多幀的方式追蹤車輛運(yùn)動(dòng)。車輛 ROI 會(huì)被進(jìn)一步裁剪，生成供 OCR 算法處理的號(hào)牌 ROI，以確定號(hào)牌中的字符。與其他基于 GPU或 CPU 的商業(yè) SOM 相比，Uncanny Vision 的 ANPR 應(yīng)用在 Kira KV260 SOM 上的運(yùn)行速度快 2 到 3 倍，每個(gè)RTSP feed 的成本不到 100 美元。

智能視覺(jué)開(kāi)發(fā)環(huán)境

對(duì)于交通和城市攝像頭、零售分析、安防、工業(yè)自動(dòng)化和機(jī)器人等智能視覺(jué)應(yīng)用的設(shè)計(jì)者來(lái)說(shuō)，他們可以采用 Kria K26 SOM AI Starter開(kāi)發(fā)環(huán)境。這種開(kāi)發(fā)環(huán)境采用 Zynq? UltraScale+? MPSoC 架構(gòu)建立，并有一個(gè)不斷增長(zhǎng)的策劃應(yīng)用軟件包庫(kù)（圖 5）。AI StarterSOM 包括一個(gè)四核 Arm Cortex-A53 處理器，超過(guò) 25 萬(wàn)個(gè)邏輯單元以及一個(gè) H.264/265 視頻編解碼器。SOM 還具有 4GB DDR4存儲(chǔ)器、245 個(gè) IO 和 1.4 tera-ops人工智能計(jì)算，以支持創(chuàng)建高性能視覺(jué)人工智能應(yīng)用，進(jìn)而實(shí)現(xiàn)了與其他硬件方法相比，能以更低延遲、更低功耗提供超 3倍的性能。預(yù)構(gòu)建應(yīng)用可使初始設(shè)計(jì)在不到一小時(shí)內(nèi)即可開(kāi)始運(yùn)行。

為了幫助快速啟動(dòng)采用 Kria K26 SOM 的開(kāi)發(fā)過(guò)程，AMD Xilinx 提供了 KV260 視覺(jué) AI入門(mén)套件，其中包括電源適配器、以太網(wǎng)線、microSD 卡、USB 線、HDMI 線和攝像頭模塊（圖 6）。如果不需要整個(gè)入門(mén)套件，開(kāi)發(fā)人員可以簡(jiǎn)單地購(gòu)買可選的電源適配器，以開(kāi)始使用 Kira K26 SOM。

能夠加速開(kāi)發(fā)的另一個(gè)原因是功能全面，包括豐富的 1.8 V、3.3 V 單端和差分 I/O、四個(gè) 6 Gb/s 收發(fā)器和四個(gè) 12.5 Gb/s收發(fā)器。有了這些功能，就能夠開(kāi)發(fā)這樣的應(yīng)用——即在這些應(yīng)用中每個(gè) SOM 具有更多的圖像傳感器且這些應(yīng)用配備如 MIPI、LVDS、SLVS 和 SLVS-EC等各種傳感器接口。對(duì)于這些接口來(lái)說(shuō)，其支持設(shè)備并不總限于應(yīng)用特定型標(biāo)準(zhǔn)產(chǎn)品 （ASSP） 或 GPU。開(kāi)發(fā)人員還可以通過(guò)嵌入式可編程邏輯實(shí)現(xiàn)DisplayPort、HDMI、PCIe、USB2.0/3.0 和用戶定義的標(biāo)準(zhǔn)。

最后，通過(guò)將 K26 SOM 廣泛的硬件能力、軟件環(huán)境與生產(chǎn)就緒型視覺(jué)應(yīng)用相結(jié)合，簡(jiǎn)化人工智能應(yīng)用的開(kāi)發(fā)并使其變得更加容易。這些視覺(jué)應(yīng)用可以在不需要FPGA 硬件設(shè)計(jì)的情況下實(shí)現(xiàn)，并使軟件開(kāi)發(fā)人員能夠快速集成定制的 AI 模型和應(yīng)用代碼，甚至修改視覺(jué)管道。Xilinx 的 Vitis統(tǒng)一軟件開(kāi)發(fā)平臺(tái)和庫(kù)支持常見(jiàn)的設(shè)計(jì)環(huán)境，如 TensorFlow、Pytorch 和 Café 框架以及多種編程語(yǔ)言，包括 C、C++、OpenCL? 和Python。還有一個(gè)嵌入式應(yīng)用商店，用于使用來(lái)自 Xilinx 及其生態(tài)系統(tǒng)合作伙伴的 Kria SOM 的邊緣應(yīng)用。Xilinx產(chǎn)品免費(fèi)、開(kāi)源，包括智能攝像頭跟蹤和人臉檢測(cè)、帶有智能視覺(jué)的自然語(yǔ)言處理功能等。

生產(chǎn)優(yōu)化型 Kira 26 SOM

一旦開(kāi)發(fā)過(guò)程完成，就可以提供 K26 SOM 的生產(chǎn)就緒型版本，該版本用于插入配有特定解決方案外設(shè)的載板，可以加速向制造過(guò)渡（圖 7）?；镜?K26SOM 是商業(yè)級(jí)器件，其溫度等級(jí)為 0℃ 至 +85℃ 結(jié)溫（通過(guò)內(nèi)部溫度傳感器測(cè)量）。還可提供 工業(yè)級(jí)版本 K26 SOM，其額定工作溫度為 -40°C 至+100°C。

工業(yè)市場(chǎng)要求在惡劣的環(huán)境下具有更長(zhǎng)的運(yùn)行壽命。工業(yè)級(jí) Kria SOM 在 100°C 結(jié)溫和 80% 相對(duì)濕度下可運(yùn)行 10 年，并可承受高達(dá) 40 g的沖擊和 5 g 的均方根 （RMS） 振動(dòng)。該版本還具有最短十年的生產(chǎn)可用性，以支持長(zhǎng)的產(chǎn)品生命周期。

結(jié)語(yǔ)

諸如安全、交通和城市攝像頭、零售分析、自動(dòng)檢測(cè)、過(guò)程控制和視覺(jué)引導(dǎo)的機(jī)器人等機(jī)器視覺(jué)應(yīng)用設(shè)計(jì)者，可以采用 Kria K26 SOM AI啟動(dòng)器，以加快上市時(shí)間，協(xié)助控制成本并降低開(kāi)發(fā)風(fēng)險(xiǎn)。這種基于 SOM的開(kāi)發(fā)平臺(tái)提供了一個(gè)軟硬件集成環(huán)境，讓開(kāi)發(fā)者能專注于應(yīng)用定制并節(jié)省多達(dá)九個(gè)月的開(kāi)發(fā)時(shí)間。同樣的 SOM架構(gòu)可用于商業(yè)和工業(yè)環(huán)境中的生產(chǎn)優(yōu)化配置，進(jìn)一步加快上市時(shí)間。工業(yè)版的最低生產(chǎn)可用性為 10 年，可支持很長(zhǎng)的產(chǎn)品生命周期。