Vitis 視頻分析 SDK構(gòu)建自己的智能視頻分析解決方案

Vitis 視頻分析 SDK 旨在 Xilinx 目標(biāo)平臺(tái)或您自己的平臺(tái)上構(gòu)建和部署支持人工智能功能的智能視頻分析解決方案的完整軟件堆棧。它從 USB/MIPI 攝像頭輸入，通過(guò) RTSP 從文件或數(shù)據(jù)流獲取視頻，并使用 Vitis AI 從像素點(diǎn)為各種使用案例生成深度洞察，比如了解智慧城市的交通和行人、醫(yī)院的健康與安全監(jiān)控、自助結(jié)賬以及零售分析等，從而可檢查生產(chǎn)設(shè)施等的組件缺陷。

核心 SDK 包含多個(gè)硬件加速器插件，該插件使用各種加速器，如視頻編碼器、解碼器、多尺度器（用于調(diào)整大小和色彩空間轉(zhuǎn)換）以及用于人工智能推斷的深度學(xué)習(xí)處理單元 （DPU） 等。通過(guò)在專(zhuān)用加速器中執(zhí)行所有計(jì)算量大的操作，它可實(shí)現(xiàn)視頻分析應(yīng)用的最高性能。

對(duì)于開(kāi)發(fā)者社區(qū)，Vitis 視頻還提供一個(gè)通用基礎(chǔ)架構(gòu)插件形式的框架、軟件加速庫(kù)和一個(gè)簡(jiǎn)化的接口，可供用戶(hù)開(kāi)發(fā)自己的加速庫(kù)，控制自定義的硬件加速器。使用這個(gè)框架，用戶(hù)可輕松將其自定義加速器/內(nèi)核集成在 Vitis 視頻分析 SDK 中。它建立在 Xilinx 運(yùn)行時(shí) （XRT）、Vitis 和 Vitis AI 基礎(chǔ)之上，并抽象了這些復(fù)雜的接口，有助于開(kāi)發(fā)人員更輕松地構(gòu)建視頻分析應(yīng)用。

采用 Vitis 視頻分析 SDK，應(yīng)用可部署在基于 Zynq UltraScale+ MPSoC 的嵌入式平臺(tái)上，如 kira SoM 和 ZCU104 或 PCIe 加速平臺(tái)，其中包括 Alveo U30、U50 和 VCK 5000 等。

Vitis 視頻分析 SDK 圖形架構(gòu)

Vitis 視頻分析 SDK 是一種使用開(kāi)源 GStreamer 框架構(gòu)建的優(yōu)化圖形架構(gòu)，下圖是一個(gè)從輸入視頻到輸出元數(shù)據(jù)的典型視頻分析應(yīng)用，所有單獨(dú)的模塊都是所用的各種插件，所有單獨(dú)的模塊都是所用的各種插件，底部是在整個(gè)應(yīng)用中使用的不同硬件引擎，插件之間無(wú)內(nèi)存拷貝的最佳內(nèi)存管理和各種加速器的使用，可確保最高性能。

Vitis 視頻分析 SDK 核心組件

定制插件

高度優(yōu)化的 GStreamer 插件旨在使用 Xilinx 平臺(tái)上的優(yōu)化內(nèi)核和 IP 提供非常具體的功能。

基礎(chǔ)架構(gòu)插件

這些是正在開(kāi)發(fā)的通用基礎(chǔ)架構(gòu) GStreamer 插件，可幫助用戶(hù)將其內(nèi)核集成在 GStreamer 框架中。

加速軟件庫(kù)

這些是為管理加速內(nèi)核 /IP 的狀態(tài)機(jī)而開(kāi)發(fā)的優(yōu)化加速軟件庫(kù)，可公開(kāi)界面，以便將這些加速軟件庫(kù)連接到 VVAS 通用基礎(chǔ)架構(gòu)插件中。這些可用作開(kāi)發(fā)基于 VVAS 框架的加速庫(kù)的參考。

加速硬件（內(nèi)核/ IP）

這些都是 Xilinx 開(kāi)發(fā)的高度優(yōu)化的內(nèi)核。

參考平臺(tái)與應(yīng)用

VVAS 提供多種參考平臺(tái)，以滿(mǎn)足不同應(yīng)用/解決方案的需求。

完整的軟件堆棧

性能與可擴(kuò)展性

在邊緣、本地和云端間提供業(yè)界一流的端到端性能

靈活應(yīng)變性與靈活性

不僅提供高度靈活的分析工作流程，而且還提供廣泛的 AI 模型，可充分滿(mǎn)足您的需求

生產(chǎn)力 & TCO

從快速原型設(shè)計(jì)到全面投產(chǎn)，開(kāi)發(fā)工作更少，部署成本更低

最佳性能展示

來(lái)源：WP529，通過(guò) Vitis VAS 和 Deepstream 5.0 使用 Uncanny Vision 的 ANPR 應(yīng)用進(jìn)行了基準(zhǔn)測(cè)試

AI 模型：Yolov3（416x416） + 3 * Resnet18（224x224），使用 Vitis VAS 和 Deepstream 5.0 進(jìn)行了基準(zhǔn)測(cè)試

責(zé)任編輯：haq