1.?? 引言

基于RJIBI公司硬件開發(fā)套件的YOLO-V3物體識(shí)別檢測(cè)算法的相應(yīng)軟、硬件實(shí)現(xiàn)。

本文主要闡述和規(guī)定了兩大部分內(nèi)容：（1）機(jī)器學(xué)習(xí)推理框架針對(duì)在MPSOC FPGA平臺(tái)上的ARM核心的軟件部署方法（2）針對(duì)MPSOC FPGA平臺(tái)的YOLOV-V3算法和相關(guān)接口的硬件實(shí)現(xiàn)和部署流程。

主要指標(biāo)

（1）FPGA硬件計(jì)算平臺(tái)為 RJIBI FACE系列板卡套件

（2）深度學(xué)習(xí)訓(xùn)練框架：采用YOLO 原作者使用的 Darknet 訓(xùn)練框架

（3）深度學(xué)習(xí)推理框架：TensorFlow Lite、Caffe2

（4）支持目標(biāo)檢測(cè)網(wǎng)絡(luò)模型：YOLO-V3，YOLO-V3-Tiny

（5）目標(biāo)檢測(cè)網(wǎng)絡(luò)模型推理精度（mAP）在COCO數(shù)據(jù)集上：

YOLO-V3 ≥ 55%

YOLO-V3-Tiny ≥ 30%

（6）目標(biāo)檢測(cè)網(wǎng)絡(luò)參數(shù)存儲(chǔ)位寬要求：

YOLO-V3 采用IEEE 754 標(biāo)準(zhǔn)的32-bit浮點(diǎn)數(shù)

YOLO-V3-Tiny 采用16-bit定點(diǎn)數(shù)

（7）關(guān)鍵性能指標(biāo)在416X416圖片上的參數(shù)：

目標(biāo)檢測(cè)速率：

YOLO-V3 ≥ 10幀/秒

YOLO-V3-Tiny ≥ 60 幀/秒

系統(tǒng)設(shè)計(jì)功耗：

FPGA + ARM 異構(gòu)處理器 ≤ 20W

系統(tǒng)峰值32-bit浮點(diǎn)計(jì)算能力：

FPGA + ARM 異構(gòu)處理器 ≥ 100GFlops

（8）模塊化、可重用、可配置的深度學(xué)習(xí)FPGA加速IP核：

卷積層、Batch Normalization 層、池化層

硬件資源評(píng)估：

（1）??? ARM CPU：MPSOC異構(gòu)芯片整合了ARM比較先進(jìn)的64位雙核Cortex-A53核心，其運(yùn)行頻率最高可達(dá)1.3GHz。這款CPU內(nèi)核對(duì)于邊緣計(jì)算的嵌入式設(shè)備來說已經(jīng)是非常強(qiáng)大的通用計(jì)算核心，所以在這款CPU上搭載常用的64位Linux 操作系統(tǒng)（Ubuntu 16.04/18.04 LTS）。

（2）??? ARM CPU 對(duì)應(yīng)內(nèi)存：板卡中為 ARM核配備的內(nèi)存只有512MB，這個(gè)內(nèi)存容量對(duì)于動(dòng)輒內(nèi)存占用GB級(jí)別的大型深度學(xué)習(xí)推理框架（TensorFlow、Pytorch）來說是明顯不夠的。因此擬采用針對(duì)嵌入式平臺(tái)的深度學(xué)習(xí)推理框架（TensorFlow Lite、Caffe2）對(duì)YOLO-V3物體識(shí)別網(wǎng)絡(luò)進(jìn)行支持。

（3）??? FPGA 硬件資源：MPSOC異構(gòu)芯片的FPGA核心部分擁有600K以上系統(tǒng)邏輯單元（System Logic Cell）、32.1Mb片上存儲(chǔ)資源、2520個(gè)數(shù)字信號(hào)處理單元（DSP Slice）和328個(gè)IO接口。其FPGA邏輯部分最高頻率可到500MHz。

（4）??? FPGA 核心對(duì)應(yīng)內(nèi)存：FACE板卡為FPGA核心配備了可以獨(dú)立于CPU核心進(jìn)行DMA操作的 4GB DDR4 64-bit SODIMM 內(nèi)存，經(jīng)過乙方的深度、詳盡的測(cè)試，其峰值讀寫性能可達(dá)4GB/s。經(jīng)過乙方的詳細(xì)估算，其DMA訪存的讀寫性能是可以滿足甲方所提的YOLO-V3目標(biāo)檢測(cè)網(wǎng)絡(luò)的關(guān)鍵性能指標(biāo)。因此，乙方擬將參數(shù)模型和推理所用的數(shù)據(jù)集預(yù)先存儲(chǔ)在FPGA核心對(duì)應(yīng)的DDR4內(nèi)存上，隨后再進(jìn)行推理操作，并測(cè)量YOLO-V3網(wǎng)絡(luò)的具體性能指標(biāo)。

軟件概述

（1）?????? YOLO-V3 和 YOLO-V3-Tiny 網(wǎng)絡(luò)的深度學(xué)習(xí)訓(xùn)練框架，采用YOLO原作者使用的Darknet框架，因?yàn)檫@個(gè)框架是開源框架中唯一能完美復(fù)現(xiàn)YOLO-V3和YOLO-V3-Tiny網(wǎng)絡(luò)訓(xùn)練結(jié)果的框架。 ? ? ? ? ? ? ? ? ? ? ? ? ? ? ? ? ? ? ? ? ? ? ? ? ? ? ? ? ? ? ? ?
? ?針對(duì)FPGA的深度學(xué)習(xí)網(wǎng)絡(luò)加速器性能設(shè)計(jì)的關(guān)鍵是在具體的計(jì)算并行度和訪存并行度之間進(jìn)行一個(gè)最有的折中，因?yàn)槿魏斡?jì)算平臺(tái)都有其理論的計(jì)算和訪存性能峰值。為此，針對(duì)計(jì)算平臺(tái)的Roofline 性能尋優(yōu)的具體算法和程序。該算法或程序的輸入?yún)?shù)為：（1）需要加速的YOLO網(wǎng)絡(luò)具體參數(shù)（格式可以常用的.cfg深度神經(jīng)網(wǎng)絡(luò)配置文件格式）（2）FPGA平臺(tái)的FPGA核心硬件資源和對(duì)應(yīng)片外訪存的峰值性能指標(biāo)。該算法對(duì)應(yīng)的輸出為，在不同訪存/計(jì)算并行度條件下，位于最優(yōu)的帕累托曲線上的硬件設(shè)計(jì)。其輸入結(jié)果如下圖所示。

硬件方案概述

硬件平臺(tái)的具體形況分析，本軟件方案簡(jiǎn)要概述如下：

（1）? ??ARM-FPGA片上AMBA總線接口如下圖紅色方框所示。在可編程邏輯（Programmable Logic）也就是FPGA和ARM核心之間是通過片上的AMBA高速總線進(jìn)行信息交互的。因此為了使用CPU+FPGA的異構(gòu)架構(gòu)對(duì)YOLO目標(biāo)檢測(cè)網(wǎng)絡(luò)進(jìn)行硬件加速，乙方需要為ARM核心上的軟件程序提供調(diào)用FPGA硬件深度學(xué)習(xí)IP硬件核心的軟件調(diào)用方法和相應(yīng)的硬件支持接口和協(xié)議。為此開發(fā)針對(duì)卷積、Batch Normalization和池化層的硬件調(diào)用接口。

（2）??? FPGA核心DMA訪存硬件接口。根據(jù)硬件開發(fā)平臺(tái)和相應(yīng)YOLO-V3網(wǎng)絡(luò)算法的分析，將YOLO網(wǎng)絡(luò)參數(shù)和推理所需的圖片存儲(chǔ)在FPGA核心對(duì)用的DDR4內(nèi)存中。根據(jù)Roofline 模型，DMA訪存帶寬的大小直接決定了相應(yīng)加速器的最終系統(tǒng)性能指標(biāo)。因此針對(duì)YOLO-V3模型參數(shù)的讀取、不同網(wǎng)絡(luò)層中間結(jié)果緩存和識(shí)別結(jié)果的寫入提供了靈活、模塊化、和高度優(yōu)化的DMA訪存硬件模塊設(shè)計(jì)。

（3）??? FPGA硬件算子設(shè)計(jì)。YOLO目標(biāo)檢測(cè)網(wǎng)絡(luò)主要由卷積層、Batch Normalization層和池化層這三種算子組成。接口均采用AXI總線的標(biāo)準(zhǔn)格式進(jìn)行封裝，并且采用模塊化、可復(fù)用、易懂的代碼風(fēng)格進(jìn)行編寫。

（4）?? YOLO 硬件加速器算子間流水線、緩存優(yōu)化設(shè)計(jì)。在將YOLO網(wǎng)絡(luò)的某一層映射到FPGA硬件的過程中，有非常多的優(yōu)化參數(shù)需要確定，如每一個(gè)數(shù)據(jù)點(diǎn)的處理順序、存儲(chǔ)位置和并行處理單元的數(shù)量和實(shí)現(xiàn)算法，這些參數(shù)并不會(huì)改變神經(jīng)網(wǎng)絡(luò)原有的結(jié)構(gòu)和運(yùn)算的結(jié)果，但卻是決定流水線性能、能耗和資源消耗的關(guān)鍵指標(biāo)。為解決這個(gè)問題，需基于線性緩沖區(qū)的單層網(wǎng)絡(luò)調(diào)度方案，降低流水線延遲和提高數(shù)據(jù)在FPGA片上的重用率。從性能和能效性考慮，將YOLO神經(jīng)網(wǎng)絡(luò)的不同層連接起來并實(shí)現(xiàn)層與層之間的流水線是最好的選擇，但是在具體實(shí)現(xiàn)過程中有很多困難。首先，在神經(jīng)網(wǎng)絡(luò)的實(shí)際運(yùn)行過程中，上一層的輸出數(shù)據(jù)和下一層的輸入數(shù)據(jù)的格式、速率和排布方式等并不相同，因此如何合理的實(shí)現(xiàn)不同層之間的數(shù)據(jù)互聯(lián)是是一個(gè)亟待解決的問題。其次，F(xiàn)PGA的片上資源是有限的，如何將盡可能多的甚至整個(gè)神經(jīng)網(wǎng)絡(luò)層都映射到FPGA上并實(shí)現(xiàn)高效的流水線非常困難的，這
就需要一個(gè)跨層的流水線整體調(diào)度方案。

lw