網(wǎng)上對于FPGACNN加速的研究已經(jīng)很多了，神經(jīng)網(wǎng)絡(luò)的硬件加速似乎已經(jīng)滿大街都是了，這里我們暫且不討論誰做的好誰做的不好，我們只是根據(jù)許許多多的經(jīng)驗來總結(jié)一下實現(xiàn)硬件加速，需要哪些知識，考慮哪些因素。

很多人都說在做FPGA的神經(jīng)網(wǎng)絡(luò)加速，可是有多少人真正拿出了實際結(jié)果，可能大部分人就是用HLS（高層次綜合）寫了個四五層的小網(wǎng)絡(luò)，或者簡單實現(xiàn)了一下卷積操作。真正要用FPGA做加速，得先明白算法的整體流程以及數(shù)據(jù)的輸入輸出形式，然后結(jié)合FPGA的特點設(shè)計相應(yīng)的加速結(jié)構(gòu)，在結(jié)構(gòu)設(shè)計層次里面涉及到一些關(guān)鍵的點。例如，如何加速原始卷積（winograd、fft或者其他），如何對數(shù)據(jù)進行復(fù)用減少數(shù)據(jù)的搬移次數(shù)，如何設(shè)計合理的流水線結(jié)構(gòu)。在算法層次，需要對計算進行量化，因為現(xiàn)有的算法大部分都是浮點運算，F(xiàn)PGA 擅長定點運算，所以必須量化，卷積層量化方法有dynamic fixed point 方法，有聚類方法，也有mini float point 方法等等，當然除了卷積，還有softmax等分類算法如何量化，NMS如何在硬件上實現(xiàn)。另外目前的神經(jīng)網(wǎng)絡(luò)越做越大，F(xiàn)PGA資源有限，因此對網(wǎng)絡(luò)進行裁剪也是一個需要關(guān)注的問題。

總的來說用FPGA 加速神經(jīng)網(wǎng)絡(luò)，是一個整體性工程，需要軟件和硬件協(xié)同配合，另外硬件這邊除了核心算法，還需要考慮數(shù)據(jù)的輸入以及調(diào)度形式，可能需要用PCIE 等高速接口實時傳入圖像，再利用DDR3/4對計算的部分結(jié)果進行緩存，當網(wǎng)絡(luò)確定，而一個FPGA 資源又不夠用的時候，可能需要考慮兩個FPGA 互聯(lián)，那就需要用到光口或者其他高速接口，這些外圍高速接口，如果之前沒有接觸過，任何一個都可能花費相當長的時間。所以說，做FPGA 加速，一個人是絕對不行的，另外，目前能夠進行神經(jīng)網(wǎng)絡(luò)加速的FPGA ，xilinx 的UltraScale K/V/Zynq系列是比較合適的，但是這些屬于高端FPGA，當然，不是說中低端不行，而是以目前主流網(wǎng)絡(luò)和現(xiàn)有的優(yōu)化手段，在資源較少的FPGA 上進行加速難度較大，而高端FPGA 價格都比較高，所以必須得考慮成本問題。