日前，中星微把實(shí)際安防項(xiàng)目經(jīng)驗(yàn)應(yīng)用到PASCAL VOC數(shù)據(jù)集，并成功在一步法（one-stage）算法中取得了第一名的好成績(jī)。中星微人工智能芯片技術(shù)公司董事長(zhǎng)兼總經(jīng)理張韻東表示：“中星微首次將安防監(jiān)控應(yīng)用經(jīng)驗(yàn)與國(guó)際算法競(jìng)賽數(shù)據(jù)集相結(jié)合，使得嵌入式前端設(shè)備也能達(dá)到與云端智能相媲美的效果，取得了可喜可賀的成績(jī)，但這只是一個(gè)的開(kāi)始，相信未來(lái)會(huì)帶來(lái)更多更精彩的內(nèi)容?！?/p>

目標(biāo)檢測(cè)是機(jī)器視覺(jué)中一個(gè)最重要和最早研究領(lǐng)域之一，也是一切機(jī)器視覺(jué)任務(wù)基礎(chǔ)，因此在目標(biāo)檢測(cè)算法方面，國(guó)際巨頭公司和科研機(jī)構(gòu)紛紛進(jìn)入這個(gè)領(lǐng)域，是兵家必爭(zhēng)之地，競(jìng)爭(zhēng)非常激烈，也是目前在實(shí)際場(chǎng)景應(yīng)用最成功的領(lǐng)域，包括安防監(jiān)控、自動(dòng)駕駛等多個(gè)領(lǐng)域。

日前，中星微把實(shí)際安防項(xiàng)目經(jīng)驗(yàn)應(yīng)用到PASCAL VOC數(shù)據(jù)集，并成功在一步法（one-stage）算法中取得了第一名的好成績(jī)，獲得87.2% mAP精度，超越了大部分兩步法（two-stage）的算法，也證明了一步法（one-stage）可以做到精度和速度雙贏。

什么是目標(biāo)檢測(cè)？

目標(biāo)檢測(cè)就是判斷給一副圖像上是否存在感興趣的物體，如果存在，就給出所有感興趣物體的類別和位置（What and Where）。PASCAL VOC是由利茲大學(xué)、蘇黎世聯(lián)邦理工學(xué)院、愛(ài)丁堡大學(xué)、微軟、牛津大學(xué)等組織的一個(gè)視覺(jué)識(shí)別競(jìng)賽，包含了物體分類、目標(biāo)檢測(cè)、圖像分割等任務(wù)，對(duì)計(jì)算機(jī)視覺(jué)的發(fā)展具有深遠(yuǎn)而巨大的影響。其中,目標(biāo)檢測(cè)任務(wù)囊括了車、人、貓、狗等20類常見(jiàn)目標(biāo)，訓(xùn)練樣本較少、場(chǎng)景變化多端，非常具有挑戰(zhàn)性。

圖二

圖三

兩步法檢測(cè)法和一步法檢測(cè)法

目前主流的目標(biāo)檢測(cè)算法主要是基于深度學(xué)習(xí)模型，其可以分成兩大類：

1）兩步法（two-stage）檢測(cè)算法，其將檢測(cè)問(wèn)題劃分為兩個(gè)階段，首先產(chǎn)生候選區(qū)域（region proposals），然后對(duì)候選區(qū)域分類（一般還需要對(duì)位置精修），這類算法的典型代表是基于region proposal的R-CNN系算法，如R-CNN，F(xiàn)ast R-CNN，F(xiàn)aster R-CNN等；

2）一步法（one-stage）檢測(cè)算法，其不需要region proposal階段，直接產(chǎn)生物體的類別概率和位置坐標(biāo)值，比較典型的算法如YOLO和SSD。目標(biāo)檢測(cè)模型的主要性能指標(biāo)是檢測(cè)準(zhǔn)確度和速度，對(duì)于準(zhǔn)確度，目標(biāo)檢測(cè)要考慮物體的定位準(zhǔn)確性，而不單單是分類準(zhǔn)確度。

一般情況下，兩步法（two-stage）算法在準(zhǔn)確度上有優(yōu)勢(shì)，而一步法（one-stage）算法在速度上有優(yōu)勢(shì)。但在工業(yè)界應(yīng)用中，一定要考慮速度和精度的平衡，特別是前端智能應(yīng)用中，受到計(jì)算資源的限制，一般都會(huì)選擇一步法（one-stage）的算法，基礎(chǔ)網(wǎng)絡(luò)盡量選擇輕量級(jí)的網(wǎng)絡(luò)，比如MobileNet等。

中星微2016年6月成功研發(fā)了神經(jīng)網(wǎng)絡(luò)處理器NPU（Neural-network Processing Unit），此NPU集成到星光智能一號(hào)VC0758芯片中，成為中國(guó)首款嵌入式神經(jīng)網(wǎng)絡(luò)處理器SOC芯片，針對(duì)前端智能的應(yīng)用，中星微一直致力于研發(fā)可部署到端上的輕量級(jí)深度學(xué)習(xí)算法。

經(jīng)過(guò)幾年的研發(fā)積累，把實(shí)際安防項(xiàng)目經(jīng)驗(yàn)應(yīng)用到PASCAL VOC數(shù)據(jù)集，并成功在一步法（one-stage）算法中取得了第一名的好成績(jī)。中星微VIM_SSD網(wǎng)絡(luò)，基于SSD深度學(xué)習(xí)目標(biāo)檢測(cè)算法的架構(gòu)，融合多種機(jī)制和策略，并對(duì)網(wǎng)絡(luò)進(jìn)行了大量的優(yōu)化?；A(chǔ)網(wǎng)絡(luò)采用VGG16，并未使用ResNet-101, ResNet-152等更復(fù)雜的網(wǎng)絡(luò)，保證精度的情況下速度更快；同時(shí)整個(gè)網(wǎng)絡(luò)為全卷積網(wǎng)絡(luò)，可以自如調(diào)節(jié)檢測(cè)目標(biāo)的分辨率和使用場(chǎng)景，更容易在實(shí)際系統(tǒng)中部署。

下表是目前PASCAL VOC競(jìng)賽前十名，可以看出，下面算法中大部分應(yīng)用了更復(fù)雜的基礎(chǔ)網(wǎng)絡(luò)ResNet-101和ResNet-152，并使用了兩步法。

圖四

制約前端智能發(fā)展的限制條件

中星微人工智能芯片技術(shù)公司研發(fā)副總艾國(guó)表示：“最近幾年，隨著深度學(xué)習(xí)方法的復(fù)興和快速發(fā)展，算法方面取得了巨大的進(jìn)展和突破，但前端智能的發(fā)展較為落后，其主要原因受限于前端的計(jì)算資源，因此搭載輕量級(jí)深度神經(jīng)網(wǎng)絡(luò)是前端智能發(fā)展必由之路，中星微一直致力于研發(fā)能夠和NPU緊密結(jié)合的輕量級(jí)深度神經(jīng)網(wǎng)絡(luò)，和可快速編譯、移植和部署的嵌入式智能應(yīng)用方案?！?/p>

機(jī)制和策略

VIM_SSD采用了如下主要的機(jī)制和策略：1）使用FPN，融合多層特征。2）使用inception結(jié)構(gòu)，提供多種感受野。3）使用SE結(jié)構(gòu)，增強(qiáng)有用特征，抑制無(wú)用特征。4）加入基于框的語(yǔ)義監(jiān)督，增強(qiáng)提取到特征的語(yǔ)義信息。

圖五

FPN是指將深層特征經(jīng)過(guò)放大，融合到低層特征中，以增強(qiáng)低層特征的語(yǔ)義信息。我們?cè)谶@個(gè)基礎(chǔ)上，將融合后的特征做了一些處理，以使其適應(yīng)檢測(cè)任務(wù)。我們觀察到網(wǎng)絡(luò)的anchor box并不全是1:1的，還可以有1:2，1:3，2:1，3:1，但是已有網(wǎng)絡(luò)的卷積核都是MxM。我們引入inception+SE結(jié)構(gòu)，一方面在其中加入1x3，3x1的卷積核，使其能夠更好地提取非正方形的特征，另一方面引入SE模塊，讓網(wǎng)絡(luò)為每種長(zhǎng)寬比的目標(biāo)自動(dòng)選擇相應(yīng)的特征。

語(yǔ)義分割方面，在很多文章中已經(jīng)有證明，它對(duì)目標(biāo)檢測(cè)是有促進(jìn)作用的。但是由于數(shù)據(jù)標(biāo)注難度大，在實(shí)際項(xiàng)目部署過(guò)程中比較困難，所以我們采用基于框的語(yǔ)義信息，對(duì)網(wǎng)絡(luò)語(yǔ)義特征提取進(jìn)行監(jiān)督。

VIM_SSD作者之一楊敏表示：“我們從2016年開(kāi)始研究輕量級(jí)深度神經(jīng)網(wǎng)絡(luò)，并在多個(gè)實(shí)際項(xiàng)目中使用和部署，這次主要是想把項(xiàng)目積累的經(jīng)驗(yàn)和方法在公開(kāi)數(shù)據(jù)集上做一次嘗試，也是對(duì)過(guò)去工作一次階段性總結(jié)。”

中星微人工智能芯片技術(shù)公司董事長(zhǎng)兼總經(jīng)理張韻東表示：“中星微首次將安防監(jiān)控應(yīng)用經(jīng)驗(yàn)與國(guó)際算法競(jìng)賽數(shù)據(jù)集相結(jié)合，使得嵌入式前端設(shè)備也能達(dá)到與云端智能相媲美的效果，取得了可喜可賀的成績(jī)，但這只是一個(gè)的開(kāi)始，相信未來(lái)會(huì)帶來(lái)更多更精彩的內(nèi)容。”