在 AI 邊緣計(jì)算領(lǐng)域，校企合作具有重要的意義。首先，AI 邊緣計(jì)算需要依托于硬件技術(shù)和軟件技術(shù)的雙重優(yōu)勢(shì)，而高校和企業(yè)都擁有豐富的資源和技術(shù)實(shí)力，可以共同研發(fā)出更加先進(jìn)的邊緣計(jì)算平臺(tái)和算法模型；其次，AI 邊緣計(jì)算涉及到大量的數(shù)據(jù)采集和處理，需要依托高性能計(jì)算和大數(shù)據(jù)技術(shù)，通過(guò)校企合作，雙方可以共同探索數(shù)據(jù)處理和分析的新方法，提高邊緣計(jì)算的效率和精度；最后，AI 邊緣計(jì)算需要依托于大量的專(zhuān)業(yè)人才，高?？梢酝ㄟ^(guò)與企業(yè)合作，讓學(xué)生更好地了解企業(yè)的實(shí)際需求和行業(yè)發(fā)展趨勢(shì)，從而更好地指導(dǎo)學(xué)生的學(xué)習(xí)和研究方向。

在此背景下，天津科技大學(xué)電子信息與自動(dòng)化學(xué)院郭肖勇老師和其指導(dǎo)的研究生，進(jìn)行了很多積極且有意義的探索工作。他們目前正專(zhuān)注于工業(yè)場(chǎng)景下的 AI 邊緣計(jì)算應(yīng)用?！霸诙鄶?shù)工業(yè)場(chǎng)景中，如建筑工地或者地鐵煤礦作業(yè)面，需要安裝大量的視頻監(jiān)控設(shè)備，保證施工人員的安全和操作的規(guī)范?！惫び吕蠋熣f(shuō)，“對(duì)于這些應(yīng)用場(chǎng)景，在 GPU 服務(wù)器上部署模型存在成本高、網(wǎng)絡(luò)流量消耗大以及能耗較大的問(wèn)題。因此，如何在邊緣系統(tǒng)中實(shí)現(xiàn)模型的部署，將各種傳感器采集的數(shù)據(jù)消化在邊緣，而只把有價(jià)值的分析結(jié)果發(fā)送回中心服務(wù)器，是一個(gè)有實(shí)際意義的研究方向?！?/p>

采用 Jetson Nano 開(kāi)發(fā)施工安全監(jiān)控系統(tǒng)

在工業(yè)場(chǎng)景中，目標(biāo)檢測(cè)的意義主要在于實(shí)現(xiàn)自動(dòng)化和提高生產(chǎn)效率，而深度學(xué)習(xí)已經(jīng)成為目標(biāo)檢測(cè)領(lǐng)域的主流算法。因?yàn)榛谏疃葘W(xué)習(xí)的算法能夠從單幀視頻畫(huà)面中識(shí)別出多個(gè)種類(lèi)、不同距離的多個(gè)目標(biāo)。并且，這種算法的準(zhǔn)確度和魯棒性均大幅地高于傳統(tǒng)的計(jì)算機(jī)視覺(jué)算法。

“深度學(xué)習(xí)模型的前向推理需要有一定算力的硬件來(lái)支持。傳統(tǒng)的單片機(jī)或者工控機(jī)，由于計(jì)算資源十分有限難以滿(mǎn)足需求。這也是長(zhǎng)久以來(lái)很多深度學(xué)習(xí)領(lǐng)域內(nèi)的科研成果無(wú)法落地、轉(zhuǎn)化為生產(chǎn)力的一個(gè)主要原因。”郭肖勇老師介紹，“NVIDIA 推出的面向嵌入式領(lǐng)域的Jetson 平臺(tái)，正好解決了這一難題。與其它的嵌入式系統(tǒng)相比，Jetson 平臺(tái)上搭載的通用GPU（GPGPU）不僅可以實(shí)現(xiàn)深度學(xué)習(xí)模型的部署，也可以實(shí)現(xiàn)其它各種算法或程序所需的高性能并行計(jì)算。更重要的是，NVIDIA 為 Jetson 平臺(tái)的開(kāi)發(fā)提供了全套的 SDK 和開(kāi)發(fā)者社區(qū)以及完整的生態(tài)系統(tǒng)，這樣不僅幫助開(kāi)發(fā)者有效地避坑避雷，也極大地節(jié)約了學(xué)習(xí)的時(shí)間成本?！?/p>

基于 Jetson 平臺(tái)，郭老師團(tuán)隊(duì)開(kāi)發(fā)了 Thrust Nano 5G 施工安全監(jiān)控系統(tǒng)。該系統(tǒng)采用Jetson Nano模塊作為計(jì)算核心。考慮到生產(chǎn)過(guò)程中環(huán)境復(fù)雜，為了保護(hù)脆弱的計(jì)算芯片，產(chǎn)品內(nèi)使用了穩(wěn)壓電源、銅制導(dǎo)熱板、全沖壓金屬外殼等手段。而為了與外部設(shè)備連接以構(gòu)成計(jì)算網(wǎng)絡(luò)，又引入了以太網(wǎng)接口和 4G/5G 物聯(lián)網(wǎng)卡。同樣，為了適用于更多的應(yīng)用場(chǎng)景，系統(tǒng)還增加一對(duì)內(nèi)置的音量大小可調(diào)節(jié)的音箱。在軟件方面，程序全部使用 Python 開(kāi)發(fā)，并對(duì)關(guān)鍵部分的代碼用 Numba 進(jìn)行加速，以提高程序的性能。內(nèi)置的深度學(xué)習(xí)模型全部基于NVIDIA TensorRT SDK和DeepStream SDK進(jìn)行優(yōu)化和部署，這使得模型推理速度遠(yuǎn)遠(yuǎn)大于基于 PyTorch 或者 TensorFlow 的同類(lèi)產(chǎn)品。此外，系統(tǒng)也支持方便靈活的二次開(kāi)發(fā)，支持快速模型迭代。

應(yīng)對(duì)復(fù)雜作業(yè)場(chǎng)景

“大部分的工業(yè)場(chǎng)景都很復(fù)雜，比如食品倉(cāng)儲(chǔ)、建筑工地和港口堆場(chǎng)，通常有大量的人員、車(chē)輛和貨物等?！惫蠋熃忉屨f(shuō)，“在這些場(chǎng)景中通常有大量的潛在目標(biāo)，對(duì)模型的要求很高，因此部署的模型必須盡量減少誤識(shí)別或者漏識(shí)別的情況。過(guò)多的誤識(shí)別會(huì)導(dǎo)致過(guò)多的誤報(bào)警，這樣會(huì)擾亂用戶(hù)正常的操作。另一方面過(guò)多的漏識(shí)別則會(huì)讓產(chǎn)品失去了應(yīng)用的價(jià)值?！?/p>

基于 Jetson Nano 模塊開(kāi)發(fā)的 Thrust Nano 5G 施工安全監(jiān)控系統(tǒng)可以部署各種主流的深度目標(biāo)檢測(cè)模型，例如：YOLO v3-v5 系列模型以及 SSD_Mobilenet 系列模型。

另一方面，在某些場(chǎng)景中目標(biāo)移動(dòng)速度較快，對(duì)模型的推理速度有很高的要求。為了應(yīng)對(duì)推理速度的要求，在模型的部署和優(yōu)化方面，郭老師首先使用自適應(yīng)剪枝算法，對(duì)訓(xùn)練好的模型進(jìn)行剪枝，然后再利用 TensorRT 對(duì)模型進(jìn)行層融合和量化。最后，利用 DeepStream SDK 進(jìn)行部署，從而實(shí)現(xiàn)視頻流解碼——多流混合——模型推理——視頻流推流等各個(gè)環(huán)節(jié)的CUDA優(yōu)化和 GPU 加速。與使用 OpenCV+TensorFlow 或 PyTroch 等框架的部署方案相比，基于 TensorRT 和 DeepStream 的部署方案模型推理速度可提升 10-20 倍。

目前郭老師團(tuán)隊(duì)基于這套方案，成功開(kāi)發(fā)了盾構(gòu)隧道電瓶車(chē)引導(dǎo)及預(yù)警系統(tǒng)、堆場(chǎng)作業(yè)車(chē)輛安全系統(tǒng)、拉絲機(jī)工作狀態(tài)檢測(cè)、集裝箱開(kāi)關(guān)門(mén)狀態(tài)檢測(cè)、空盤(pán)車(chē)狀態(tài)檢測(cè)、超遠(yuǎn)距離目標(biāo)檢測(cè)及電子圍欄等應(yīng)用。

“某一項(xiàng)技術(shù)如果沒(méi)法走出實(shí)驗(yàn)室，那終究也將是紙上談兵曇花一現(xiàn)。Jetson 平臺(tái)及其開(kāi)發(fā)工具提供了一種高效的模型部署方案，讓論文中的代碼和模型可以更好地走進(jìn)生產(chǎn)和生活中?！惫蠋煴硎?。

郭老師最后說(shuō)道：“作為 NVIDIA Jetson 開(kāi)發(fā)者，我建議您不僅要熟練掌握 Jetson 平臺(tái)的技術(shù)和開(kāi)發(fā)工具，還應(yīng)該了解實(shí)際的工業(yè)場(chǎng)景需求，并積極參與業(yè)界的合作。隨著人工智能技術(shù)的快速發(fā)展，越來(lái)越多的企業(yè)和組織開(kāi)始將其應(yīng)用于實(shí)際的工業(yè)場(chǎng)景中，如自動(dòng)駕駛、智能制造、智能家居等領(lǐng)域。因此，了解這些領(lǐng)域的需求和挑戰(zhàn)，可以幫助您更好地開(kāi)發(fā)出適合實(shí)際應(yīng)用的人工智能解決方案?！?/p>

審核編輯：湯梓紅