隨著移動(dòng)計(jì)算和物聯(lián)網(wǎng) (IoT) 應(yīng)用的爆炸性增長(zhǎng)，數(shù)以十億計(jì)的移動(dòng)和聯(lián)網(wǎng)設(shè)備正在連接到互聯(lián)網(wǎng)，并在網(wǎng)絡(luò)邊緣生成海量數(shù)據(jù)。這些數(shù)據(jù)呈現(xiàn)出分散性、碎片化的特點(diǎn)，云計(jì)算雖然有強(qiáng)大的數(shù)據(jù)處理能力，但很難實(shí)現(xiàn)全面的計(jì)算覆蓋，而邊緣計(jì)算則可以極大地緩解云計(jì)算的壓力。

根據(jù)Machina Research的預(yù)測(cè)，到2025年全球物聯(lián)網(wǎng)連接數(shù)將猛增至270億個(gè)。事實(shí)上，大多數(shù)物聯(lián)網(wǎng)設(shè)備位于遠(yuǎn)離云計(jì)算的邊緣側(cè)，若在云數(shù)據(jù)中心收集這些設(shè)備產(chǎn)生的數(shù)據(jù)，會(huì)產(chǎn)生非常高的延遲，并占用大量的網(wǎng)絡(luò)帶寬。邊緣智能（Edge AI）可依靠設(shè)備自身的硬件來(lái)處理與機(jī)器學(xué)習(xí)和深度學(xué)習(xí)相關(guān)的數(shù)據(jù)，此時(shí)的物聯(lián)網(wǎng)設(shè)備不僅是一個(gè)數(shù)據(jù)收集器，更應(yīng)是具有一定數(shù)據(jù)處理能力的執(zhí)行器。

邊緣智能中不可忽視的“軟”技術(shù)

Edge AI是一個(gè)將邊緣計(jì)算和人工智能（AI）結(jié)合在一起的系統(tǒng)，其目標(biāo)是使用機(jī)器學(xué)習(xí)算法處理本地硬件設(shè)備生成的數(shù)據(jù)。Edge AI的優(yōu)勢(shì)不僅是數(shù)據(jù)處理速度快，出色的靈活性使得智能設(shè)備足以支持眾多行業(yè)應(yīng)用。此外，通過(guò)增強(qiáng)的安全功能，Edge AI顯著提高了數(shù)據(jù)的安全性，受Edge AI驅(qū)動(dòng)的設(shè)備有助于將安全風(fēng)險(xiǎn)降至最低。

在實(shí)際部署中，邊緣設(shè)備是能夠在設(shè)備本身執(zhí)行計(jì)算任務(wù)的終端設(shè)備或邊緣服務(wù)器，可能需要更多的硬件和軟件來(lái)實(shí)現(xiàn)最佳的輸出和本地存儲(chǔ)需求。作為邊緣智能的靈魂，Edge AI芯片的作用不言而喻，進(jìn)入該行業(yè)的代表性企業(yè)有NVIDIA、Intel、NXP、Xilinx、ST、TI、Maxim等國(guó)際知名企業(yè)，也有寒武紀(jì)這樣的國(guó)內(nèi)后起之秀，他們的產(chǎn)品讓Edge AI的應(yīng)用更加接近現(xiàn)實(shí)世界。

然而，再?gòu)?qiáng)大的硬件如果沒(méi)有軟件的加持也會(huì)失去靈魂，無(wú)法發(fā)揮其應(yīng)用的功能。以機(jī)器學(xué)習(xí)（ML）為例，如果將其添加到Edge AI軟件中，可以顯著增強(qiáng)物聯(lián)網(wǎng)數(shù)據(jù)分析和決策的能力。根據(jù)Astute Analytica的研究，預(yù)計(jì)全球Edge AI軟件市場(chǎng)在2021-2027年間將以29.8%的復(fù)合年增長(zhǎng)率增長(zhǎng)，到2027年將形成80.498億美元的市場(chǎng)。

軟件開(kāi)發(fā)工具主要由編譯器、調(diào)試器、操作系統(tǒng)、庫(kù)等構(gòu)成，包含了用于開(kāi)發(fā)實(shí)時(shí)嵌入式處理器系統(tǒng)的大多數(shù)標(biāo)準(zhǔn)工具庫(kù)，同時(shí)還可能添加了專(zhuān)門(mén)的應(yīng)用庫(kù)，以及用于軟件開(kāi)發(fā)的特定供應(yīng)商的開(kāi)發(fā)工具。在Edge AI應(yīng)用中，大多數(shù)供應(yīng)商使用專(zhuān)用的計(jì)算設(shè)備如GPU、DSP、FPGA等加速CPU，這種擴(kuò)展的CPU編程模型需要定制版本的標(biāo)準(zhǔn)開(kāi)發(fā)工具。他們?cè)陂_(kāi)發(fā)自己的優(yōu)化軟件工具鏈的同時(shí)，還可能與第三方軟件工具供應(yīng)商合作，以確保其產(chǎn)品得到廣泛支持。

01 JetPack SDK：支持NVIDIA Jetson邊緣計(jì)算平臺(tái)

NVIDIA Jetson平臺(tái)是行業(yè)領(lǐng)先的人工智能硬件平臺(tái)之一，由英偉達(dá)（NVIDIA）公司提供，該平臺(tái)包括小型高性能邊緣計(jì)算機(jī)模組（Jetson模組）、可加速軟件的JetPack SDK，以及包含傳感器、SDK、服務(wù)和產(chǎn)品的生態(tài)系統(tǒng)。其中的Jetson模組（SOM）包括CPU、GPU、高速接口、內(nèi)存、電源管理等。

靈活的模塊化產(chǎn)品組合是NVIDIA Jetson的主要優(yōu)勢(shì)。無(wú)論是小企業(yè)還是大型企業(yè)，都可以在一系列Jetson模塊中找到非常適合自身應(yīng)用的那一款。在四大系列產(chǎn)品中，Jetson Nano模組屬于經(jīng)濟(jì)高效的入門(mén)級(jí)產(chǎn)品；Jetson TX1模組是為外圍機(jī)器學(xué)習(xí)和AI應(yīng)用設(shè)計(jì)的第一代Jetson模塊，主要用在制造業(yè)。

新一代的Jetson TX2模組與Jetson TX1引腳兼容但性能提高了一倍，是Jetson Nano性能的2.5倍，但功耗僅有7.5W。該系列中的Jetson TX2i在工業(yè)機(jī)器人和醫(yī)療設(shè)備等領(lǐng)域有著廣泛的應(yīng)用；Jetson Xavier NX是一款外形小巧的量產(chǎn)產(chǎn)品，支持所有熱門(mén)AI框架，該模組將高達(dá)21 TOP的加速AI計(jì)算帶到邊緣端，能并行運(yùn)行多個(gè)現(xiàn)代神經(jīng)網(wǎng)絡(luò)，處理來(lái)自多個(gè)高分辨率傳感器的數(shù)據(jù)。Jetson AGX Xavier是專(zhuān)為自主機(jī)器打造的邊緣計(jì)算機(jī)模組，外形緊湊、節(jié)能高效，它的性能大約是Jetson TX2i的20倍，是英偉達(dá)AI嵌入式系統(tǒng)中性能最高的模組。

對(duì)NVIDIA Jetson平臺(tái)而言，除了擁有豐富的硬件模組可供選擇，統(tǒng)一的軟件開(kāi)發(fā)環(huán)境和完整的生態(tài)系統(tǒng)是其深受行業(yè)好評(píng)的另一優(yōu)勢(shì)。Jetson平臺(tái)中用于軟件加速的JetPack SDK支持所有Jetson模組和開(kāi)發(fā)者套件，是構(gòu)建AI應(yīng)用的全面解決方案。經(jīng)過(guò)不斷地演進(jìn)，目前，JetPack 4.4是版本最高的正式版。

JetPack SDK包含適用于Linux操作系統(tǒng)的最新Linux驅(qū)動(dòng)包 (L4T) 以及用于深度學(xué)習(xí)、計(jì)算機(jī)視覺(jué)、加速計(jì)算和多媒體的CUDA-X加速庫(kù)與API。它還包含用于主機(jī)和開(kāi)發(fā)者套件的示例、文檔和開(kāi)發(fā)者工具，并支持更高級(jí)別的SDK，比如用于視頻分析的DeepStream SDK和用于機(jī)器人開(kāi)發(fā)的Isaac SDK。JetPack SDK捆綁了所有Jetson平臺(tái)軟件，包括TensorRT、cuDNN、CUDA Toolkit、VisionWorks、GStreamer和OpenCV，所有這些都是在L4T和LTS Linux內(nèi)核之上構(gòu)建的。

此外，Jetson還與其他NVIDIA平臺(tái)上所用的相同AI軟件和云原生工作流相兼容，能為客戶(hù)提供在邊緣端構(gòu)建軟件定義的智能機(jī)器所需的性能和功耗。

02 eIQ：NXP機(jī)器學(xué)習(xí)軟件開(kāi)發(fā)環(huán)境

NXP (恩智浦) 的EdgeVerse平臺(tái)是一個(gè)功能全面的邊緣計(jì)算和安全平臺(tái)，它通過(guò)廣泛的可擴(kuò)展嵌入式處理產(chǎn)品組合，將實(shí)現(xiàn)高性能和高能效計(jì)算的構(gòu)建模塊聚合在一起。該平臺(tái)包含NXP業(yè)界領(lǐng)先的可擴(kuò)展嵌入式處理、安全、軟件以及行業(yè)解決方案，非常適合物聯(lián)網(wǎng)、工業(yè)和汽車(chē)市場(chǎng)等邊緣應(yīng)用。具體涉及的產(chǎn)品有i.MX嵌入式處理產(chǎn)品組合和Layerscape應(yīng)用處理器、K32、LPC和Kinetis微控制器、i.MX RT跨界處理器，以及車(chē)用微控制器和處理器等。

eIQ機(jī)器學(xué)習(xí)（ML）軟件開(kāi)發(fā)環(huán)境支持在EdgeVerse微控制器、i.MX RT跨界MCU和i.MX系列應(yīng)用處理器上使用ML算法。該軟件利用開(kāi)源的專(zhuān)有技術(shù)，可完全集成到恩智浦MCUXpresso軟件開(kāi)發(fā)套件和Yocto開(kāi)發(fā)環(huán)境中。

eIQ擁有一套全面的工作流程工具、推理引擎、神經(jīng)網(wǎng)絡(luò)（NN）編譯器，以及經(jīng)過(guò)優(yōu)化的數(shù)據(jù)庫(kù)，幫助簡(jiǎn)化并加快機(jī)器學(xué)習(xí)開(kāi)發(fā)。最新擴(kuò)展的eIQ軟件開(kāi)發(fā)環(huán)境，添加了全新eIQ Toolkit工作流程工具、基于GUI的eIQ門(mén)戶(hù)開(kāi)發(fā)環(huán)境，以及針對(duì)i.MX和i.MX RT設(shè)備進(jìn)行優(yōu)化的DeepViewRT推理引擎。

eIQ Toolkit的功能是提供簡(jiǎn)單的工作流程以及機(jī)器學(xué)習(xí)應(yīng)用示例。在eIQ門(mén)戶(hù)中，該工具套件還有一個(gè)基于GUI的開(kāi)發(fā)選項(xiàng)，開(kāi)發(fā)人員可根據(jù)自己的喜好選擇使用命令行主機(jī)工具。借助eIQ門(mén)戶(hù)，能輕松創(chuàng)建、優(yōu)化、調(diào)試、轉(zhuǎn)換并導(dǎo)出機(jī)器學(xué)習(xí)模型，也可以從TensorFlow、ONNX和PyTorch機(jī)器學(xué)習(xí)框架中導(dǎo)入數(shù)據(jù)集和模型。

推理引擎是機(jī)器學(xué)習(xí)開(kāi)發(fā)項(xiàng)目的核心，也是機(jī)器學(xué)習(xí)應(yīng)用的運(yùn)行組件。eIQ機(jī)器學(xué)習(xí)軟件開(kāi)發(fā)環(huán)境支持使用針對(duì)Glow、ONNX和TensorFlow Lite等i.MX設(shè)備和MCU進(jìn)行優(yōu)化的開(kāi)源推理引擎進(jìn)行推理。新增的DeepViewRT推理引擎是一款經(jīng)過(guò)優(yōu)化的運(yùn)行時(shí)推理引擎，可在i.MX RT跨界MCU和i.MX 8M系列應(yīng)用處理器上運(yùn)行機(jī)器學(xué)習(xí)模型，具有在Arm Cortex-M/A內(nèi)核、GPU和NPU上運(yùn)行推理的能力，還可作為恩智浦MCU Xpresso SDK版本和Yocto BSP版本（用于基于Linux操作系統(tǒng)開(kāi)發(fā)）的中間件。

03 Vitis AI：Xilinx人工智能推斷軟件開(kāi)發(fā)工具

Vitis統(tǒng)一軟件平臺(tái)是被Xilinx (賽靈思) 視為具有里程碑式意義的產(chǎn)品，這是一款從云到端、從軟件到AI都提供了綜合全面的庫(kù)和模型的統(tǒng)一軟件平臺(tái)。其中，AI開(kāi)發(fā)人員可以利用Vitis AI高層次框架訓(xùn)練自己的模型。在Vitis AI架構(gòu)中，AI Model Zoo開(kāi)放了一系列來(lái)自流行框架Pytorch、Tensorflow、Tensorflow 2和Caffe的現(xiàn)成深度學(xué)習(xí)模型，適用于在Xilinx硬件平臺(tái)（包括邊緣器件和Alveo卡）上進(jìn)行人工智能推斷。

Vitis AI的開(kāi)發(fā)套件包括：AI優(yōu)化器 (AI Optimizer) 、AI量化器 (AI Quantizer) 、AI編譯器 (AI Compier) 、AI分析器 (AIProfiler) 。使用Vitis AI，能在邊緣器件上為IoT、自動(dòng)駕駛及ADAS、醫(yī)療成像以及視頻分析等應(yīng)用實(shí)現(xiàn)高效AI計(jì)算。

Vitis AI開(kāi)發(fā)套件中的AI優(yōu)化器采用領(lǐng)先的模型壓縮技術(shù)，在對(duì)精度影響極小的情況下，將模型的復(fù)雜性降低5至50倍，這種深度壓縮技術(shù)將AI推斷性能提升到一個(gè)新的層次；AI量化器則通過(guò)將32位浮點(diǎn)權(quán)值和激活量轉(zhuǎn)換為INT8這樣的定點(diǎn)網(wǎng)絡(luò)模型，在不影響預(yù)測(cè)精度的情況下，大幅降低計(jì)算的復(fù)雜度。

由于定點(diǎn)網(wǎng)絡(luò)模型需要的內(nèi)存帶寬更少，因此比浮點(diǎn)網(wǎng)絡(luò)模型的速度更快，電源效率也更高；AI編譯器的主要作用是將AI模型映射至高效指令集及數(shù)據(jù)流，還可執(zhí)行高級(jí)優(yōu)化任務(wù)，如層融合和指令排程等，并盡量重復(fù)使用片上內(nèi)存；借助Vitis AI中的AI配置器，程序員能夠深入分析AI推斷實(shí)現(xiàn)方案的效率和利用率；Vitis AI庫(kù)是一組高層次庫(kù)和API，通過(guò)深度學(xué)習(xí)處理器單元（DPU）進(jìn)行有效的AI推斷，為Xilinx平臺(tái)上的AI模型部署提供了易于使用的接口。

結(jié)語(yǔ)

邊緣人工智能應(yīng)用程序能夠在現(xiàn)場(chǎng)處理數(shù)據(jù)、安全傳輸數(shù)據(jù)，并提高邊緣人工智能設(shè)備的隱私。因無(wú)需首先向云端發(fā)送數(shù)據(jù)，邊緣人工智能還有效縮短了生成結(jié)果的周轉(zhuǎn)時(shí)間。IoT的高度數(shù)據(jù)驅(qū)動(dòng)特性進(jìn)一步說(shuō)明了現(xiàn)場(chǎng)數(shù)據(jù)處理對(duì)邊緣人工智能應(yīng)用的需求。現(xiàn)在，許多企業(yè)已經(jīng)認(rèn)識(shí)到，邊緣人工智能不僅僅是一種選擇，更是一個(gè)將以各種方式徹底改變行業(yè)的未來(lái)技術(shù)。IDC的分析數(shù)據(jù)顯示，到2023年，在新的企業(yè)IT基礎(chǔ)設(shè)施中，超過(guò)50%將部署在邊緣，而不是企業(yè)數(shù)據(jù)中心。預(yù)計(jì)到2024年，邊緣應(yīng)用的數(shù)量將增加800%。

為了在空間尺寸緊張，功耗、散熱和成本受限的環(huán)境中高效運(yùn)行，邊緣人工智能解決方案需要高集成度、高速和低功耗以及高效率的軟硬件產(chǎn)品來(lái)支撐。優(yōu)化的計(jì)算架構(gòu)和芯片產(chǎn)品，讓邊緣計(jì)算獲得了可靠的硬件支撐。為了建立一個(gè)高效的邊緣人工智能系統(tǒng)，還必須有一個(gè)功能全面的軟件環(huán)境來(lái)助力，現(xiàn)有的邊緣智能芯片的潛力才能得到最大化的發(fā)揮。只有“軟”“硬”兩手同時(shí)抓，才能形成完整且高效的邊緣智能解決方案。

審核編輯：郭婷