邊緣計算的快速發(fā)展使得計算能力快速向邊緣遷移，AI也逐步從中心節(jié)點向更貼近數(shù)據(jù)源和業(yè)務(wù)現(xiàn)場的邊緣側(cè)拓展，邊緣與云的關(guān)系已經(jīng)呈現(xiàn)出既有分工又彼此合作的局面。在邊緣側(cè)，邊緣智能與邊緣計算和人工智能相結(jié)合，能有效地執(zhí)行實時、小數(shù)據(jù)的處理，開展AI模型的推理，并將結(jié)果回傳至云端，這種云—邊—端協(xié)同的邊緣智能架構(gòu)，解決了目前AI應(yīng)用中存在的海量數(shù)據(jù)處理、實時響應(yīng)以及數(shù)據(jù)安全等問題，為AI在更多行業(yè)的應(yīng)用奠定了基礎(chǔ)。

1、邊緣智能：拓展AI新邊界

IDC預(yù)測，到2025年，將有414億臺物聯(lián)網(wǎng)設(shè)備，期間將產(chǎn)生73147EB數(shù)據(jù)，其中約四分之一是實時生成的。要想完全在云端對這些數(shù)據(jù)進行處理和AI分析，很可能超過系統(tǒng)和通信鏈路的處理極限，再加上網(wǎng)絡(luò)帶寬、數(shù)據(jù)安全等限制，要實現(xiàn)AI向多行業(yè)的滲透，還存在著諸多挑戰(zhàn)。
隨著人工智能向邊緣側(cè)的轉(zhuǎn)移，AI行業(yè)應(yīng)用得到了極大擴展。根據(jù)德勤的分析，現(xiàn)在的AI計算已經(jīng)在制造業(yè)、政府、零售、電信、醫(yī)療等不同應(yīng)用場景下獲得應(yīng)用。很顯然，邊緣智能在拓展AI邊界過程中發(fā)揮了重要作用，它能顯著提升AI針對現(xiàn)場多樣化業(yè)務(wù)場景的適應(yīng)性，從而更好地支撐業(yè)務(wù)運營，為客戶創(chuàng)造更多的價值。

制造業(yè)是國民經(jīng)濟的基礎(chǔ)性產(chǎn)業(yè)，同時也是推動智能化發(fā)展最迫切的行業(yè)之一。根據(jù)IDC的預(yù)測，未來幾年，邊緣智能支出在生產(chǎn)過程智能化、智能供應(yīng)鏈與物流、數(shù)據(jù)安全與合規(guī)等應(yīng)用場景將保持20%以上的年均復(fù)合增長率。以產(chǎn)品質(zhì)檢為例，它是工業(yè)制造中不可或缺的環(huán)節(jié)。傳統(tǒng)的產(chǎn)品質(zhì)檢主要依靠人工目視檢測，或者采用傳統(tǒng)的基于模式匹配技術(shù)的機器視覺，這些做法很難滿足復(fù)雜場景、復(fù)雜外觀缺陷的檢測需求，漏檢、誤檢率高。采用智能邊緣AI技術(shù)后，不僅顯著提升了機器視覺檢測能力和適用性，產(chǎn)品質(zhì)量也能得到了有效控制。

在智慧城市建設(shè)中，AI應(yīng)用已經(jīng)滲透到城市管理、交通、民生等諸多方面。隨著智慧城市向精細化和社區(qū)化下沉，邊緣智能在智慧交通、應(yīng)急響應(yīng)、城市安全等場景下的應(yīng)用日漸增多。IDC的預(yù)測是，在未來幾年，邊緣智能支出在城市運維管理場景這一市場將保持25%的增速。

5G支持的人工智能和創(chuàng)新應(yīng)用對網(wǎng)絡(luò)延遲有很高的要求，邊緣智能在此過程中將發(fā)揮重要作用。比如電信運營商通過建設(shè)具備GPU的MEC邊緣數(shù)據(jù)中心，就可以為行業(yè)用戶提供邊緣計算服務(wù)，降低企業(yè)自建邊緣計算中心的成本。

對許多應(yīng)用而言，邊緣端顯然是進行機器學習處理的理想位置，在醫(yī)療健康與生命科學行業(yè)更是展示出良好的應(yīng)用效果。在過去的一年中，新冠肺炎疫情在全球蔓延，對現(xiàn)有的醫(yī)療保健系統(tǒng)造成巨大沖擊。如果將邊緣智能應(yīng)用到醫(yī)學影像輔助診斷中，可大幅提高輔助診斷的技術(shù)水平和工作效率。最新發(fā)布的阿里達摩院2021十大科技趨勢預(yù)測中指出，新型AI算法的迭代及算力突破將解決藥物分子靶點確證、藥物可成藥性等難題，例如在疫苗的研發(fā)過程中，借助AI，可快速找到疫苗的優(yōu)質(zhì)候選化合物。

根據(jù)IDC的預(yù)測，到2024年，制造業(yè)、政府、零售、電信、醫(yī)療五大行業(yè)在邊緣智能應(yīng)用上的支出將達到159億美金，占整體邊緣智能市場支出的49%。在上述這些重點領(lǐng)域，敏捷聯(lián)接、實時業(yè)務(wù)、數(shù)據(jù)優(yōu)化、應(yīng)用智能、安全與隱私保護已經(jīng)成為核心需求，邊緣智能將是實現(xiàn)行業(yè)數(shù)字化轉(zhuǎn)型的關(guān)鍵。隨著邊緣智能技術(shù)和解決方案的不斷完善，在汽車、消費電子、服裝、鋼鐵、化工等信息化基礎(chǔ)良好的行業(yè)，AI場景化應(yīng)用也將逐步落地。

2、邊緣AI平臺：芯片廠商的競爭焦點

市場分析數(shù)據(jù)顯示，2020年將有超過500億的終端和設(shè)備聯(lián)網(wǎng)，其中超過50%的數(shù)據(jù)需要在網(wǎng)絡(luò)邊緣側(cè)分析、處理和存儲。IDC預(yù)計，到2024年，全球企業(yè)在邊緣應(yīng)用上的支出有望達到2500億美元，其中與AI技術(shù)相關(guān)的支出將達到326億美元，占整體邊緣市場支出的13%。

作為邊緣智能的靈魂，邊緣AI芯片有著重要地位，邊緣設(shè)備只有通過AI芯片獲得了自主計算的能力，才能稱之為真正的邊緣智能。

現(xiàn)在的AI芯片主要有兩種，即云端AI芯片和邊緣AI芯片。如果按照功能劃分，又可分為訓練芯片和推斷芯片。市場上的邊緣AI芯片很多是邊緣推斷芯片。雖然邊緣AI芯片市場興起時間不長，但參與者眾多，其中包括NVIDIA、Intel、NXP、Xilinx、STMicroelectronics、Maxim Integrated等跨國企業(yè)，也有以寒武紀為代表的國內(nèi)企業(yè)。

在推出芯片這一硬件產(chǎn)品的基礎(chǔ)上，各廠商也在努力將軟件開發(fā)工具、合作生態(tài)資源與其整合在一起，著力打造完整的邊緣AI平臺，加速相關(guān)應(yīng)用的開發(fā)落地，這也成為了置身其中的各個芯片廠商的競爭焦點。我們不妨來看一下目前市場上比較有代表性的一些邊緣AI平臺。

01）NVIDIA EGX邊緣AI平臺

NVIDIA（英偉達）是全球GPU的龍頭，在AI訓練市場擁有強大的領(lǐng)先優(yōu)勢。面向邊緣計算市場，英偉達有兩款性能出眾的EGX邊緣AI平臺產(chǎn)品：一款是用于較大型商業(yè)通用服務(wù)器的EGX A100聚合加速器，另一款是用于微型邊緣服務(wù)器的微型EGX Jetson Xavier NX。這兩款產(chǎn)品均擁有安全、高性能的AI處理能力。搭載了EGX A100的服務(wù)器可以管理機場中的數(shù)百臺攝像頭，而EGX Jetson Xavier NX則可用于管理便利店中的少量攝像頭。

EGX A100是首個基于NVIDIA Ampere架構(gòu)的邊緣AI產(chǎn)品。它結(jié)合了NVIDIA Ampere架構(gòu)所具有的突破性計算性能以及NVIDIA Mellanox ConnectX-6 Dx SmartNIC所具備的網(wǎng)絡(luò)加速和關(guān)鍵性安全功能，能將標準型和專用型的邊緣服務(wù)器轉(zhuǎn)變?yōu)闃O具安全性的云原生AI超級計算機。其中，NVIDIA Ampere架構(gòu)是NVIDIA的第8代GPU架構(gòu)，為在邊緣運行AI推理和5G應(yīng)用等各類計算密集型工作負載提供了卓越的性能。

在開發(fā)環(huán)境上，借助NVIDIA提供的經(jīng)過完整優(yōu)化的跨EGX邊緣AI平臺云原生軟件，EGX邊緣AI平臺的云原生架構(gòu)使其可以運行容器化的軟件，以支持一系列GPU加速的工作負載。其應(yīng)用框架包括用于醫(yī)療領(lǐng)域的Clara、電信領(lǐng)域的Aerial、對話式AI領(lǐng)域的Jarvis、機器人技術(shù)領(lǐng)域的Isaac，以及用于零售、智慧城市、交通等領(lǐng)域的Metropolis。這些應(yīng)用既能組合使用也可以單獨使用。

在生態(tài)系統(tǒng)建設(shè)上，NVIDIA為EXG建立了龐大的合作伙伴生態(tài)系統(tǒng)，他們中有的是邊緣服務(wù)器制造商，有的是混合云平臺企業(yè)，比如Atos、Dell、富士通、GIGABYTE、HPE、IBM、浪潮、聯(lián)想、Cisco等都是NVIDA生態(tài)系統(tǒng)上的重要一員。

02）NXP EdgeVerse平臺

于NXP（恩智浦）而言，他們的邊緣處理應(yīng)用主要分三類：第一類是主要支持5G本地網(wǎng)絡(luò)及數(shù)據(jù)集成的網(wǎng)絡(luò)邊緣應(yīng)用；第二類是工業(yè)邊緣應(yīng)用，包括工廠自動化、基礎(chǔ)設(shè)施、交通運輸、醫(yī)療等；第三類是物聯(lián)網(wǎng)邊緣應(yīng)用，包括智能家居、消費和可穿戴等。
NXP的EdgeVerse平臺是一個功能全面的邊緣計算和安全平臺，它通過廣泛的可擴展嵌入式處理產(chǎn)品組合，將實現(xiàn)高性能和高能效計算的構(gòu)建模塊聚合在一起，為工業(yè)、物聯(lián)網(wǎng)和汽車等眾多邊緣應(yīng)用提供強勁動力。

EdgeVerse平臺包含NXP出色的可擴展嵌入式處理、安全、軟件、行業(yè)解決方案等，非常適合物聯(lián)網(wǎng)、工業(yè)和汽車市場等邊緣應(yīng)用。具體涉及的產(chǎn)品包括NXP i.MX嵌入式處理產(chǎn)品組合和Layerscape應(yīng)用處理器、K32、LPC和Kinetis微控制器、i.MX RT跨界處理器，以及車用微控制器和處理器等。

為了支持IIoT的機器學習能力，NXP在不久前推出了集成專用NPU的i.MX系列產(chǎn)品——i.MX 8M Plus應(yīng)用處理器。該處理器擁有2.3TOPS算力，內(nèi)置最高2GHz的四核Arm Cortex-A53內(nèi)核、800MHz Cortex-M7實時處理器，另有800MHz音頻DSP用于語音和自然語言處理，還有雙攝像頭圖像信號處理器（ISP）和3D GPU。i.MX 8M Plus還是一款集成了專用神經(jīng)處理單元（NPU）的i.MX系列產(chǎn)品，通過Cortex-A53內(nèi)核和NPU的結(jié)合，顯著增強了邊緣設(shè)備的學習和推斷能力，可在工業(yè)和IoT邊緣進行高級機器學習推理。

EdgeVerse平臺還擁有一套嚴格的加密系統(tǒng)。EdgeLock安全產(chǎn)品組合就是EdgeVerse平臺的組成部分，它能為安全標準非常高的器件提供高水平的安全認證和服務(wù)。

在開發(fā)環(huán)境上，NXP推出的EdgeVerse平臺，通過提供工具和引擎，推動機器學習和推理，輕松實現(xiàn)云連接，激發(fā)和簡化邊緣人工智能。EdgeVerse平臺包含NXP的eIQ機器學習軟件開發(fā)環(huán)境、Immersiv3D音頻體驗套件和EdgeScale設(shè)備管理平臺，開發(fā)者可配合現(xiàn)有模型使用，或者快速設(shè)計、培訓學習和優(yōu)化新模型。

在生態(tài)系統(tǒng)建設(shè)上，NXP已經(jīng)與知名的云軟件和服務(wù)提供商、原始設(shè)備制造商以及ODM建立了密切的合作，比如Microsoft Azure、Accton、AWS、Scalys、Delta等均為NXP的生態(tài)合作伙伴，支持其推出的一系列工業(yè)、零售和運營商應(yīng)用的邊緣計算解決方案。

03）Xilinx ACAP平臺

ACAP平臺是Xilinx（賽靈思）在2018年推出的新一代計算平臺。根據(jù)Xilinx的介紹，ACAP并不是FPGA，而是整合了硬件可編程邏輯單元、軟件可編程處理器以及軟件可編程加速引擎的計算平臺產(chǎn)品?；贏CAP架構(gòu)的首款產(chǎn)品名為Versal，主要面向人工智能推理市場。

Versal基于TSMC（臺積電）7nm工藝，結(jié)合了軟件可編程性和針對特定領(lǐng)域的硬件加速，具有高度的適應(yīng)性。Velsal包括六款器件，采用獨特的架構(gòu)，它繼承了CPU、GPU和可用于數(shù)據(jù)中心加速的FPGA，實現(xiàn)了可滿足包括云、網(wǎng)絡(luò)、邊緣計算、無線通信和終端節(jié)點等各種應(yīng)用市場需求的AI推理性能。Xilinx甚至將Versal稱為SoC界的瑞士軍刀。

與此前在市場上叱詫風云的Xilinx Zynq Ultrascale ＋ MPSoC相比，Versal縮減了中央FPGA模塊的尺寸，為額外的DSP、ARM內(nèi)核、推理組件和I/O模塊騰出了足夠的空間。按照Xilinx自己的說法，Versal芯片的能效可以達到英偉達GPU的4倍，推理性能是英偉達的2－8倍。

在開發(fā)環(huán)境上，Vitis是Xilinx歷時5年、投入總計1000個人工年打造的一款統(tǒng)一軟件平臺，可實現(xiàn)在Xilinx異構(gòu)平臺，包括FPGA、SoC和Versal ACAP上開發(fā)嵌入式軟件和加速應(yīng)用，為邊緣、云和混合計算應(yīng)用加速提供統(tǒng)一編程模型。正是基于上述的這些性能優(yōu)勢，Xilinx自信地將Vitis稱作是具有里程碑式意義的產(chǎn)品。

Vitis是一款從云到端、從軟件到AI都提供了綜合全面的庫和模型的統(tǒng)一軟件平臺。其中，AI科學家可以利用Vitis AI高層次框架訓練自己的模型。Vitis AI支持自適應(yīng)實時AI推斷加速，其底層是業(yè)界主流的框架，包括TensorFlow、Caffe、PyTorch，此外還包括37個開源的模型，這些模型主要針對諸如智慧城市、智能駕駛、實施目標分析跟蹤等市場主流應(yīng)用，開發(fā)者可以直接取用模型進行開發(fā)，無需了解FPGA等底層硬件。Vitis AI的開發(fā)套件包括：AI優(yōu)化器（AI Optimizer）、AI量化器（AI Quantizer）、AI編譯器（AI Compiler）、AI分析器（AI Profiler

在生態(tài)系統(tǒng)建設(shè)上，通過合作伙伴計劃，Xilinx建立了完善而龐大的生態(tài)系統(tǒng)。所有合作伙伴可在Xilinx.com上推廣企業(yè)以及經(jīng)過驗證的解決方案，Xilinx則為合作伙伴提供開發(fā)工具，以提升生產(chǎn)力和解決方案開發(fā)能力。而這些生態(tài)系統(tǒng)合作伙伴提供的解決方案，可幫助系統(tǒng)設(shè)計者快速整合Xilinx FPGA、SoC、3DIC、IP和軟件定義解決方案。

從以上這些芯片廠商的系列舉措中我們不難看出，提供一個軟硬兼修、方案生態(tài)齊全的邊緣AI平臺，已經(jīng)是行業(yè)實力玩家的一致選擇。不夸張地講，未來的邊緣AI領(lǐng)域?qū)⑹且粋€“平臺為王”的時代。隨著這些平臺資源的不斷完善，邊緣AI的開發(fā)之旅也會變得更加順暢和愉悅?，F(xiàn)在是時候，考慮在下一個Design-In中，引入邊緣AI了！