目前，數(shù)字化浪潮席卷全球，人類社會(huì)已經(jīng)進(jìn)入智能時(shí)代。萬物互聯(lián)的數(shù)字化浪潮下，端—邊—云協(xié)同是實(shí)現(xiàn)數(shù)字化智能化的重要架構(gòu)之一。本文我們將簡要分析邊云協(xié)同的必要性，并介紹如何使用英特爾開源的OpenVINO工具套件，在“端—邊—云”快速實(shí)現(xiàn)高性能人工智能推理。

1

邊云協(xié)同的必要性及OpenVINO工具套件簡介

眾所周知，18世紀(jì)60年代人類開始了第一次工業(yè)革命，從此進(jìn)入“蒸汽時(shí)代”，接著進(jìn)入了電氣時(shí)代和信息時(shí)代，當(dāng)前人類社會(huì)正在發(fā)生第四次工業(yè)革命，即智能時(shí)代。英特爾首席執(zhí)行官帕特·基辛格在2021年世界互聯(lián)網(wǎng)大會(huì)烏鎮(zhèn)峰會(huì)上指出，要擁抱四大超級(jí)技術(shù)力量。這四大超級(jí)技術(shù)力量分別是：第一，無所不在的計(jì)算。計(jì)算能力正滲透到我們生活的方方面面，作為人和技術(shù)的交互點(diǎn)，跨越現(xiàn)有和新興設(shè)備。第二，無處不在的連接，即萬物互聯(lián)。第三，從云到邊緣的基礎(chǔ)設(shè)施。它創(chuàng)造一個(gè)動(dòng)態(tài)可靠的路徑來連接計(jì)算和數(shù)據(jù)，實(shí)現(xiàn)規(guī)模和容量無限擴(kuò)展的云與無限延伸的智能邊緣相結(jié)合。第四是人工智能。這四大超級(jí)技術(shù)力量并不是技術(shù)孤島，而且相互協(xié)同，相互融合，共同推動(dòng)產(chǎn)業(yè)的巨大變革。

四大超級(jí)技術(shù)力量使得數(shù)據(jù)一旦產(chǎn)生之后，能夠在相應(yīng)的節(jié)點(diǎn)做快速且及時(shí)的處理，從而減少數(shù)據(jù)處理的延時(shí)；高價(jià)值數(shù)據(jù)經(jīng)過邊緣提取后，高效率的傳遞到云端，借助云端的超級(jí)計(jì)算力量挖掘數(shù)據(jù)背后隱含的價(jià)值，讓用戶可以開發(fā)相應(yīng)的服務(wù)，實(shí)現(xiàn)科技向善。沒有邊云協(xié)同，這四大超級(jí)技術(shù)力量將被割裂，數(shù)據(jù)將成為孤島，智能時(shí)代要求的智能化、無人化和集群化將無法實(shí)現(xiàn)。如下圖所示，將云端規(guī)模開發(fā)的優(yōu)勢與邊緣端推理的好處結(jié)合起來，能夠使得邊云協(xié)同的優(yōu)勢發(fā)揮到最大化，將無限的數(shù)據(jù)變成可操作的洞察力。

下圖是一個(gè)智能制造工廠中，利用“端—邊—云”協(xié)同架構(gòu)，利用人工智能技術(shù)實(shí)現(xiàn)實(shí)時(shí)產(chǎn)品缺陷檢測的例子。在這個(gè)場景中，每個(gè)工位構(gòu)成了“端”，在工位上架設(shè)的攝像頭可以每秒采集超過400張產(chǎn)品生產(chǎn)過程中的圖片。因此，在端這一側(cè)利用 AI 推理技術(shù)，對(duì)實(shí)時(shí)產(chǎn)生的大量圖片進(jìn)行 AI 推理，從而避免將海量數(shù)據(jù)同時(shí)傳輸?shù)皆贫水a(chǎn)生的高成本及延時(shí)。生產(chǎn)流水線構(gòu)成了這個(gè)場景中的“邊”，一些更為復(fù)雜的推理任務(wù)可以實(shí)時(shí)的在邊側(cè)完成，并進(jìn)行跨工位的調(diào)度。最終所有的推理結(jié)果可以進(jìn)一步推送到云端，進(jìn)行數(shù)據(jù)集中以及更為深層次的分析，同時(shí)邊緣端產(chǎn)生的部分?jǐn)?shù)據(jù)也可以推送至云端，作為訓(xùn)練數(shù)據(jù)的補(bǔ)充，用于對(duì)深度學(xué)習(xí)模型進(jìn)行重訓(xùn)練，以獲得更高的準(zhǔn)確性。

通過上述的例子，我們可以看出，在邊云協(xié)同的架構(gòu)中，一個(gè)很重要的步驟就是將 AI 的推理擴(kuò)展到邊緣端，避免邊緣端產(chǎn)生的大量數(shù)據(jù)向云端同時(shí)進(jìn)行傳輸所引起的高成本，可以獲得接近或處于邊緣的近實(shí)時(shí)決策。而能夠?qū)崿F(xiàn)邊緣端方便進(jìn)行 AI 模型部署及推理加速的重要工具之一，就是由英特爾開源的OpenVINO 工具套件。

OpenVINO工具套件經(jīng)過近四年的發(fā)展和演進(jìn)，現(xiàn)已正式發(fā)布了迄今為止變化最大的版本，即 OpenVINO 2022.1版本。在這一版本中，不僅支持包括基于 Tensorflow，PyTorch 在內(nèi)的深度學(xué)習(xí)框，更可以支持深受中國開發(fā)者喜愛的 PaddlePaddle 飛槳深度學(xué)習(xí)框架。同時(shí)，為了方便開發(fā)者在邊緣端部署深度學(xué)習(xí)模型，實(shí)現(xiàn)“一次撰寫，任意部署（Write once，deploy anywhere）”的目的，OpenVINO可以支持包括英特爾 CPU、集成 GPU（iGPU）以及 VPU 在內(nèi)的多個(gè)硬件平臺(tái)的部署。只需要改動(dòng)一行代碼，就可以實(shí)現(xiàn)多硬件平臺(tái)部署。

尤為值得一提的是，在 OpenVINO2022.1版本中，為了使得開發(fā)者更加便捷的使用 OpenVINO進(jìn)行深度學(xué)習(xí)的推理，更推出了 AUTO 插件（“auto device”）。開發(fā)者只需要使用這樣的一行代碼

就可以在邊緣端實(shí)施 AI 推理時(shí)，由 AUTO 插件自動(dòng)化的檢測開發(fā)者環(huán)境中可以用來進(jìn)行 AI 推理的設(shè)備，并自動(dòng)化的選擇更為合適的硬件設(shè)備進(jìn)行 AI 推理。另外，根據(jù)不同使用場景的使用需求不同，AUTO 插件在使用時(shí)，還允許開發(fā)者選擇不同的“performance hint”性能指標(biāo)模式，從而按照使用需求，獲得高吞吐量或者低延時(shí)的推理性能。

2

在微軟云機(jī)器學(xué)習(xí)平臺(tái) Azure ML 上利用

OpenVINO快速實(shí)現(xiàn) AI 推理

除了在邊緣端可以很方便地利用 OpenVINO工具套件進(jìn)行快速部署以外，在云端，比如微軟云 Azure 的機(jī)器學(xué)習(xí)平臺(tái) Azure ML 上，也可以利用 OpenVINO工具套件快速實(shí)現(xiàn)深度學(xué)習(xí)模型的部署，并進(jìn)行相應(yīng)的深度學(xué)習(xí)模型的優(yōu)化及推理加速。實(shí)現(xiàn)步驟如下：

步驟一

在 Azure 上注冊(cè)個(gè)人賬號(hào)，并在機(jī)器學(xué)習(xí)平臺(tái)上建立自己的工作室，就類似于建立一個(gè)自己運(yùn)行推理的專用路徑。工作室建立好之后，每次運(yùn)行 AI 推理時(shí)，只需要點(diǎn)擊“啟動(dòng)工作室”之后，就可以進(jìn)入可以進(jìn)行模型部署及推理的頁面了。

步驟二

在啟動(dòng)工作室之后，即進(jìn)入以下頁面。由于我們是利用OpenVINOnotebooks的 notebook代碼示例資源，因此，我們?cè)陧撁嫔舷鄳?yīng)選擇Notebooks，即進(jìn)入可以使用Jupyter Notebook 運(yùn)行代碼，進(jìn)行 AI 推理的頁面。

頁面地址：https://github.com/openvinotoolkit/openvino_notebooks

步驟三

在進(jìn)入 Notebooks 頁面后，即可根據(jù)界面提示由本地上傳所有 Notebooks 文件夾中的代碼示例。也可以新建終端 Terminals，在終端頁面以 git clone 的方式，直接將OpenVINONotebooks 在 GitHub 上的資源導(dǎo)入在 Azure ML 平臺(tái)上的工作室。

所有 notebooks 代碼示例導(dǎo)入過后，即可看到文件夾內(nèi)包含的所有代碼示例。

步驟四

申請(qǐng) Azure 上的計(jì)算資源，運(yùn)行 notebook 代碼。

以運(yùn)行 Notebook 213 機(jī)器問答代碼示例，在申請(qǐng)好并打開計(jì)算資源的使用后，運(yùn)行機(jī)器問答 notebook 代碼示例，運(yùn)行結(jié)果如下，

3

小結(jié)：

在上面的內(nèi)容中，我們跟大家分享了邊云協(xié)同的必要性，以及在邊緣端能夠?qū)崿F(xiàn)快速深度學(xué)習(xí)模型優(yōu)化、推理及任意部署的英特爾開源 OpenVINO工具套件。并通過一個(gè)實(shí)例，向大家展示了如何在 Azure 機(jī)器學(xué)習(xí)平臺(tái)上利用 OpenVINO快速實(shí)現(xiàn)深度學(xué)習(xí)模型的推理。

關(guān)于英特爾 OpenVINO開源工具套件的詳細(xì)資料，包括其中我們提供的三百多個(gè)經(jīng)驗(yàn)證并優(yōu)化的預(yù)訓(xùn)練模型的詳細(xì)資料，請(qǐng)您點(diǎn)擊：

https://www.intel.com/content/www/us/en/developer/tools/openvino-toolkit/overview.html

除此之外，為了方便大家了解并快速掌握 OpenVINO工具套件的使用，我們還提供了一系列開源的 Jupyter notebook demo。運(yùn)行這些 notebook，就能快速了解在不同場景下如何利用 OpenVINO工具套件實(shí)現(xiàn)一系列、包括 OCR 在內(nèi)的、計(jì)算機(jī)視覺及自然語言處理任務(wù)。OpenVINO notebooks的資源可以在 Github 以下地址下載安裝：

https://github.com/openvinotoolkit/openvino_notebooks

審核編輯 ：李倩