端點(diǎn)人工智能是人工智能的新前沿，它將人工智能的能力下沉到邊緣設(shè)備。它帶來(lái)一種革新的數(shù)據(jù)管理方式：在本地搜集相關(guān)數(shù)據(jù)并在本地做出決策。它將以往僅僅用于計(jì)算數(shù)據(jù)的物聯(lián)網(wǎng)設(shè)備升級(jí)為集成人工智能的智能設(shè)備，從而增加設(shè)備實(shí)時(shí)決策的能力?？偠灾褪鞘够?a href="http://www.delux-kingway.cn/v/tag/557/" target="_blank">機(jī)器學(xué)習(xí)的智能決策在物理上更接近數(shù)據(jù)源本身。因此，嵌入式視覺下沉到端點(diǎn)設(shè)備，就不再僅僅是將圖像或視頻分解成像素，而是理解像素，理解它們的含義，并在發(fā)生特定事件時(shí)做出明智決策。

什么是嵌入式視覺？

嵌入式計(jì)算機(jī)視覺給機(jī)器賦予視覺，使它們能夠在機(jī)器學(xué)習(xí)和深度學(xué)習(xí)算法的支持下更好地了解環(huán)境。很多行業(yè)中都有依賴于計(jì)算機(jī)視覺的應(yīng)用，它已經(jīng)是黑科技中不可或缺的一員。準(zhǔn)確地說(shuō)，計(jì)算機(jī)視覺是人工智能（AI）領(lǐng)域的一部分，它使機(jī)器能夠從數(shù)字多媒體信息源中提取有意義的信息，并據(jù)此采取行動(dòng)或提出決策建議。計(jì)算機(jī)視覺類似于人類視覺，但兩者之間仍存在一些差異。人類視覺的背后，是對(duì)所看到的各種不同東西都有理解的能力。而計(jì)算機(jī)視覺只能識(shí)別它已經(jīng)被訓(xùn)練過(guò)的內(nèi)容，同時(shí)還有一定的錯(cuò)誤率。另外一方面，嵌入式視覺通過(guò)訓(xùn)練能讓設(shè)備在最短的時(shí)間內(nèi)做出對(duì)特定對(duì)象的識(shí)別，從而能更加高效地對(duì)海量圖像進(jìn)行分析。在這一方面，機(jī)器視覺優(yōu)于人類視覺。

嵌入式視覺廣泛應(yīng)用于消費(fèi)和工業(yè)領(lǐng)域的智能終端，為設(shè)備提升附加值。簡(jiǎn)單舉幾個(gè)例子：分析生產(chǎn)線上的產(chǎn)品質(zhì)量、統(tǒng)計(jì)人群中的人數(shù)、識(shí)別物體、分析特定區(qū)域的內(nèi)容等。

在端點(diǎn)設(shè)備實(shí)現(xiàn)嵌入式視覺應(yīng)用時(shí)，設(shè)備的算力會(huì)是面臨的一個(gè)挑戰(zhàn)。但集中處理的話，從傳感設(shè)備傳輸?shù)皆贫巳シ治龅臄?shù)據(jù)量可能非常大，并且超過(guò)網(wǎng)絡(luò)帶寬。例如，以30FPS（每秒幀數(shù)）運(yùn)行的1920×1080攝像機(jī)可能會(huì)產(chǎn)生大約190MB/S的數(shù)據(jù)。除了隱私問題之外，數(shù)據(jù)從邊緣到云，再?gòu)脑频蕉它c(diǎn)的往返勢(shì)必會(huì)帶來(lái)延遲。這些限制都不利于實(shí)時(shí)應(yīng)用。

物聯(lián)網(wǎng)安全也是市場(chǎng)要采用和發(fā)展嵌入式視覺需要考慮的一個(gè)問題。使用智能視覺設(shè)備的一個(gè)關(guān)鍵隱憂是敏感圖像和視頻是否有被不當(dāng)使用的可能性。未經(jīng)授權(quán)訪問攝像頭不僅侵犯隱私，而且可能導(dǎo)致更嚴(yán)重的后果。

端點(diǎn)設(shè)備上的人工智能視覺

Endpoint AI可以理解捕獲的圖像

Endpoint AI使用機(jī)器學(xué)習(xí)和深度學(xué)習(xí)來(lái)按照被訓(xùn)練的模式去匹配和識(shí)別

為了獲得最佳性能，AI算法在終端設(shè)備上運(yùn)行，而無(wú)需將數(shù)據(jù)傳輸?shù)皆贫恕?shù)據(jù)由圖像識(shí)別設(shè)備捕獲，然后在同一設(shè)備中進(jìn)行處理和分析。

端點(diǎn)設(shè)備的功耗限制仍然存在，微控制器或微處理器需要更高的效率來(lái)處理AI算法所需的大量乘累加（MAC）運(yùn)算。

人工智能視覺的部署

現(xiàn)實(shí)世界中有無(wú)數(shù)AI視覺應(yīng)用的使用場(chǎng)景。下面是一些例子，瑞薩可以提供全面的MCU和MPU解決方案，包括必要的軟件和工具，以實(shí)現(xiàn)快速開發(fā)。

智能門禁

語(yǔ)音和人臉識(shí)別給安全門禁系統(tǒng)帶來(lái)更多使用價(jià)值。然而實(shí)時(shí)識(shí)別，要求嵌入式系統(tǒng)具有非常高的算力和片上硬件加速。為了應(yīng)對(duì)這一挑戰(zhàn)，瑞薩提供的MCU或MPU具有高算力，還集成了許多支持人臉和語(yǔ)音識(shí)別至關(guān)重要的功能，如內(nèi)置H.265硬件解碼、2D/3D圖形加速以及內(nèi)部和外部存儲(chǔ)器上的ECC，以消除軟錯(cuò)誤并實(shí)現(xiàn)高速視頻處理。

工業(yè)控制

嵌入式視覺可以應(yīng)用到包括安全操作、自動(dòng)化、產(chǎn)品分類等多個(gè)場(chǎng)景。人工智能可以在生產(chǎn)過(guò)程中幫助執(zhí)行多項(xiàng)操作，如包裝和分發(fā)，確保生產(chǎn)過(guò)程中所有階段的質(zhì)量和安全。

交通運(yùn)輸

計(jì)算機(jī)視覺也能改善交通運(yùn)輸服務(wù)。以自動(dòng)駕駛為例，使用計(jì)算機(jī)視覺對(duì)道路上的物體進(jìn)行檢測(cè)和分類。它還可用于創(chuàng)建3D地圖和估算運(yùn)動(dòng)軌跡。自動(dòng)駕駛汽車使用攝像頭和傳感器收集環(huán)境信息，然后通過(guò)模式識(shí)別、特征提取和對(duì)象跟蹤等視覺技術(shù)來(lái)解析數(shù)據(jù)，并做出最合適的響應(yīng)。

嵌入式視覺可以用于多種用途，但都需要根據(jù)特定領(lǐng)域做定制和優(yōu)化，使用該領(lǐng)域的數(shù)據(jù)集做特別的訓(xùn)練。比如監(jiān)控一個(gè)物理區(qū)域、識(shí)別入侵、檢測(cè)人群密度、統(tǒng)計(jì)人或指定物體或動(dòng)物的數(shù)量、找人、根據(jù)車牌號(hào)找車、運(yùn)動(dòng)檢測(cè)以及人類行為分析。

案例研究——農(nóng)作物病蟲害檢測(cè)

視覺人工智能和深度學(xué)習(xí)可以用來(lái)檢測(cè)各種異?！参锊∠x害檢測(cè)就是一個(gè)例子。研究結(jié)果表示，與以前費(fèi)錢費(fèi)力收效還慢的方法相比，計(jì)算機(jī)視覺能提供更好、更準(zhǔn)確、更快速和更經(jīng)濟(jì)的方案。

在該案例中使用的方法和步驟可應(yīng)用于任何其他檢測(cè)，主要有三個(gè)步驟。

第一步在實(shí)驗(yàn)室的計(jì)算機(jī)上執(zhí)行，第二步部署在端點(diǎn)設(shè)備上，比如農(nóng)場(chǎng)里的節(jié)點(diǎn)設(shè)備。步驟3中的結(jié)果顯示在用戶端的屏幕上。

結(jié)論：

我們正在經(jīng)歷一場(chǎng)跨越多個(gè)細(xì)分市場(chǎng)的高性能智能視覺應(yīng)用革命。端點(diǎn)設(shè)備中的微控制器和微處理器算力越來(lái)越強(qiáng)，這為新視覺應(yīng)用帶來(lái)了巨大的機(jī)遇。瑞薩視覺人工智能解決方案通過(guò)在端點(diǎn)提供具有智能數(shù)據(jù)處理的嵌入式AI技術(shù)，幫助您增強(qiáng)整體系統(tǒng)功能。我們?cè)谶吘壴O(shè)備的圖像處理解決方案具有低功耗特性、并支持多模型、多種特征推斷?，F(xiàn)在就開始使用瑞薩電子的產(chǎn)品和工具開發(fā)您的視覺AI應(yīng)用吧。

審核編輯：湯梓紅