隨著機(jī)器視覺在深度學(xué)習(xí) (DL) 方法的推動(dòng)下持續(xù)發(fā)展，我們?cè)谧詣?dòng)化和缺陷檢測(cè)領(lǐng)域打開了通向無數(shù)可能性的大門。在嵌入式系統(tǒng)中集成深度學(xué)習(xí)有望實(shí)現(xiàn)變革，特別是在涉及機(jī)器人、自動(dòng)駕駛汽車和工業(yè)流程的場(chǎng)景中。從智能門鈴之類的自主活動(dòng)到諸如使用無人機(jī)進(jìn)行缺陷檢測(cè)的復(fù)雜任務(wù)，結(jié)合更高端的機(jī)器視覺方法可提高這些智能設(shè)備的智能程度，讓以前無法實(shí)現(xiàn)的功能成為現(xiàn)實(shí)。不過，這種融合本身也存在一系列挑戰(zhàn)，包括延遲、能效、安全性和隱私性。要滿足這些需求，就要仔細(xì)選擇合適的算法、嵌入式系統(tǒng)的適應(yīng)和部署策略，為創(chuàng)造更加智能、響應(yīng)更敏捷的世界鋪平道路。

Machine Vision

深度學(xué)習(xí)在嵌入式機(jī)器視覺中的應(yīng)用

隨著機(jī)器視覺的改進(jìn)和基于深度學(xué)習(xí)的方法在自動(dòng)化和缺陷檢測(cè)工藝中取得長足進(jìn)步，許多應(yīng)用從集成深度學(xué)習(xí)技術(shù)中受益匪淺。工業(yè)自動(dòng)化和家居自動(dòng)化流程（特別是那些涉及武器、車輛或其他機(jī)器人元素的流程）從觀察、理解和響應(yīng)其環(huán)境以完成一系列動(dòng)作的能力中受益頗多。

由于這些智能設(shè)備和嵌入式系統(tǒng)的工作環(huán)境復(fù)雜多變，因此越來越有必要在機(jī)器視覺中使用深度學(xué)習(xí)方法。這種增強(qiáng)的智能化水平可用于完成自主活動(dòng)，如送貨、地面維護(hù)、智能門鈴和樓宇門禁、吸塵、制造和倉庫打包。這些應(yīng)用的其中一部分也涉及監(jiān)控和缺陷檢測(cè)。

對(duì)于使用無人機(jī)或其他小型自動(dòng)駕駛車輛檢測(cè)管道、電線、信號(hào)塔和其他資產(chǎn)是否存在缺陷等應(yīng)用，添加基于深度學(xué)習(xí)的機(jī)器視覺也可以提高效率。有了足夠的數(shù)據(jù)，這些模型就不那么脆弱，在不同條件下比傳統(tǒng)的機(jī)器視覺模型表現(xiàn)得更加穩(wěn)健。

然而，將深度學(xué)習(xí)引入機(jī)器視覺不僅成本高昂，還要考慮幾個(gè)能夠決定成功與否的計(jì)算和硬件要求。由于這些應(yīng)用需要實(shí)時(shí)檢測(cè)、分類和響應(yīng)自動(dòng)化流程中的缺陷或其他感興趣的對(duì)象，通過網(wǎng)絡(luò)發(fā)送數(shù)據(jù)以獲得結(jié)果的時(shí)間就常常很有限。

因此，一旦將模型部署到設(shè)備上，所選擇的硬件就需要具有較低的深度學(xué)習(xí)推理延遲。而且，根據(jù)具體應(yīng)用，電源效率也可能是一個(gè)考慮因素，特別是對(duì)于像無人機(jī)或探測(cè)器這種使用內(nèi)置電源執(zhí)行檢測(cè)工作的自動(dòng)駕駛車輛。它們?cè)诔錆M電后的持續(xù)工作時(shí)間越長，工作效率就越高。由于深度學(xué)習(xí)需要大量的計(jì)算功能，因此確保其高效運(yùn)行并對(duì)所使用硬件進(jìn)行低功耗優(yōu)化就十分關(guān)鍵。

嵌入式系統(tǒng)，如NXP Semiconductors i.MX 8M Plus評(píng)估套件，專門針對(duì)以上要求而設(shè)計(jì)，可以在不影響電源效率的前提下，將強(qiáng)大的人工智能加速功能納入設(shè)計(jì)當(dāng)中。這些應(yīng)用的其他重要需求還包括安全性和隱私性。例如，在家居自動(dòng)化應(yīng)用或資產(chǎn)缺陷檢測(cè)中，通常需要將數(shù)據(jù)保存在設(shè)備上（而不是共享到云端），或者需要確保流經(jīng)網(wǎng)絡(luò)的數(shù)據(jù)和通信完全加密。

當(dāng)期望在自主機(jī)器人或車輛上實(shí)時(shí)運(yùn)行這些算法時(shí)，直接集成高質(zhì)量、低延遲、穩(wěn)健的傳感器數(shù)據(jù)用于機(jī)器視覺也至關(guān)重要，這一點(diǎn)應(yīng)反映在硬件的選擇上。

Machine Vision

嵌入式系統(tǒng)的算法選擇

這些機(jī)器視覺應(yīng)用的深度學(xué)習(xí)算法選擇在很大程度上要受上述要求的影響。設(shè)計(jì)人員需要特別注意磁盤上的模型大小、內(nèi)存和推理延遲。對(duì)于任何涉及從相機(jī)數(shù)據(jù)流中檢測(cè)物體（例如缺陷、人、汽車、動(dòng)物）的情況，都可能存在一個(gè)對(duì)大多數(shù)視覺輸入有著廣泛理解的預(yù)先訓(xùn)練或“基礎(chǔ)”模型。這些開源模型會(huì)接觸大量的數(shù)據(jù)，并且可以擴(kuò)展到更細(xì)微的應(yīng)用。

但是，當(dāng)需要執(zhí)行的任務(wù)與用于訓(xùn)練模型的任務(wù)顯著不同時(shí)，性能測(cè)試就變得十分重要。例如，與識(shí)別人或汽車的任務(wù)相比，識(shí)別電線缺陷或管道內(nèi)部缺陷的任務(wù)就涉及不同的對(duì)象和數(shù)據(jù)。

設(shè)計(jì)人員還應(yīng)確保預(yù)先訓(xùn)練的模型架構(gòu)針對(duì)嵌入式設(shè)備進(jìn)行了優(yōu)化。具體而言，應(yīng)該選擇一個(gè)足以在設(shè)備上運(yùn)行的超小模型架構(gòu)——目標(biāo)為一個(gè)兆字節(jié)（而不是千兆字節(jié)）大小的模型。此外，模型的加載和使用不應(yīng)過于緩慢，通常較大的模型才會(huì)出現(xiàn)這種情況。一般來說，已經(jīng)采用了特定的技術(shù)來優(yōu)化這些架構(gòu)和模型權(quán)重，例如，權(quán)重剪枝或量化有助于在保持性能的同時(shí)縮小尺寸和降低復(fù)雜性。

選擇嵌入式深度學(xué)習(xí)視覺模型還需要確保格式相對(duì)標(biāo)準(zhǔn)（如TensorFlow Lite），以便可能直接將其轉(zhuǎn)換為設(shè)備的需求。幸運(yùn)的是，開源視覺模型的可用廣度意味著從頭開始設(shè)計(jì)和訓(xùn)練深度學(xué)習(xí)模型在很大程度上已成為過去。

Machine Vision

使模型適應(yīng)既定應(yīng)用

在評(píng)估嵌入式模型用于機(jī)器視覺的適用性時(shí)，某些特定應(yīng)用的性能可能并不理想。這可能緣于原始訓(xùn)練數(shù)據(jù)分布（例如獲取設(shè)備和條件）與應(yīng)用期望的實(shí)際數(shù)據(jù)之間存在差異。此外，應(yīng)用可能存在基礎(chǔ)模型，但是它們可以檢測(cè)到的對(duì)象類型并不完全符合要求。

例如，執(zhí)行對(duì)象檢測(cè)的標(biāo)準(zhǔn)模型可能不包含缺陷或不常見興趣對(duì)象所屬的特定類別。在這兩種情況下，設(shè)計(jì)人員都應(yīng)該通過微調(diào)或重新訓(xùn)練來調(diào)整模型，以提高性能或適應(yīng)目標(biāo)任務(wù)所需的類別。這樣做需要根據(jù)應(yīng)用的識(shí)別和分類需求標(biāo)記新的數(shù)據(jù)。這些數(shù)據(jù)采用開源數(shù)據(jù)集的形式，與從實(shí)際資產(chǎn)中獲得的領(lǐng)域預(yù)期數(shù)據(jù)或自定義數(shù)據(jù)相似或一致，并根據(jù)需要進(jìn)行標(biāo)記。

找到合適的數(shù)據(jù)標(biāo)記平臺(tái)簡化這一過程，如Labelbox或Label Studio，并將標(biāo)注保持為深度學(xué)習(xí)的標(biāo)準(zhǔn)格式。一旦更新的模型執(zhí)行到所需的級(jí)別，就可以開始部署。

Machine Vision

部署嵌入式模型

由于嵌入式系統(tǒng)有大量可用的模型格式，因此選擇具有集成軟件的硬件非常重要，這樣可以簡化模型移植。移植模型的第一步是編寫數(shù)據(jù)預(yù)處理所需的代碼，或者讓圖像處理應(yīng)用利用已經(jīng)包含這些代碼的嵌入式系統(tǒng)。

例如，NXP i.MX 8M Plus評(píng)估套件與NXP eIQ機(jī)器學(xué)習(xí)軟件配合使用，其中包括機(jī)器視覺預(yù)處理管道，作為深度學(xué)習(xí)軟件的一部分部署到板上。這些預(yù)處理步驟通常包括將原始像素流轉(zhuǎn)換為RGB以及調(diào)整幀大小或裁剪幀。同樣，在模型推斷之后，可能需要一些后處理，例如將邊界框覆蓋在觀看設(shè)備（如LCD屏幕）的相機(jī)輸入上。

下一步是將模型轉(zhuǎn)換為所需的格式，以便在嵌入式設(shè)備上運(yùn)行，提供實(shí)時(shí)推理。這通常涉及將模型轉(zhuǎn)換為標(biāo)準(zhǔn)格式，如開放神經(jīng)網(wǎng)絡(luò)交換 (ONNX) 格式，這樣更便于優(yōu)化硬件。接下來，模型和相鄰的代碼將打包到目標(biāo)設(shè)備的機(jī)器可執(zhí)行二進(jìn)制文件中，生成一個(gè)捆綁包。有好幾個(gè)開源編譯器都可以完成這項(xiàng)任務(wù)，比如Facebook的Glow。此步驟的輸出可以部署到用于給定應(yīng)用的嵌入式系統(tǒng)中。由于移植模型的過程很復(fù)雜，涉及到上述部分的諸多子步驟，因此通常建議選擇一個(gè)包含軟件的嵌入式平臺(tái)，以便更快捷、更簡便地進(jìn)行移植。

例如，NXP i.MX 8M Plus評(píng)估套件就是一款包含eIQ軟件包的可編程套件，簡單的點(diǎn)擊操作就可以完成所有這些步驟。一旦設(shè)備運(yùn)行了模型推理引擎，其輸出就可用于目標(biāo)應(yīng)用——缺陷檢測(cè)、工業(yè)自動(dòng)化等。

Machine Vision

結(jié)語

在嵌入式系統(tǒng)的計(jì)算機(jī)視覺中集成深度學(xué)習(xí)功能可以比傳統(tǒng)方法實(shí)現(xiàn)更復(fù)雜、更具創(chuàng)新性的應(yīng)用。潛在的受益范圍包括家居和工業(yè)自動(dòng)化以及各個(gè)領(lǐng)域的缺陷檢測(cè)。不過，這項(xiàng)工作需要仔細(xì)考慮延遲、能效、安全性和隱私等挑戰(zhàn)，特別是在選擇硬件時(shí)。算法的選擇和改造也是確保目標(biāo)應(yīng)用性能優(yōu)化的重要步驟。甚至嵌入式模型的部署也是一個(gè)精細(xì)的過程，需要合適的硬件和軟件才能實(shí)現(xiàn)流暢的轉(zhuǎn)換。

最終，這種融合將為需要計(jì)算機(jī)視覺的嵌入式應(yīng)用造就一個(gè)效率與創(chuàng)新齊飛的新時(shí)代。