除了檢測(cè)疲勞駕駛外，我們的系統(tǒng)還可以擴(kuò)展到監(jiān)控可能影響道路安全的其他行為，例如分心駕駛或藥物或酒精導(dǎo)致的損傷。通過(guò)提醒司機(jī)注意這些行為并提醒他們保持專注和警覺(jué)，我們可以幫助降低事故風(fēng)險(xiǎn)，讓我們的道路對(duì)每個(gè)人都更安全。

硬件要求

• Arduino 尼克拉愿景
• 引領(lǐng)
• 蜂鳴器

軟件要求

• 邊緣脈沖
• 開(kāi)發(fā)環(huán)境

硬件設(shè)置

用于數(shù)據(jù)收集的硬件設(shè)置包括安裝在三腳架上的 Nicla Vision。

?

Arduino 尼克拉愿景

Nicla Vision 是一款功能強(qiáng)大且用途廣泛的產(chǎn)品，旨在使用戶能夠開(kāi)發(fā)和原型化涉及邊緣圖像處理和機(jī)器視覺(jué)的項(xiàng)目。它具有支持 TinyML 的 2MP 彩色攝像頭，以及智能 6 軸運(yùn)動(dòng)傳感器、麥克風(fēng)和距離傳感器，可提供一系列傳感功能。

?

該產(chǎn)品由功能強(qiáng)大的 STM32H747AII6 雙 ARM Cortex M7/M4 IC 處理器提供支持，可實(shí)現(xiàn)設(shè)備端智能，并使用戶能夠在邊緣托管機(jī)器學(xué)習(xí)模型和其他高級(jí)算法。此外，Nicla Vision 體積小巧，外形尺寸僅為 22.86 x 22.86 mm，可輕松融入各種項(xiàng)目和場(chǎng)景。Nicla Vision 結(jié)合了機(jī)器視覺(jué)和處理能力以及小巧的外形，是開(kāi)發(fā)或原型設(shè)計(jì)涉及邊緣圖像處理和機(jī)器視覺(jué)項(xiàng)目的理想解決方案。

軟件設(shè)置

如果您不熟悉將 Nicla Vision 設(shè)置為與 EdgeImpulse 一起使用的過(guò)程，并且尚未將設(shè)備連接到 EdgeImpulse 儀表板，我們建議您按照快速教程來(lái)指導(dǎo)您完成設(shè)置過(guò)程。

在設(shè)備和 EdgeImpulse 儀表板之間成功建立連接后，您應(yīng)該會(huì)看到設(shè)備出現(xiàn)在“設(shè)備”選項(xiàng)卡中。

?

如果您沒(méi)有在“設(shè)備”選項(xiàng)卡中看到該設(shè)備，則可能是設(shè)備的連接或配置存在問(wèn)題。在這種情況下，可能需要對(duì)問(wèn)題進(jìn)行故障排除或參考其他資源以獲得幫助。

TinyML 模型生成

1.數(shù)據(jù)采集

現(xiàn)在已經(jīng)配置了必要的軟件和硬件，我們可以繼續(xù)構(gòu)建對(duì)象檢測(cè)模型。此過(guò)程的第一步是收集將用于訓(xùn)練模型的數(shù)據(jù)。收集數(shù)據(jù)有兩種主要方法：使用連接的設(shè)備直接捕獲數(shù)據(jù)或使用上傳器工具上傳預(yù)先存在的數(shù)據(jù)。在這個(gè)特定項(xiàng)目中，我們將使用第一種方法并直接從連接的設(shè)備收集數(shù)據(jù)。然后，這些數(shù)據(jù)將用于訓(xùn)練物體檢測(cè)模型，使其能夠在未來(lái)更準(zhǔn)確地識(shí)別和分類物體。

?

數(shù)據(jù)上傳到 EdgeImpulse 平臺(tái)后，需要對(duì)標(biāo)注隊(duì)列中未標(biāo)注的圖片進(jìn)行標(biāo)注。在這種情況下，模型將接受訓(xùn)練以識(shí)別兩個(gè)不同的類別：閉眼和睜眼。因此，有兩個(gè)對(duì)應(yīng)的標(biāo)簽將應(yīng)用于標(biāo)簽隊(duì)列中的圖像。這個(gè)標(biāo)記數(shù)據(jù)的過(guò)程是訓(xùn)練對(duì)象檢測(cè)模型的重要步驟，因?yàn)樗试S模型學(xué)習(xí)每個(gè)類別的特征和特征，使其能夠在未來(lái)準(zhǔn)確地分類圖像和識(shí)別對(duì)象。通過(guò)仔細(xì)準(zhǔn)確地標(biāo)記標(biāo)記隊(duì)列中的圖像，我們可以確保模型訓(xùn)練有素并且能夠有效地執(zhí)行。

2. 沖動(dòng)設(shè)計(jì)

對(duì)于我們的項(xiàng)目，我們需要具有可靠準(zhǔn)確度的高性能模型。為了滿足這些要求，我們正在使用 Edge Impulse FOMO（更快的對(duì)象，更多的對(duì)象），這是一種專為高度受限設(shè)備上的對(duì)象檢測(cè)而設(shè)計(jì)的機(jī)器學(xué)習(xí)算法。FOMO 生成高效、快速的模型，非常適合處理能力和內(nèi)存有限的應(yīng)用程序。

?

為了針對(duì)我們的用例優(yōu)化 FOMO 的性能，我們將圖像尺寸設(shè)置為 96px，因?yàn)?FOMO 在 96x96 圖像上表現(xiàn)最佳。為了在我們的項(xiàng)目中實(shí)施 FOMO，我們?cè)诿}沖中添加了一個(gè)圖像處理塊和一個(gè)對(duì)象檢測(cè)（圖像）學(xué)習(xí)塊，并將調(diào)整大小模式設(shè)置為適合最短軸。通過(guò)將 FOMO 與這些模塊結(jié)合使用，我們可以以高水平的準(zhǔn)確性和效率有效地實(shí)時(shí)檢測(cè)駕駛員的睡意。

3.特征生成

在我們項(xiàng)目的下一階段，我們將專注于生成特征。為此，我們將轉(zhuǎn)到“圖像”選項(xiàng)卡并選擇所需的顏色深度。在我們的例子中，我們選擇使用RGB ，現(xiàn)在我們將啟動(dòng)特征生成過(guò)程。

?

?

雖然生成的特征被很好地分割并不是嚴(yán)格必要的，但它通常是一個(gè)很好的跡象，表明生成的模型將表現(xiàn)良好。一組劃分良好的特征通常會(huì)導(dǎo)致模型表現(xiàn)良好，因?yàn)樗砻魉褂玫膬蓚€(gè)類之間存在明顯區(qū)別。一旦生成了特征，我們就可以進(jìn)入項(xiàng)目的訓(xùn)練階段。

4.模型訓(xùn)練

完成必要的脈沖設(shè)計(jì)后，我們現(xiàn)在可以繼續(xù)訓(xùn)練我們的機(jī)器學(xué)習(xí)模型的過(guò)程。我們?yōu)槟Ｐ陀?xùn)練選擇的具體設(shè)置如下所示。需要注意的是，可以調(diào)整這些設(shè)置以提高訓(xùn)練模型的準(zhǔn)確性，但必須注意避免過(guò)度擬合。

?

通過(guò)仔細(xì)調(diào)整模型訓(xùn)練設(shè)置并采用適當(dāng)?shù)募夹g(shù)來(lái)防止過(guò)度擬合，我們可以優(yōu)化機(jī)器學(xué)習(xí)模型的性能并實(shí)現(xiàn)高水平的準(zhǔn)確性。在仔細(xì)選擇和準(zhǔn)備足夠數(shù)量的訓(xùn)練數(shù)據(jù)后，我們的機(jī)器學(xué)習(xí)模型已經(jīng)能夠達(dá)到令人印象深刻的準(zhǔn)確度。使用指定的訓(xùn)練設(shè)置，我們能夠達(dá)到 100% 的訓(xùn)練準(zhǔn)確率，這是一個(gè)非常好的結(jié)果。

?

5.模型測(cè)試

現(xiàn)在我們已經(jīng)訓(xùn)練了我們的機(jī)器學(xué)習(xí)模型，是時(shí)候評(píng)估它在看不見(jiàn)的測(cè)試數(shù)據(jù)上的性能了。為此，我們將轉(zhuǎn)到“模型測(cè)試”選項(xiàng)卡并使用“全部分類”功能。這將使我們能夠看到模型在測(cè)試數(shù)據(jù)上的表現(xiàn)如何，并深入了解其泛化能力。

?

我們也獲得了 100% 的測(cè)試準(zhǔn)確率，這排除了任何過(guò)度擬合的可能性，我們的模型運(yùn)行良好。重要的是測(cè)試機(jī)器學(xué)習(xí)模型在未見(jiàn)數(shù)據(jù)上的性能，以便對(duì)其能力進(jìn)行真實(shí)的評(píng)估。僅對(duì)訓(xùn)練數(shù)據(jù)進(jìn)行測(cè)試可能會(huì)導(dǎo)致過(guò)于樂(lè)觀的結(jié)果，因?yàn)槟Ｐ鸵呀?jīng)看到并從這些數(shù)據(jù)中學(xué)習(xí)到了。通過(guò)對(duì)看不見(jiàn)的數(shù)據(jù)進(jìn)行測(cè)試，我們可以更準(zhǔn)確地衡量模型對(duì)新的未知輸入進(jìn)行概括和預(yù)測(cè)的能力。

6.直播分類

現(xiàn)在是時(shí)候進(jìn)入測(cè)試的最后階段，或者更確切地說(shuō)，是我們機(jī)器學(xué)習(xí)模型的模擬部署了。在此階段，我們將模擬模型在真實(shí)環(huán)境中的使用，并評(píng)估其在這些條件下的性能。這將使我們能夠看到模型在更現(xiàn)實(shí)的環(huán)境中的表現(xiàn)如何，并確保它已準(zhǔn)備好部署。

現(xiàn)在是時(shí)候進(jìn)入“實(shí)時(shí)分類”選項(xiàng)卡并從設(shè)備中獲取樣本了。獲得樣本后，我們將對(duì)其進(jìn)行分類并觀察結(jié)果。如果我們的模型能夠準(zhǔn)確地區(qū)分閉眼和睜眼，我們就可以自信地進(jìn)行部署。

?

?

我們的機(jī)器學(xué)習(xí)模型已經(jīng)展示了它的能力，我們準(zhǔn)備在現(xiàn)實(shí)環(huán)境中部署它。

部署

為了部署我們的機(jī)器學(xué)習(xí)模型，我們需要?jiǎng)?chuàng)建一個(gè) Arduino 庫(kù)。該庫(kù)將包含在 Arduino Nicla Vision 上運(yùn)行模型所需的所有必要代碼和資源。

?

要構(gòu)建庫(kù)，我們需要導(dǎo)航到“部署”選項(xiàng)卡并按照此處概述的步驟進(jìn)行操作。完成此過(guò)程后，我們將擁有一個(gè)功能齊全的庫(kù)，可以在 Arduino 平臺(tái)上使用。我們可以采取的一個(gè)可選步驟是使用 EON 編譯器啟用優(yōu)化。該編譯器旨在優(yōu)化我們庫(kù)中的代碼，使其更快、更高效。

完成構(gòu)建過(guò)程后，我們將得到一個(gè)包含我們的模型和一組示例的 zip 文件。要在 Arduino 平臺(tái)上使用這個(gè)庫(kù)，我們需要將它添加到 Arduino 集成開(kāi)發(fā)環(huán)境 (IDE) 中。

?

為此，我們需要打開(kāi) Arduino IDE 并導(dǎo)航至Sketch > Include Library > Add.ZIP library 。從這里，我們將能夠?yàn)g覽我們之前創(chuàng)建的 zip 文件并將其添加到 IDE。將庫(kù)添加到 Arduino IDE 后，我們將能夠使用它在 Arduino 平臺(tái)上運(yùn)行我們的機(jī)器學(xué)習(xí)模型。

?

修改位于“文件”>“示例”>“您的項(xiàng)目名稱”>“nicla_vision”>“nicla_vision_camera”的代碼，將您添加的內(nèi)容合并進(jìn)來(lái)。

完成品

部署后，我們開(kāi)發(fā)了一個(gè)集成了 Nicla Vision、蜂鳴器和 LED 的設(shè)備。該設(shè)備封裝在一個(gè)整潔的 3D 打印外殼中，可以輕松連接到汽車的儀表盤上。

?

?

?

?