描述

誰不想施展自己的法術(shù)并感受神奇的感覺？在這個(gè)項(xiàng)目中，我們正在構(gòu)建一個(gè)數(shù)字“魔杖”，它包括以三種手勢(shì)（翼、環(huán)和斜坡）之一揮動(dòng)魔杖。如果你成功施展了咒語，你會(huì)看到相應(yīng)的手勢(shì)出現(xiàn)在屏幕上，Arduino 板上的紅色 LED 應(yīng)該亮起。

該項(xiàng)目使用深度學(xué)習(xí)模型對(duì)使用 Arduino 板上內(nèi)置的多維傳感器收集的人類輸入手勢(shì)進(jìn)行訓(xùn)練和評(píng)估。具體來說，它使用 TensorFlow Lite 運(yùn)行一個(gè) 20 KB 的卷積神經(jīng)網(wǎng)絡(luò)模型來識(shí)別帶有加速度計(jì)的手勢(shì)。通過這個(gè)有趣的項(xiàng)目，您可以看到深度學(xué)習(xí)如何將奇怪的數(shù)字?jǐn)?shù)據(jù)轉(zhuǎn)化為有意義的信息，達(dá)到神奇的效果。

關(guān)于我們的模型：

我們的模型一次接收 128 組 X、Y 和 Z 值，以 25 Hz 的速率加起來相當(dāng)于五秒多一點(diǎn)的數(shù)據(jù)。每個(gè)值都是一個(gè) 32 位浮點(diǎn)數(shù)，表示該方向的加速度量。捕獲數(shù)據(jù)并運(yùn)行推理后，我們的應(yīng)用程序?qū)⒋_定是否檢測(cè)到有效手勢(shì)，將一些輸出打印到終端，并點(diǎn)亮 LED。在這里，我們使用預(yù)訓(xùn)練模型，該模型由許多人根據(jù)以下手勢(shì)執(zhí)行。

我們訓(xùn)練的三種手勢(shì)形狀 - 來自 TinyML 第 11 章（第 313 頁）

?

模型架構(gòu)：

我們的手勢(shì)檢測(cè)模型由以下結(jié)構(gòu)組成（如最后的示意圖所示）：

• 主循環(huán)：連續(xù)循環(huán)，不需要預(yù)處理，因此每秒運(yùn)行多次
• 加速度計(jì)處理程序：從傳感器輸入數(shù)據(jù)并寫入模型的輸入張量
• TF Lite解釋器和模型：128組X、Y、Z值數(shù)據(jù)數(shù)組，由解釋器運(yùn)行。它既漂亮又小巧，只有 19.5 KB。
• 手勢(shì)預(yù)測(cè)器：獲取模型的輸出并決定是否執(zhí)行了手勢(shì)
• 輸出處理程序：如果執(zhí)行了正確的手勢(shì)，則點(diǎn)亮 LED 并將輸出打印到屏幕

該項(xiàng)目在以下操作系統(tǒng)中進(jìn)行了測(cè)試和構(gòu)建：

• Ubuntu 16.04 LTS（64 位）
• 內(nèi)存 31.3 GiB
• 處理器 Intel? Core? i7-6700 CPU @ 3.40GHz × 8

運(yùn)行測(cè)試：

您應(yīng)該確認(rèn)該程序已構(gòu)建并運(yùn)行。然后就可以進(jìn)行下一步了。

部署到 Arduino：

• 安裝并打開 Arduino IDE
• 安裝 Arduino_TensorFlowLite：在工具 -> 管理庫中打開 Arduino 庫管理器...并搜索 Arduino_TensorFlowLite
• 安裝Arduino_LSM9DS1 ：工具 -> 管理庫...并搜索 Arduino_LSM9DS1。安裝 1.0.0 版驅(qū)動(dòng)程序以確保以下說明有效。請(qǐng)注意，您可能不再需要“修補(bǔ)驅(qū)動(dòng)程序”（如鏈接中所述），因?yàn)槲蚁嘈潘麄円呀?jīng)修復(fù)了它并且我不需要這樣做
• 加載并運(yùn)行魔杖：

加載并運(yùn)行魔杖

?

如果程序運(yùn)行成功，你應(yīng)該會(huì)看到這個(gè)窗口

?

• 打開 Arduino 串行監(jiān)視器（工具 -> 串行監(jiān)視器）。并開始使用你的魔杖！握住 Arduino，使其組件朝上，USB 電纜在您的左側(cè)。執(zhí)行手勢(shì)“WING”、“RING”（順時(shí)針）和“SLOPE”，您應(yīng)該會(huì)看到相應(yīng)的輸出：

?

• 注意：確實(shí)需要反復(fù)試驗(yàn)才能找出正確的揮手手勢(shì)。我發(fā)現(xiàn)對(duì)我來說，“斜坡”手勢(shì)比“翼”手勢(shì)要容易得多。在空中繪制時(shí)，板對(duì)傾斜角度或不同速度很敏感。多嘗試幾次，看著自己施法，玩得開心?。?！