描述

介紹

“無人機”一詞通常指任何無人駕駛飛機。這些飛行器有時被稱為“無人機”（UAV），可以執(zhí)行從軍事行動到包裹遞送等一系列令人印象深刻的任務。無人機可以像飛機一樣大，也可以像手掌一樣小。最初為軍事和航空航天行業(yè)開發(fā)的無人機因其帶來的安全性和效率的提高而成為主流。這些機器人無人機在沒有飛行員的情況下運行并具有不同程度的自主性。無人機的自主性水平可以范圍從遠程駕駛（人類控制其運動）到高級自主，這意味著它依賴于傳感器和探測器系統(tǒng)來計算其運動。

由于無人機可以遠程控制，并且可以在不同的距離和高度飛行，因此它們是承擔世界上一些最艱巨工作的理想人選。他們可以在颶風過后協(xié)助尋找幸存者，在恐怖局勢期間讓執(zhí)法部門和軍隊密切關(guān)注天空，并在地球上一些最極端的氣候條件下推進科學研究。無人機甚至進入了我們的家，成為業(yè)余愛好者的娛樂和攝影師的重要工具。

無人機有多種用途：

• 軍隊
• 送貨
• 緊急救援
• 外太空
• 野生動物和歷史保護
• 藥物
• 攝影等

==================================================== ===================

動機

這個項目背后的主要動機是我對探索小型無人機的各種控制方案的好奇心。《微型無人機語音控制系統(tǒng)的設計與開發(fā)》一文講述了無線電、GCS、手勢、語音、操縱桿、PC、FPV和自主等各種無人機控制方法。在論文Design and Development of an Android Application for Voice Control of Micro Unmanned Aerial Vehicles中，觀察到medium無線電和手勢無人機控制方法的態(tài)勢感知處于一定水平，而語音控制方法的態(tài)勢感知能力較高。在這個項目中，我們將致力于基于視覺的手勢控制，稍后我們將進行語音控制以及其他高級控制。

該項目的動機還源于需要在低成本可移植和可擴展的嵌入式平臺中實現(xiàn)這些不同的控制方法，該平臺具有邊緣計算，而不依賴于外部資源的工作。

==================================================== ===================

方法

==================================================== ===================

DJI Tello 無人機

DJI Tello是一款小型無人機，將DJI和Intel I的強大技術(shù)結(jié)合到一個非常小的封裝中。它是一款輕巧、有趣且易于使用的無人機，是在投資更昂貴的選擇之前學習無人機駕駛技巧的完美工具。Tello 擁有來自英特爾的 14 核處理器，其中包括板載Movidius Myriad 2 VPU（視頻處理單元）用于高級成像和視覺處理。它配備了高質(zhì)量的圖像處理器，用于拍攝照片和視頻。該相機具有 5MP (2592x1936) 照片和 HD720 視頻。無人機的最長飛行時間為 13 分鐘。這款令人難以置信的小型無人機可放在您的手掌中，僅重約 80 克（包括螺旋槳和電池）。您可以通過 Tello 應用程序或連接到 Tello 應用程序的受支持藍牙遙控器直接控制 Tello。該無人機可通過 Python、C++、Scratch 和 DroneBlocks 進行編程。

眼鏡

• 重量：約 80 克（含螺旋槳和電池）
• 尺寸：98mm*92.5mm*41mm
• 螺旋槳：3英寸
• 內(nèi)置功能：測距儀、氣壓計、LED、視覺系統(tǒng)、WIFI 802.11n 2.4G、720P 實時取景
• 端口：Micro USB 充電端口
• 最大飛行距離：100m
• 最大速度：8m/s
• 最長飛行時間：13 分鐘
• 可拆卸電池：1.1Ah/3.8V
• 照片：5MP（2592×1936）
• 視場：82.6°
• 視頻：HD720P30
• 格式：JPG（照片）；MP4(視頻)
• 電子防抖：是

為項目準備 Tello Drone

Tello 無人機 SDK提供了有關(guān)如何通過 Tello 命令對無人機進行編程以完成任務的大量信息，但在功能上有所限制。Tello SDK 通過 Wi-Fi UDP 端口連接飛行器，用戶可以通過文本命令控制飛行器。我們使用 Wi-Fi 在 Tello 和 M5Stack 模塊之間建立連接。開機后，Tello 充當軟 AP Wi-Fi (192.168.10.1) 通過端口 8889 接受命令。

Tello SDK 包括三種基本命令類型。

控制命令 (xxx)

如果命令成功，則返回“ok”。

如果命令失敗，則返回“錯誤”或信息性結(jié)果代碼。

Set Command (xxx a) 設置新的子參數(shù)值

如果命令成功，則返回“ok”。

如果命令失敗，則返回“錯誤”或信息性結(jié)果代碼。

讀取命令 (xxx?)

返回子參數(shù)的當前值。

盡管 Tello 非常靈活，我們可以通過許多不同的軸來控制無人機，但在這個項目中，我們將使用以下命令。

• 起飛：自動起飛。
• 土地：自動著陸。
• up x：上升到“x”厘米。
• down x ：下降到“x”厘米。
• left x：向左飛行“x”厘米。
• right x ：向右飛行“x”厘米。
• forward x：向前飛“x”厘米。
• back x ：向后飛“x”厘米。

全套命令請參考SDK 。

作為一項安全功能，如果 15 秒內(nèi)沒有命令，Tello 將自動著陸。

Tello API

我們將使用自定義 C++ API ctello ，它允許我們通過 UDP 與 DJI Tello 無人機通信。

==================================================== ===================

基于視覺的手勢控制方法

手勢命令

為了使用視覺手勢控制我們的 Tello 無人機，我們將使用手勢檢測。6 種基本手勢被考慮用于控制（怠速、起飛/著陸、前進、后退、左、右）。

Takeoff

起飛命令是通過使用豎起大拇指的手勢發(fā)出的。

Land

使用拇指向下的手勢發(fā)出 Land 命令。

通過使用張開手掌手勢發(fā)出前進命令。

通過使用閉合的拳頭手勢發(fā)出向后命令。

使用拇指向左手勢發(fā)出向左命令。

使用拇指向右手勢發(fā)出向右命令。

==================================================== ===================

使用邊緣脈沖的基于視覺的手勢識別

在Edge Impulse Studio的幫助下，我們將使用機器學習構(gòu)建在微控制器上運行的手勢識別系統(tǒng)。

為項目準備 Edge Impulse Studio

• 登錄https://www.edgeimpulse.com/
• 單擊創(chuàng)建項目。

• 提供項目名稱并單擊創(chuàng)建。

• 從左側(cè)菜單轉(zhuǎn)到“設備”選項卡，然后選擇“連接新設備”。

• 您將看到各種設備選項。

• 為簡單起見，讓我們連接我們的智能手機設備。由于所有現(xiàn)代智能手機都有板載加速度計，因此很容易。
• 接下來，您將獲得一個二維碼和一個鏈接，以允許從您的智能手機收集數(shù)據(jù)。

• 掃描此二維碼或通過您的智能手機設備打開鏈接。

• 通過智能手機打開鏈接后，智能手機將顯示在“設備”部分。

==================================================== ===================

數(shù)據(jù)采集

為了為我們的機器學習模型收集數(shù)據(jù)，我們將使用智能手機上的攝像頭傳感器。為了讓您的機器學習模型能夠看到，捕獲這些對象的大量示例圖像非常重要。在訓練模型時，這些示例圖像用于讓模型區(qū)分它們。

• 將智能手機連接到 Edge Impulse 后，轉(zhuǎn)到“ Data Acquisition”選項卡。
• 在手機中，選擇Collecting images并授予對相機的訪問權(quán)限。
• 在下一個屏幕上，給標簽名稱 Eg: takeoff，在相機前顯示手勢，然后單擊Capture開始采樣。

• 一旦設備完成每個采樣，它就會將文件上傳回 Edge Impulse。采樣后，數(shù)據(jù)將出現(xiàn)在數(shù)據(jù)采集中。
• 您會在工作室的“ ”下看到一個新行。Collected data
• 當您單擊它時，您現(xiàn)在會看到原始圖像。

• 重復此過程以收集盡可能多的樣本。
• 對其他標簽重復起飛、著陸、前進、后退、左、右。
• 還包括一些噪聲圖像。
• 確保對手勢進行變化調(diào)整。例如，稍微改變手勢的方向。您永遠不會知道您的用戶將如何使用該設備。
• 收集到足夠的數(shù)據(jù)后，它們將顯示在同一選項卡下。

• 單擊每個數(shù)據(jù)行以查看其原始圖像。

• 現(xiàn)在我們有足夠的數(shù)據(jù)，我們需要將數(shù)據(jù)拆分為atraining dataset和atest dataset.
• 不用擔心。Edge Impulse Studio 也為我們提供了便利。
• 前往“ Dashboard section”并向下滾動至“ Danger Zone”。
• 點擊“ Rebalance datasheet”，自動將數(shù)據(jù)集拆分為訓練和測試，比例為 80/20。

• 現(xiàn)在我們已經(jīng)獲取并設置了我們的訓練數(shù)據(jù)以供進一步處理。
• 現(xiàn)在，我們的 Edge Impulse 項目中有一個平衡良好的數(shù)據(jù)集。
• 我們可以使用小部件上方的兩個按鈕在您的訓練和測試數(shù)據(jù)之間切換Data collected。

==================================================== ===================

手勢模型訓練

由于我們已經(jīng)獲取了所有數(shù)據(jù)，是時候訓練數(shù)據(jù)集以適應手勢模型了，Edge Impulse 使我們無需編寫任何代碼就可以更輕松地生成模型。

有了訓練集，我們就可以設計一個沖動。脈沖獲取原始圖像，使用預處理塊來處理圖像，然后使用學習塊對新數(shù)據(jù)進行分類。預處理塊總是為相同的輸入返回相同的值，而學習塊從過去的經(jīng)驗中學習。

• 轉(zhuǎn)到“ Impulse Design”選項卡。
• 我們已經(jīng)Image data為我們填充了該部分。
• 選擇一個image widthof48x48和 Resize 模式為Squash。
• 現(xiàn)在單擊Add a processing block并選擇Image。
• 該塊接收彩色圖像，可選地使圖像灰度化，然后將數(shù)據(jù)轉(zhuǎn)換為特征數(shù)組。
• 參數(shù)將為我們自動填充。
• 現(xiàn)在單擊Add a learning block并選擇Transfer Learning (Images)。
• 參數(shù)將為我們自動填充。
• 該塊采用這些特征數(shù)組并學習區(qū)分六個（空閑、起飛、前進、后退、左、右）類。
• 該Output features塊將具有我們獲得的所有標簽。

• 現(xiàn)在單擊Save Impulse以保存配置。
• 前往Image標簽。
• 這將在屏幕頂部顯示原始數(shù)據(jù)（您可以通過下拉菜單選擇其他文件），并在右側(cè)顯示預處理步驟的結(jié)果。
• 您可以使用選項在“RGB”和“灰度”模式之間切換，但現(xiàn)在，將顏色深度保留為“RGB”。

• 單擊Save parameters。這會將您發(fā)送到Transfer learning屏幕。
• 在這里，我們將調(diào)整所有數(shù)據(jù)的大小，對所有這些數(shù)據(jù)應用處理塊，并創(chuàng)建完整數(shù)據(jù)集的 3D 可視化。
• 單擊Generate features。
• 將Feature explorer加載。這是我們數(shù)據(jù)集中所有數(shù)據(jù)的圖。

• 因為圖像有很多維度（這里：48x48x3=6912 個特征），我們在可視化之前在數(shù)據(jù)集上運行一個稱為“降維”的過程。
• 在這里，6912?? 個特征被壓縮到只有 3 個，然后根據(jù)相似度進行聚類。
• 即使我們的數(shù)據(jù)很少，您已經(jīng)可以看到一些簇正在形成，并且可以單擊這些點來查看哪個圖像屬于哪個點。

• 對于我們的數(shù)據(jù)集，特征數(shù)據(jù)或多或少是分開的，這是一個好兆頭。如果您的功能重疊，最好獲取更多數(shù)據(jù)。
• 該頁面還顯示了預期的設備性能以及用于計算特征的處理時間和峰值 RAM 使用率。

處理完所有數(shù)據(jù)后，就該開始訓練神經(jīng)網(wǎng)絡了。神經(jīng)網(wǎng)絡是一組算法，松散地模仿人腦，旨在識別模式。我們在這里訓練的網(wǎng)絡將信號處理數(shù)據(jù)作為輸入，并嘗試將其映射到四個類之一。

那么神經(jīng)網(wǎng)絡如何知道要預測什么？神經(jīng)網(wǎng)絡由多層神經(jīng)元組成，所有神經(jīng)元相互連接，每個連接都有一個權(quán)重。輸入層中的一個這樣的神經(jīng)元將是 X 軸的第一個峰值的高度（來自信號處理塊），而輸出層中的一個這樣的神經(jīng)元將是takeoff（其中一個類）。在定義神經(jīng)網(wǎng)絡時，所有這些連接都是隨機初始化的，因此神經(jīng)網(wǎng)絡將進行隨機預測。在訓練期間，我們?nèi)缓螳@取所有原始數(shù)據(jù)，要求網(wǎng)絡進行預測，然后根據(jù)結(jié)果對權(quán)重進行微小的更改（這就是標記原始數(shù)據(jù)很重要的原因）。

這樣，經(jīng)過多次迭代，神經(jīng)網(wǎng)絡就會學習；并且最終將在預測新數(shù)據(jù)方面變得更好。

• 前往Transfer learning標簽。
• 設置Number of training cycles至20、Learning rate至0.0005和Minimum confidence rating 至0.60。您可以使用這些值來調(diào)整訓練模型的準確性。

• 暫時將其他參數(shù)保留為默認值，然后單擊Start training。
• 現(xiàn)在該Training Output部分被填充。

• 它顯示了網(wǎng)絡的準確性和混淆矩陣。該矩陣顯示了網(wǎng)絡何時做出正確和不正確的決定。
• 它還顯示了此模型的預期設備性能。
• 現(xiàn)在我們已經(jīng)生成了模型，我們需要對其進行測試。

==================================================== ===================

手勢模型測試

• 前往Model Testing標簽。
• 我們可以在這里看到我們的訓練數(shù)據(jù)集。單擊Classify all。

• 這將使用模型未知的訓練數(shù)據(jù)生成模型驗證結(jié)果。我們可以看到，我們的訓練模型能夠以 100% 的準確率進行分類，考慮到在訓練部分提供給模型的少量訓練數(shù)據(jù)，這非常好。
• 它還顯示了錯誤預測的標簽。
• 通過檢查這些結(jié)果Feature explorer，我們可以了解是否有任何標簽被錯誤分類，并使用更多的訓練數(shù)據(jù)來重新訓練我們的模型，以便更好地分類這些數(shù)據(jù)。
• 您還可以通過選項卡對來自智能手機的數(shù)據(jù)進行實時分類Live classification。您的設備應在 下顯示為在線Classify new data。將 Sensor 設置為Camera，單擊Start sampling，開始采集樣本。

• 之后，您將獲得有關(guān)網(wǎng)絡認為您所做的事情的完整報告。
• 現(xiàn)在我們已經(jīng)訓練和測試了我們的模型，讓我們部署它。

==================================================== ===================

手勢模型部署

通過設計、訓練和驗證的沖動，您可以將此模型部署回您的設備。這使得模型在沒有互聯(lián)網(wǎng)連接的情況下運行，最大限度地減少延遲，并以最低的功耗運行。Edge Impulse 可以將完整的脈沖（包括信號處理代碼、神經(jīng)網(wǎng)絡權(quán)重和分類代碼）打包到單個 C++ 庫中，您可以將其包含在嵌入式軟件中。

• 前往Deployment標簽。
• 選擇C++ library。
• 如果您需要構(gòu)建特定 Edge Impulse 支持的硬件，請在Build firmware選擇您的開發(fā)板下
• 單擊Build。這將導出沖動，并構(gòu)建一個將在開發(fā)板上一步運行的庫。
• 我們將看到一個彈出窗口，其中包含有關(guān)如何將模型部署到我們的設備的文本和視頻說明。

• 構(gòu)建完成后，系統(tǒng)會提示您下載庫 zip 文件。
• 將 zip 文件保存到我們的項目目錄中。

==================================================== ===================

界面

現(xiàn)在我們已經(jīng)準備好我們的無人機和手勢模型，讓我們在代碼中將所有內(nèi)容連接在一起。

本項目教程的部分提供了完整的接口代碼。Code

在此處獲取代碼：https ://github.com/crisdeodates/Tello_EI_vision_gesture_control

運行以下命令：

$ git clone https://github.com/crisdeodates/Tello_EI_vision_gesture_control
$ cd Tello_EI_vision_gesture_control
$ APP_CAMERA=1 make -j4

現(xiàn)在將您的筆記本電腦連接到 Tello Wifi 并執(zhí)行二進制文件以啟動控件。

$ ./build/Tello_EI_vision_gesture_control 0

==================================================== ===================

測試

現(xiàn)在讓我們測試一下手勢控制，看看它的效果如何。

以下是起飛和降落視覺手勢的快速測試。

==================================================== ===================

結(jié)論

盡管推理引擎無法準確分類某些手勢，但總體性能令人滿意。此外，在某些情況下，手勢命令被錯誤分類。

我們相信這些問題可以通過添加更多的訓練數(shù)據(jù)集并使模型更加靈活來得到更好的解決。

該模型已經(jīng)針對低功耗、資源受限的模塊（例如 ESP32-CAM）進行了優(yōu)化。

==================================================== ===================

接下來是什么 ??！

• 將模型移植到低功耗模塊，例如 ESP32-CAM（正在進行中）。
• 使用更多測試數(shù)據(jù)訓練模型以實現(xiàn)更準確的分類。
• 使用更多樣化的手勢。

==================================================== ===================

?