生成的數(shù)據(jù)集包含：

數(shù)據(jù)集

?

從所有類中，100 個(gè)樣本被添加到訓(xùn)練集，30 個(gè)樣本被添加到測(cè)試集，20 個(gè)樣本被添加到驗(yàn)證集。

我們已將訓(xùn)練過(guò)程的源代碼添加到該項(xiàng)目中，但它也可以在此處作為 Python 筆記本獲得：Training notebook 。Google Colaboratory 是初學(xué)者在受控環(huán)境中使用免費(fèi)提供的 GPU 測(cè)試他們的想法的好地方。

本筆記本包含模型訓(xùn)練的主要步驟，包括：

• 數(shù)據(jù)加載：正面和負(fù)面的例子
• 數(shù)據(jù)分離為訓(xùn)練集、驗(yàn)證集和測(cè)試集：100 + 20 + 30 個(gè)樣本
• 神經(jīng)網(wǎng)絡(luò)模型創(chuàng)建：簡(jiǎn)單的卷積神經(jīng)網(wǎng)絡(luò)
• 模型擬合 - 訓(xùn)練：默認(rèn)訓(xùn)練參數(shù)
• 模型評(píng)估：在測(cè)試數(shù)據(jù)集上評(píng)估
• 模型轉(zhuǎn)換為 TensorFlow Lite 模型。
• 模型轉(zhuǎn)換為字節(jié)數(shù)組，可以上傳到 Artemis Board。

本例中使用的模型由一個(gè)具有 2 個(gè)內(nèi)核的卷積層和一個(gè)最大池化層組成。它涵蓋了卷積產(chǎn)生的整個(gè)特征向量。由于其簡(jiǎn)單性，該模型幾乎無(wú)法泛化知識(shí)，但在測(cè)試數(shù)據(jù)集上可以達(dá)到 94% 左右的高精度，在可接受的范圍內(nèi)。架構(gòu)如圖 4 所示。（注意：使用了 Conv2D，因?yàn)?TF Lite Micro 僅支持此操作，否則需要使用 Conv1D。）

圖 4.：從原始音頻輸入執(zhí)行火花聲音檢測(cè)的建議神經(jīng)網(wǎng)絡(luò)的結(jié)構(gòu)

?

訓(xùn)練有素的模型有利有弊：

+ 體積小，只有 71 個(gè)可訓(xùn)練參數(shù)

+ 可以處理 12000 個(gè)樣本的長(zhǎng)輸入

+ Artemis 板可在 1 秒內(nèi)運(yùn)行

- 對(duì)噪音非常敏感，不能一概而論

[數(shù)據(jù)收集詳細(xì)信息] -> [在 GPU 上訓(xùn)練] -> [模型部署] -> [推理]

部署從字節(jié)數(shù)組開始，字節(jié)數(shù)組是在上一節(jié)訓(xùn)練期間生成的。左側(cè)可見Arduino連接，表示當(dāng)發(fā)送一個(gè)'s'字符時(shí)，會(huì)產(chǎn)生火花。很快，“檢測(cè)到火花！” 右側(cè)應(yīng)該有消息，它會(huì)打印來(lái)自 Artemis Board 的消息。

概括：

在本節(jié)中，我們提出了一個(gè)檢測(cè)問(wèn)題的基線解決方案，旨在基于火花聲音包含對(duì)錄音進(jìn)行分類。我們包括用于數(shù)據(jù)收集、模型訓(xùn)練以及模型部署和推理的源代碼。

進(jìn)階方法：

上一節(jié)中訓(xùn)練的簡(jiǎn)單模型在測(cè)試數(shù)據(jù)集上達(dá)到了可接受的準(zhǔn)確度，但是，在其真實(shí)世界的評(píng)估過(guò)程中，我們可以測(cè)試它對(duì)鼓掌或敲擊等其他脈沖響亮事件的魯棒性。基于這些實(shí)驗(yàn)，可以得出結(jié)論，該模型能夠識(shí)別響亮的脈沖事件，而不僅僅是火花聲。如此簡(jiǎn)單的架構(gòu)無(wú)法泛化知識(shí)以檢測(cè)復(fù)雜背景噪聲中的這些復(fù)雜模式是合理的。

在本節(jié)中，我們展示了高級(jí)方法的使用，這些方法可以幫助找到更合適的模型，具有更高的準(zhǔn)確性和魯棒性，以及最佳的內(nèi)存和計(jì)算復(fù)雜性。

準(zhǔn)確率：正確分類示例的比率

魯棒性：誤導(dǎo)分類器的平均輸入擾動(dòng)幅度的度量

內(nèi)存復(fù)雜度：運(yùn)行模型所需的內(nèi)存總量

計(jì)算復(fù)雜度：運(yùn)行模型必須執(zhí)行的浮點(diǎn)運(yùn)算總數(shù)

前面介紹的簡(jiǎn)單模型是根據(jù)一些經(jīng)驗(yàn)以臨時(shí)方式創(chuàng)建的。即使初始架構(gòu)已知，其提供最佳結(jié)果的超參數(shù)也是未知的。因此，我們從基線模型開始，實(shí)現(xiàn)了一種能夠找到優(yōu)越超參數(shù)集的搜索算法。這種方法稱為網(wǎng)格搜索，它從給定的間隔將超參數(shù)收集到集合中，并根據(jù)一些指標(biāo)測(cè)試這些配置。在我們的案例中，考慮的參數(shù)如下：

• 卷積層中的內(nèi)核數(shù)：[3, 5, 8, 13]
• 卷積核的膨脹率：[1, 2, 3]
• 卷積核的大小：[15, 36, 57, 93, 150]

為了評(píng)估特定的超參數(shù)集，我們使用了準(zhǔn)確性和魯棒性指標(biāo)。準(zhǔn)確率很簡(jiǎn)單，就是正確分類的樣本數(shù)與樣本總數(shù)的比值。魯棒性更復(fù)雜。在沒(méi)有完整的科學(xué)背景的情況下，它可以概括為模型對(duì)輸入擾動(dòng)不敏感的度量，而這些暗示錯(cuò)誤分類的擾動(dòng)的平均幅度就是該屬性的度量。研究這個(gè)參數(shù)的研究領(lǐng)域稱為對(duì)抗性機(jī)器學(xué)習(xí)。我們使用了DeepFool方法的略微修改版本來(lái)測(cè)量我們的 NN 的這一屬性。

除了超參數(shù)優(yōu)化之外，我們還通過(guò)在輸入中添加具有不同標(biāo)準(zhǔn)差值的高斯噪聲來(lái)擴(kuò)展模型性能檢查。隨著噪聲水平的增加，信噪比降低，這使得檢測(cè)問(wèn)題變得更加困難。噪聲參數(shù)選自 [0.00, 0.01, 0.05, 0.1] 集合。為了使這些值具有可解釋性，圖 5 顯示了具有不同噪聲級(jí)別的示例記錄。可以觀察到，在最極端的情況下，火花形狀完全消失在噪聲中。

圖 5：各種噪聲水平影響的可視化。

?

選擇來(lái)自呈現(xiàn)的參數(shù)值區(qū)間的所有組合，并相應(yīng)地生成相應(yīng)的神經(jīng)網(wǎng)絡(luò)。這產(chǎn)生了240 個(gè)生成的模型。每個(gè)網(wǎng)絡(luò)都在相同的訓(xùn)練數(shù)據(jù)集上進(jìn)行了訓(xùn)練，并在驗(yàn)證數(shù)據(jù)集上進(jìn)行了評(píng)估。高斯噪聲是在訓(xùn)練期間動(dòng)態(tài)生成的，使用以下參數(shù)進(jìn)行：

• 批量：5
• Early Stopping：以 10 個(gè) epoch 的耐心監(jiān)測(cè)訓(xùn)練損失
• 優(yōu)化器：亞當(dāng)

網(wǎng)格搜索的結(jié)果如圖 6 所示。這里，x 軸表示精度，y 軸表示平均擾動(dòng)大小的對(duì)數(shù)。較大的擾動(dòng)表示更好的魯棒性。圖上的每個(gè)符號(hào)都有一個(gè)編碼噪聲水平的形狀、一個(gè)表示記憶復(fù)雜度的直徑和一個(gè)編碼神經(jīng)網(wǎng)絡(luò)計(jì)算復(fù)雜度的顏色。噪音等級(jí)符號(hào)：star- 不添加噪音；circle - 噪聲級(jí) 0.01；square - 噪聲級(jí) 0.05；triangle - 噪音水平 0.1。

圖 6：關(guān)于 240 個(gè)訓(xùn)練模型的 5 維圖。

?

在圖 6 中，可以識(shí)別出幾個(gè)點(diǎn)簇。例如，可以觀察到較高的噪聲水平會(huì)降低準(zhǔn)確性，但會(huì)增強(qiáng)魯棒性（triangles在左上角）。另一個(gè)例子是squares中間的簇，它同時(shí)從左到右，從下到上同時(shí)進(jìn)化，這意味著一些參數(shù)集也提高了準(zhǔn)確性和魯棒性。

在我們的案例中，需要具有良好性能和魯棒性的模型，但由于我們希望將其部署在微控制器上，因此還必須考慮內(nèi)存和計(jì)算復(fù)雜性。這些參數(shù)被編碼成一個(gè)點(diǎn)的顏色和大小。根據(jù)彩條，需要一個(gè)小直徑的藍(lán)色點(diǎn)，從圖的右側(cè)開始，該點(diǎn)也可以最大限度地提高魯棒性。我們選擇了模型，它由位于circle 集群頂部右側(cè)的圓圈集群上方的單個(gè)離群藍(lán)色表示squares 。該模型在測(cè)試數(shù)據(jù)集上進(jìn)行了評(píng)估。模型的參數(shù)和性能如下：

Accuracy on the test dataset:        0.99074
Accuracy on the training dataset:    0.99444
Robustness:                          0.00136
---------------------------------------------
Dilation rate:         1
Kernel size:           57
Number of kernels:     5
Added noise level:     0.01
---------------------------------------------
Memory complexity:         238 KB
Computational complexity:  3.4 MFLOP  (12kS input size)

該模型的計(jì)算復(fù)雜度高于我們的基準(zhǔn)模型，因此推斷需要激活 Apollo 3 MCU 的突發(fā)模式。在這種狀態(tài)下，核心時(shí)鐘頻率從 48 MHz 翻倍到 96 MHz。

所提出的 NN 架構(gòu)的另一個(gè)優(yōu)點(diǎn)是全窗口最大池化（稱為 GlobalMaxPooling，但 TF Lite Micro 不支持）使模型能夠接受各種輸入長(zhǎng)度。例如，我們發(fā)現(xiàn)如果我們將輸入長(zhǎng)度從 12000 個(gè)樣本減少到 3000 個(gè)樣本，內(nèi)存復(fù)雜度可以顯著降低：從 238 KB 到 14 KB。一個(gè)缺點(diǎn)是，如果我們想要在具有重疊區(qū)域的信號(hào)上運(yùn)行檢測(cè)器以確保完全包含火花事件，我們必須調(diào)用推理 7 次，而不是之前的 2 次。但是，MCU 足夠快以處理計(jì)算開銷（總共 5.6 個(gè) MFLOP）。

當(dāng)我們應(yīng)用對(duì)抗性攻擊來(lái)測(cè)量 NN 結(jié)構(gòu)的魯棒性時(shí)，很容易將這些對(duì)抗性示例中的一些可視化。圖 7 顯示了一個(gè)這樣的示例。這里的目標(biāo)是生成一個(gè)記錄，該記錄位于已訓(xùn)練的神經(jīng)網(wǎng)絡(luò)結(jié)構(gòu)的決策表面的邊緣。這個(gè)例子是從一個(gè)最初的負(fù)樣本（絕對(duì)沉默）生成的，但在當(dāng)前的形式中，它欺騙了網(wǎng)絡(luò)，以便它產(chǎn)生一個(gè)正標(biāo)簽。

圖 7.：從沉默中生成的對(duì)抗性示例。它欺騙了產(chǎn)生正面標(biāo)簽的網(wǎng)絡(luò)。

?

這些方法很復(fù)雜，我們認(rèn)為源代碼的發(fā)布不會(huì)有助于上述說(shuō)明的普遍適用性，因此我們僅應(yīng)要求通過(guò)電子郵件共享這些文件。

項(xiàng)目總結(jié)：

我們實(shí)現(xiàn)了一個(gè)基于神經(jīng)網(wǎng)絡(luò)的火花聲音檢測(cè)器，可以部署在 SparkFun RedBoard Artemis ATP 上。數(shù)據(jù)是通過(guò)使用相同的設(shè)備及其集成的 MEMS 麥克風(fēng)收集的。數(shù)據(jù)采集??采用具有不同背景噪聲的火花產(chǎn)生。

為初學(xué)者解釋了一個(gè)簡(jiǎn)單的管道，并部署了一個(gè)基線神經(jīng)網(wǎng)絡(luò)模型。我們共享了解決類似問(wèn)題所需的所有主要步驟的源代碼。

此外，還包括更先進(jìn)的方法和想法，可以提高模型性能和魯棒性。

未來(lái)，我們計(jì)劃將 Artemis 板集成到我們正在積極開發(fā)的獸傳槍聲探測(cè)器中。本報(bào)告中呈現(xiàn)的先進(jìn)成果可為這些方向的研究提供基礎(chǔ)。

?