高級(jí)參數(shù)。

?

SensiML 提供了更多選項(xiàng)來(lái)研究生成的模型。切換到左側(cè)的 Explore Model 選項(xiàng)卡以顯示與模型相關(guān)的所有詳細(xì)信息，例如 Model Visualization、Confusion Matrix、Feature Summary 和 Knowledge Pack Summary。如果您想優(yōu)化和調(diào)整底層算法，請(qǐng)?jiān)L問(wèn) e 高級(jí)模型構(gòu)建教程

模型探索

?

您可以通過(guò)單擊左側(cè)下拉菜單中的“下載模型”選項(xiàng)繼續(xù)下載模型/知識(shí)。SensiMl支持的板子非常多，我們需要選擇的就是快羽板。即使您的開(kāi)發(fā)板不受支持，您也可以選擇 ARM GCC Generic，它會(huì)下載靜態(tài)庫(kù)以及示例代碼，以便與任何支持 ARM 的開(kāi)發(fā)板一起使用。下面提到的是我們?cè)谙螺d知識(shí)包之前需要關(guān)注的選項(xiàng)：

1) 浮點(diǎn)選項(xiàng)：這將為浮點(diǎn)特定約定生成浮點(diǎn)指令目標(biāo)

2）格式：我們這里有三個(gè)選項(xiàng)（二進(jìn)制、庫(kù)、源）。源代碼僅適用于付費(fèi)版本。如果您想直接將其閃存到板上，請(qǐng)下載選擇二進(jìn)制文件。對(duì)于我們的項(xiàng)目，我們需要庫(kù)格式以無(wú)縫集成到固件中。

3) 應(yīng)用：選擇簡(jiǎn)單流選項(xiàng)，因?yàn)槲覀兪褂?Uart 進(jìn)行數(shù)據(jù)采集，而不是 WIFI 板。

4) Debug：在 Advanced Setting 選項(xiàng)卡下，確保將其設(shè)置為true ，因?yàn)樵诳焖龠壿?a href='http://www.delux-kingway.cn/article/bbs/' target='_blank' class='arckwlink_none'>論壇上已經(jīng)報(bào)告了與識(shí)別結(jié)果不顯示在 Uart Terminal 相關(guān)的問(wèn)題。

下載知識(shí)包

?

固件開(kāi)發(fā)：

固件開(kāi)發(fā)的第一步是將生成的知識(shí)包集成到qf_ssi_ai_app項(xiàng)目中。下面提到的是一些可以幫助您實(shí)現(xiàn)相同目標(biāo)的鏈接：

將 SensiML 庫(kù)編譯到 QuickLogic QuickFeather 文檔中

這里的任務(wù)是開(kāi)發(fā)固件，在特定持續(xù)時(shí)間內(nèi)執(zhí)行音頻推理，進(jìn)入睡眠模式以在固定時(shí)間段內(nèi)節(jié)省電量，然后再次喚醒以恢復(fù)循環(huán)。qf_ssi_ai_app項(xiàng)目使用音頻數(shù)據(jù)塊處理器線(xiàn)程來(lái)收集音頻數(shù)據(jù)，將其輸入模型，并將識(shí)別結(jié)果輸出到控制臺(tái)。如果我們可以?huà)炱疬@個(gè)線(xiàn)程，設(shè)備將自動(dòng)進(jìn)入理想狀態(tài)，因?yàn)闆](méi)有更多任務(wù)要運(yùn)行。因此，固件設(shè)計(jì)計(jì)劃解釋如下：

固件設(shè)計(jì)

?

代碼開(kāi)發(fā)的分步指南如下：

1）在sensor_audio_config_user.h文件中開(kāi)啟識(shí)別模式：

#define SENSOR_AUDIO_RECOG_ENABLED (1)    // Change it to 1
#define SENSOR_AUDIO_LIVESTREAM_ENABLED (0)
#define SENSOR_AUDIO_DATASAVE_ENABLED (0)

2）在main.c文件中添加如下頭文件

#include "ql_audio.h"   
#include "sml_output.h"

3) 創(chuàng)建一個(gè)附加到音頻數(shù)據(jù)塊處理器線(xiàn)程的句柄并定義外部，使編譯器的生活變得容易。創(chuàng)建計(jì)時(shí)器句柄以控制設(shè)備的活動(dòng)持續(xù)時(shí)間和睡眠周期。

extern TaskHandle_t xTobeParsed;
TickType_t xTimestart;
TimerHandle_t idealtimer;
TimerHandle_t worktimer;
#define IDEAL_TIMER_PERIOD    10000
#define WORK_TIMER_PERIOD     2000

4) 現(xiàn)在通過(guò)更改以下文件將任務(wù)附加到線(xiàn)程：

• sensor_audio_process.c：

// Add this at the top of file
TaskHandle_t   xTobeParsed;

// Pass the address of the task handle in the last parameter
datablk_processor_params_t audio_datablk_processor_params[] = {
    { AUDIO_DBP_THREAD_PRIORITY,
      &audio_dbp_thread_q,
      sizeof(audio_datablk_pe_descr)/sizeof(audio_datablk_pe_descr[0]),
      audio_datablk_pe_descr,
      256,
      "AUDIO_DBP_THREAD",
      &xTobeParsed                   /****** Edited here ********/
    }
};

• datablk_processor.h：

// As we are passing the address of the task handle, we need to change type of the 
// datablk_pe_handle to pointer. 

typedef struct st_datablk_processor_params
{
  int                      dbp_task_priority;  ///< desired task priority
  QueueHandle_t           *p_dbp_task_inQ;     ///< input queue handle
  int                      num_pes;         ///< number of PEs for this thread
  datablk_pe_descriptor_t  *p_descr;        ///< array of thread PE configurations
  int                      stack_depth;     ///< depth of stack needed for this thread
  char                    *dbp_task_name;    ///< datablock processor task name string
  xTaskHandle             *datablk_pe_handle;  /****** Edited here ********/
} datablk_processor_params_t ;

• datablk_processor.c：

// Remove the Ampersand sign in order be compatible with the pointer operator. 
xTaskCreate ( datablk_processor_task,
                  p_dbp_params->dbp_task_name,
                  p_dbp_params->stack_depth,  
                  p_dbp_params,
                  p_dbp_params->dbp_task_priority, 
                  p_dbp_params->datablk_pe_handle   /****** Edited here ********/
                );

4）為以下任務(wù)添加功能：

• 初始化定時(shí)器：

void timer_init(void)
{
	  if (!idealtimer) {
		  idealtimer = xTimerCreate
	                (
	                   "idealTimer",
	                   IDEAL_TIMER_PERIOD, // 10 ticks = ~10ms
	                   pdTRUE,            // auto-reload when the timer expires
	                   (void *)0,
	                   idealTimer_Callback
	                );
	  }
	  if (!worktimer) {
		  worktimer = xTimerCreate
	                (
	                  "workTimer",
			   WORK_TIMER_PERIOD, // 10 ticks = ~10ms
	                   pdTRUE,            // auto-reload when the timer expires
	                   (void *)0,
	                   workTimer_Callback
	                );
	  }
}

• 每個(gè)計(jì)時(shí)器到期后要調(diào)用的回調(diào)函數(shù)：

void workTimer_Callback (TimerHandle_t timHandle)
{
	max_class_print();
	vTaskSuspend(xTobeParsed);
	TimerStart(1);
	uart_tx_raw_buf(UART_ID_SSI,"\r\nSleeping",10);
	Xbee_Sleep_Config(1);
	TimerStop(0);
}

void idealTimer_Callback(TimerHandle_t timHandle)
{
	vTaskResume(xTobeParsed);
	TimerStart(0); //work start
	Xbee_Sleep_Config(0);
	TimerStop(1);  // ideal stop
	HAL_DelayUSec(1000);
	uart_tx_raw_buf(UART_ID_SSI,"\r\nInferencing",13);
}

• 啟動(dòng)和停止定時(shí)器的功能：

void TimerStart(bool timer_select)
{
  BaseType_t  status;
  if (timer_select)  {
    status = xTimerStart (idealtimer, 0);                // start timer
    if (status != pdPASS)  {
      // Timer could not be started
    	uart_tx_raw_buf(UART_ID_SSI, "\r\n start ideal timer failed\r\n", 30);
    }
  }
   else
   {
	status = xTimerStart (worktimer, 0);                // start timer
	if (status != pdPASS)  {
	// Timer could not be started
	uart_tx_raw_buf(UART_ID_SSI, "\r\n start work timer failed\r\n", 30);
	}
  }
}

void TimerStop(bool timer_select)
{
  if (timer_select) {
    xTimerStop(idealtimer, 0);
  }
  else {
    xTimerStop(worktimer, 0);
  }
}

• 配置 Xbee 睡眠??模式：

void Xbee_Sleep_Config(bool enable_sleep) {
	IO_MUX->PAD_6_CTRL = 0x103;
	// Pull the Pin 6 to 3.3v, which is
	// connected o PIN9 on Xbee
	if(enable_sleep)
		HAL_GPIO_Write(GPIO_0, 1);
	else
		HAL_GPIO_Write(GPIO_0, 0);
}

我們需要將設(shè)備波特率與 XBee 模塊的波特率相匹配，以便通過(guò) UART 建立通信。訪(fǎng)問(wèn)以下鏈接以設(shè)置 XBee 模塊并更改App/src/qf_hardwaresetup.c文件中的uart_setup()函數(shù)中的brate參數(shù)。完整的項(xiàng)目源代碼在 github 上，這里是它的鏈接：

https://github.com/Pratyush-Mallick/qorc-sdk.git

低功耗優(yōu)化：

QORC SDK 中的低功耗模式是通過(guò)利用 FreeRTOS 無(wú)滴答 IDLE 節(jié)能技術(shù)實(shí)現(xiàn)的。當(dāng) FreeRTOS 中沒(méi)有活動(dòng)任務(wù)時(shí)，只有 IDLE 任務(wù)處于活動(dòng)狀態(tài)并導(dǎo)致 CPU 進(jìn)入睡眠狀態(tài)。Quicklogic 有一個(gè)關(guān)于這個(gè)主題的指導(dǎo)性良好的文檔。該頁(yè)面可以在這里找到

測(cè)量嵌入式系統(tǒng)的功耗是一項(xiàng)越來(lái)越困難的任務(wù)，然而，Nordic Semiconductor Power Profiler Kit II (PPK2)使其成為一種無(wú)縫體驗(yàn)。我們?cè)谠茨Ｊ较聹y(cè)量了系統(tǒng)的電流消耗，即被測(cè)設(shè)備 (DUT)由 PPK2 供電。安裝Power Profiler 應(yīng)用程序，將 PPK2 上的 VOUT 連接到快速引出板上的 VBAT，同時(shí)接地，一切順利。

以下是 3.3 伏特的平均功耗（1 分鐘）觀(guān)察結(jié)果，睡眠周期為 10 秒，識(shí)別時(shí)間為 2 秒：

• 僅 Quickfeather：6mA
• 只有 Quickfeather (DFS)：7mA（可以通過(guò)在 Fw_global_config.h 文件中將 #define CONST_FREQ 設(shè)置為 1 來(lái)啟用動(dòng)態(tài)頻率縮放）
• 僅 Xbee（無(wú)睡眠）：31mA
• 僅 Xbee（啟用睡眠）：1.97mA（本指南可以幫助您配置 XBee 睡眠??模式）
• Quickfeather + Xbee（無(wú)睡眠）：36mA
• Quickfeather（DFS）+ Xbee（睡眠）：7mA

?

?

?

?

1 / 6 ?最小工作電流為 3mA

?

通過(guò)在 s3x_pwrcfg.c 文件中將睡眠策略節(jié)點(diǎn)時(shí)鐘配置為 256 kHz，我可以通過(guò)在固件端進(jìn)行以下更改來(lái)實(shí)現(xiàn)至少 3mA。

睡眠策略配置

?

我想將功耗降到最低，因此聯(lián)系了 Quicklogic 和 SensiML 團(tuán)隊(duì)。這是他們不得不說(shuō)的：

“在保持最佳性能的同時(shí)降低功耗需要大量開(kāi)發(fā)和微調(diào)。如果不清楚了解模型尺寸、傳感器 ODR（僅 IMU 或音頻) 等。為了進(jìn)一步降低功耗，F(xiàn)W 需要將所有未使用的組件（特定于用例）置于最低功耗模式。當(dāng)前 FW 沒(méi)有解決這個(gè)問(wèn)題。

但是，他們確實(shí)為我提供了以下指導(dǎo)，我將在未來(lái)的開(kāi)發(fā)中納入這些指導(dǎo)：

• 在當(dāng)前的 SimpleStreaming 應(yīng)用程序中，CONST_FREQ 設(shè)置為提供最大性能。在這種情況下，有兩種功耗模式：睡眠和活動(dòng)。睡眠狀態(tài)是 S3 M4 進(jìn)入 WFI 模式，同時(shí) S3 IP 在緩沖區(qū)中收集傳感器數(shù)據(jù)。活動(dòng)狀態(tài)是 M4 運(yùn)行算法或設(shè)置硬件以傳輸數(shù)據(jù)時(shí)。M4 活動(dòng)時(shí)間取決于知識(shí)包數(shù)據(jù)的算法。
• 對(duì)于 Active，S3 內(nèi)核消耗 ~5.67mW (@ 1.8V)；# 不包括 S3 IO 消耗和傳感器。
• 對(duì)于 WFI，S3 內(nèi)核消耗 ~ 0.370uW (@1.8V)；# 不包括 S3 IO 消耗和傳感器。
• 對(duì)于 EOS S3，在更改 HOSC 頻率時(shí)，需要重新配置所有時(shí)鐘網(wǎng)絡(luò)分頻器更新以獲得正確的輸出時(shí)鐘頻率。

以下是戶(hù)外測(cè)試期間的一些圖片和視頻

?

?

?

?

1 / 6 ?監(jiān)控電池充電

?

?

?

?

?

云網(wǎng)關(guān)和短信提醒：

我們的云網(wǎng)關(guān)由連接到互聯(lián)網(wǎng)的個(gè)人計(jì)算機(jī)和通過(guò) UART 連接到 PC 的 Xbee 協(xié)調(diào)器組成。在 PC 上運(yùn)行的 python 腳本通過(guò) UART 從 Xbee Coordinator 獲取數(shù)據(jù)，對(duì)其進(jìn)行處理，然后將其轉(zhuǎn)發(fā)到ThingSpeak云以進(jìn)行進(jìn)一步的可視化和分析。您可以在youtube上觀(guān)看此視頻以開(kāi)始使用 thingspeak。

一旦我們開(kāi)始在云上成功接收數(shù)據(jù)，如果檢測(cè)到非法伐木，我們將需要一個(gè)觸發(fā)機(jī)制來(lái)發(fā)送警報(bào)短信。幸運(yùn)的是，Thingspeak 有一個(gè)ThingHTTP 應(yīng)用程序，可以在設(shè)備、網(wǎng)站和 Web 服務(wù)之間進(jìn)行通信，而無(wú)需在設(shè)備級(jí)別實(shí)現(xiàn)協(xié)議。我們將使用這個(gè)應(yīng)用程序來(lái)觸發(fā)可以發(fā)送自動(dòng)電子郵件和 SMS的Twilio API。由于 ThingSpeak 基于 Matlab，因此我們需要在 Matlab 中編寫(xiě)此過(guò)程。訪(fǎng)問(wèn)以下鏈接以開(kāi)始使用ThingHTTP和Twilio帳戶(hù)。我在這篇博客的末尾附上了 python 和 Matlab 代碼。

這里是顯示快速羽化睡眠狀態(tài)、識(shí)別等級(jí)和設(shè)備位置的公共頻道的鏈接：https ://thingspeak.com/channels/1370213

物聯(lián)網(wǎng)視覺(jué)板

?

關(guān)鍵時(shí)刻：

恭喜你完成了這個(gè)項(xiàng)目。！讓我們擁抱最終的原型。這是一個(gè)演示設(shè)備完整工作的視頻。

未來(lái)范圍：

以下是我計(jì)劃在下一次修訂中完成的任務(wù)列表（非常感謝任何形式的幫助）：

• 將睡眠模式下的電流消耗降低到微安范圍內(nèi)。
• 通過(guò)利用連接到 VBAT 引腳的 ADC 引腳添加電池電量監(jiān)控功能。
• 為森林火災(zāi)檢測(cè)添加一個(gè)氣體傳感器。
• 更好的太陽(yáng)能電池板，例如來(lái)自epshine或powerfilm的太陽(yáng)能電池板。
• 來(lái)自e-peas或matrixindustries的更好的升壓轉(zhuǎn)換器