ISM330IS，這是第一款配備智能傳感器處理單元 （ISPU） 的傳感器。意法半導(dǎo)體于2022年初宣布了該技術(shù)，其演示具有高度的象征意義，因?yàn)樗C明了該技術(shù)即將推出。簡(jiǎn)而言之，ISPU 是一種 C 可編程嵌入式數(shù)字信號(hào)處理器 （DSP），能夠運(yùn)行機(jī)器學(xué)習(xí)和深度學(xué)習(xí)算法。因此，這是AI在邊緣的下一次演變，或者意法半導(dǎo)體所說(shuō)的“Onlife時(shí)代”。事實(shí)上，ISM330IS包括一個(gè)用于單位精度計(jì)算的浮點(diǎn)單元，這在運(yùn)動(dòng)傳感器中尚屬首次。

從創(chuàng)意到新一代傳感器

意法半導(dǎo)體克服了哪些挑戰(zhàn)？

回顧過(guò)去四年的重大創(chuàng)新以了解我們是如何走到這一步的，這一點(diǎn)至關(guān)重要。它始于意法半導(dǎo)體發(fā)表的一篇論文，研究慣性傳感器內(nèi)部機(jī)器學(xué)習(xí)內(nèi)核的可行性。在這項(xiàng)研究之前，傳感器只收集數(shù)據(jù)。因此，所有計(jì)算都必須在微控制器上進(jìn)行。這個(gè)系統(tǒng)背后的原因相對(duì)簡(jiǎn)單。慣性傳感器是小型低功耗器件。添加功能強(qiáng)大的處理器不僅會(huì)違反這些限制，還會(huì)帶來(lái)重大的集成和制造挑戰(zhàn)。然而，盡管將DSP和加速度計(jì)與陀螺儀結(jié)合在一起，意法半導(dǎo)體并沒(méi)有損害處理能力、存儲(chǔ)器存儲(chǔ)或檢測(cè)精度。

第一個(gè)具有機(jī)器學(xué)習(xí)核心的傳感器完成了什么？

2018年意法半導(dǎo)體的論文具有開(kāi)創(chuàng)性，因?yàn)樗鉀Q了這些挑戰(zhàn)，推廣了后來(lái)被稱為L(zhǎng)SM6DSOX的東西，這是有史以來(lái)第一個(gè)并行容納八個(gè)決策樹(shù)以運(yùn)行機(jī)器學(xué)習(xí)算法的慣性傳感器。因此，可以以一小部分功耗在本地運(yùn)行應(yīng)用程序。新的應(yīng)用程序開(kāi)始出現(xiàn)，特別是在將設(shè)備集成到SensorTile.box之后。例如，可以為留在車(chē)內(nèi)的嬰兒創(chuàng)建一個(gè)嬰兒哭聲探測(cè)器。同樣，倫敦大學(xué)學(xué)院的兩個(gè)項(xiàng)目通過(guò)自動(dòng)化坐立測(cè)試并創(chuàng)建更易于使用的數(shù)字聽(tīng)診器而掀起了波瀾。

還有哪些傳感器具有機(jī)器學(xué)習(xí)核心？

Unico GUI 和機(jī)器學(xué)習(xí)應(yīng)用程序

LSM6DSOX也是一個(gè)新的開(kāi)發(fā)者社區(qū)的開(kāi)始。意法半導(dǎo)體在GitHub上提供了一個(gè)機(jī)器學(xué)習(xí)核心存儲(chǔ)庫(kù)，使Unico GUI軟件工具更易于訪問(wèn)，以幫助程序員利用LSM6DSOX中的機(jī)器學(xué)習(xí)核心。此外，我們還發(fā)布了更強(qiáng)大的傳感器。LSM6DSRX具有更好的性能，可以針對(duì)虛擬現(xiàn)實(shí)耳機(jī)等要求更高的應(yīng)用。我們還推出了 LSM6DSV16X，它具有增強(qiáng)的機(jī)器學(xué)習(xí)內(nèi)核和更好的每瓦性能比，適用于功率限制更嚴(yán)格的系統(tǒng)。因此，意法半導(dǎo)體的傳感器采用機(jī)器學(xué)習(xí)核心，部分促成了下一個(gè)自動(dòng)化時(shí)代的到來(lái)，而ISM330IS開(kāi)啟了這一傳奇的重要新篇章。

從新的處理核心到新的應(yīng)用

ISPU 是由什么組成的？

ISM330IS的細(xì)分

ISM330IS的ISPU為數(shù)據(jù)提供8 KB的RAM，為應(yīng)用提供32 KB的RAM。它還具有運(yùn)行在 32 MHz 的 10 位 RISC Harvard 架構(gòu)、一個(gè)四級(jí)流水線、一個(gè)浮點(diǎn)單元和一組針對(duì)神經(jīng)網(wǎng)絡(luò)處理優(yōu)化的 16 位長(zhǎng)度指令。此外，雖然處理器只能在四個(gè)時(shí)鐘周期內(nèi)拋出中斷（Arm Cortex內(nèi)核通常在15個(gè)周期內(nèi)完成），但它也可以在一個(gè)周期內(nèi)處理16位乘法。它使用 SPI 或 I2C 與主機(jī) MCU 通信。開(kāi)發(fā)人員只需在啟動(dòng)時(shí)從主機(jī)處理器將 C 代碼加載到 ISPU 的易失性存儲(chǔ)器中。

FPU 使應(yīng)用程序能夠以更大的靈活性在邊緣運(yùn)行推理。一旦滿足條件，程序就會(huì)向微控制器發(fā)出中斷。同樣，與上一代設(shè)備相比，該架構(gòu)使ISPU能夠提高性能，同時(shí)仍以微瓦級(jí)運(yùn)行。因此，與以前的機(jī)器學(xué)習(xí)核心的決策樹(shù)和更高效的系統(tǒng)相比，這是一個(gè)重大的飛躍。此外，盡管存在強(qiáng)大的計(jì)算能力，ISM330IS仍然適合市場(chǎng)標(biāo)準(zhǔn)的LGA封裝，尺寸為3 mm x 2.5 mm x 0.83 mm。因此，設(shè)計(jì)人員不必在采用新部件時(shí)對(duì)PCB進(jìn)行重大更改。

ISM330IS如何脫穎而出？

機(jī)器學(xué)習(xí)應(yīng)用程序越來(lái)越普遍，許多人將它們與高內(nèi)存需求、云計(jì)算服務(wù)器或高度并行的 GPU 架構(gòu)相關(guān)聯(lián)。許多程序確實(shí)需要昂貴的計(jì)算操作，這使得它們與邊緣處理不兼容。然而，公司也知道并非所有深度學(xué)習(xí)系統(tǒng)都需要這種能力。因此，在智能手機(jī)等移動(dòng)設(shè)備或本地工業(yè)裝置上運(yùn)行推理正在獲得牽引力。圖像識(shí)別、異常檢測(cè)和預(yù)測(cè)性維護(hù)都需要在緊湊的功率范圍內(nèi)實(shí)現(xiàn)可靠的 AI 性能。同樣，無(wú)線家庭安全系統(tǒng)的攝像頭使用人工智能來(lái)識(shí)別人臉或?qū)櫸铮琁SPU可以為移動(dòng)系統(tǒng)上的常亮顯示器提供智能。

ISM330IS是應(yīng)對(duì)這一挑戰(zhàn)的新答案，因?yàn)樗诟咝阅苣Ｊ较轮恍枰?.59 mA。相比之下，ISM330DHCX在類似條件下需要高達(dá)1.5 mA的電流。后者具有更強(qiáng)大的陀螺儀，除其他外，這確實(shí)部分解釋了差異。但是，這些數(shù)字還顯示了新設(shè)備中的優(yōu)化和處理核心的效率。事實(shí)上，低功耗微控制器很少有FPU，因?yàn)樗鼈兺ǔＰ枰罅磕芰?。然而，ISM330IS仍然設(shè)法保持其功耗足夠低，以適應(yīng)電池供電的系統(tǒng)。

審核編輯：郭婷