據(jù)麥姆斯咨詢報道，近期，卡拉布里亞大學（University of Calabria）和比薩大學（University of Pisa）面向低分辨率圖像分類，聯(lián)合開發(fā)了一種基于兩層人工神經(jīng)網(wǎng)絡（artificial neural network，ANN）的全集成模擬CMOS認知圖像傳感器。研究人員主要設計了執(zhí)行認知感測任務（從圖像感測到輸出分類決策）所需的所有模擬子電路。作為一個案例研究，使用低分辨率版本的手寫數(shù)字MNIST數(shù)據(jù)集測試分類性能。該電路的分類精度為87.8%，平均每次推理能耗為6nJ，延遲為22.5μs，吞吐量每秒高達13.33萬次推理。

物聯(lián)網(wǎng)（IoT）的終端設備或邊緣設備，以及嵌入式智能視覺傳感器系統(tǒng)，是網(wǎng)絡物理系統(tǒng)的關鍵組成部分，其中延遲、可擴展性和隱私是重要的挑戰(zhàn)。在傳統(tǒng)的機器視覺系統(tǒng)中，信息由圖像傳感器捕獲，進而轉(zhuǎn)換為數(shù)字格式，然后存儲在本地存儲器中或傳輸?shù)酵獠坑嬎銌卧詧?zhí)行所需的處理任務。由于其主要目標是減少如模擬-數(shù)字轉(zhuǎn)換和數(shù)據(jù)傳輸?shù)鹊托什僮鞯挠绊?，因此，具有嵌入式分類功能的認知圖像傳感器的概念將成為未來應用（如可穿戴和移動醫(yī)療電子設備、電池供電系統(tǒng)）的一個極具吸引力的解決方案。

智能視覺傳感器通過實施ANN為圖像傳感器提供認知能力，ANN是執(zhí)行類似人類任務的強大建模方法，例如對象分類和檢測。ANN中的基本計算是乘積累加（multiply-accumulate，MAC）運算，即向量-矩陣乘法的基本運算，其中輸入數(shù)據(jù)向量乘以固定權(quán)重的矩陣。為了降低每次推理的功耗，進而使電池供電系統(tǒng)能夠配備ANN，目前許多研究工作都致力于模擬ANN集成電路的設計，這種集成電路利用CMOS器件和電路的基本特性，使得MAC運算和內(nèi)存計算具有高度并行性。

基于此，研究人員提出了一種模擬CMOS圖像傳感器分類器的設計，該分類器基于在低分辨率環(huán)境下運行的兩層ANN，如下圖所示。與以往研究工作（通常只有部分片上設計）的主要區(qū)別在于，這是首次全模擬設計，包括執(zhí)行從圖像感測到圖像分類的整個處理任務所需的所有構(gòu)建塊。

低分辨率全模擬CMOS圖像傳感器分類器的概念

研究人員所開發(fā)的系統(tǒng)使用單層多晶硅180nm商用CMOS工藝設計，該工藝具有附加工藝選項，包括用于構(gòu)建光電二極管的特定模塊和現(xiàn)代CMOS圖像傳感器的補充構(gòu)建塊。所有其他構(gòu)建塊，如像素陣列、采樣保持（sample and hold，S&H）陣列、電壓-時間轉(zhuǎn)換器和激活函數(shù)都是在模擬域中精心設計的。此外，權(quán)重是可編程的，因此開發(fā)的分類器本質(zhì)上是可重新配置的，并且可以訓練其基于低分辨率圖像執(zhí)行一系列分類任務。

5x5像素CMOS圖像傳感器架構(gòu)及其傳感方案

作為案例研究，使用低分辨率的手寫數(shù)字MNIST數(shù)據(jù)集驗證了該分類器的推理能力。在室溫（27℃）下，其推理精度為87.8%，這與在數(shù)字域中以浮點數(shù)據(jù)精度運行的相同ANN架構(gòu)的軟件實現(xiàn)的結(jié)果相當。在較寬的溫度范圍內(nèi)（-10℃-70℃），精度保持在80%以上。研究人員所設計的分類器每次推理只消耗6nJ（其中大約一半的能量由像素感測矩陣消耗），同時具有每秒13.3萬次的吞吐量（延遲時間為22.5μs）。對于10μm的像素間距，其占位面積也非常小，僅為4000μm2。

500張圖像作為基準的軟件神經(jīng)網(wǎng)絡（a）和硬件神經(jīng)網(wǎng)絡（b）混淆矩陣

簡而言之，研究人員提出了一種全模擬認知CMOS圖像傳感器的設計，包括模擬域人工神經(jīng)網(wǎng)絡的硬件配置，并作為與5×5圖像傳感器集成的低分辨率圖像分類器工作。所開發(fā)的CMOS認知圖像傳感器在商用180nm CMOS工藝中進行了完全設計和模擬，獲得了87.8%的精度，與浮點軟件實現(xiàn)的精度（90.6%）相當。

審核編輯：郭婷