據(jù)麥姆斯咨詢報道，近日，美國華盛頓大學(xué)（University of Washington）的一支研究團隊在Nature Communications期刊上發(fā)表了用于寬帶光電邊緣計算的可編程黑磷（bP）圖像傳感器的最新論文，該圖像傳感器被用作光學(xué)前端，在紅外波段捕獲多光譜圖像并執(zhí)行圖像處理和分類任務(wù)，展示了其在家庭、農(nóng)業(yè)和工業(yè)領(lǐng)域的分布式傳感和遙感應(yīng)用方面的潛力。

圖1 可編程bP光電晶體管（bP-PPT）陣列

2D半導(dǎo)體具有可調(diào)諧光電子特性的寬帶隙范圍，在光電子學(xué)領(lǐng)域具有廣闊的應(yīng)用前景。由于具有原子級厚度且可遷移，它們易于與光子電路和微電子進行異質(zhì)集成，以實現(xiàn)先進的功能。

在2D半導(dǎo)體中，bP因其與寬紅外光譜范圍相對應(yīng)的可調(diào)帶隙而脫穎而出。性能優(yōu)異的分立、陣列和波導(dǎo)集成bP光電探測器已被證明可用于紅外波段。利用其寬帶紅外響應(yīng)，bP光電探測器陣列可用于多光譜成像，從而獲取具有光譜信息的空間圖像。

多光譜成像結(jié)合人工神經(jīng)網(wǎng)絡(luò)（ANN）已成為生物醫(yī)學(xué)成像、新鮮食品分類和工業(yè)現(xiàn)場表面損傷檢測的有力工具。這種成像技術(shù)會產(chǎn)生大量數(shù)據(jù)，計算密集且對延遲敏感，因此可以從新興的邊緣計算方案中受益。

在邊緣而不是在云端對傳感器內(nèi)的圖像進行預(yù)處理，可以大大減輕服務(wù)器的數(shù)據(jù)流負載，改善帶寬預(yù)算并減少延遲和功耗。邊緣計算的這些優(yōu)勢推動了光電邊緣傳感器的發(fā)展，這些傳感器可將視覺感知和計算功能結(jié)合在同一器件中，最近研究人員已通過使用2D材料證明了可見光/紫外（UV）光譜成像。使用bP實現(xiàn)這種方案將把它擴展到紅外光譜范圍，從而實現(xiàn)智能夜視和多光譜傳感。

在本論文中，作者們提出了一種多功能圖像傳感器，它結(jié)合了多光譜成像和模擬內(nèi)存計算的功能，實現(xiàn)了用于圖像識別的傳感器內(nèi)（in-sensor）卷積神經(jīng)網(wǎng)絡(luò)（CNN）。該圖像傳感器基于數(shù)層bP（bP-PPT）制成的可編程光電晶體管陣列，它們對波長為1.5至3.1?μm的寬紅外光譜范圍敏感。

bP-PPT的可編程性和存儲性源于合理設(shè)計的柵極電介質(zhì)堆棧中存儲的電荷，它們具有較長的保留時間并能有效地調(diào)節(jié)bP通道的電導(dǎo)和光響應(yīng)。該圖像傳感器可以通過電子和光學(xué)兩種方式編程和讀取，從而實現(xiàn)光電傳感器內(nèi)計算、電子內(nèi)存計算和光學(xué)遠程編程的一體化。特別是，所提出的圖像傳感器具有高于5-bit分辨率的編程精度，這是基于電荷捕獲機制的非易失性存儲器件中最高的。

圖2 bP-PPT器件的混合模式編程和運行

利用其靈活的功能，作者們使用bP-PPT陣列通過內(nèi)存計算實現(xiàn)了視覺感知功能。該傳感器的可編程光響應(yīng)性可實現(xiàn)傳感器內(nèi)計算，以對經(jīng)過光學(xué)編碼和在寬紅外波段傳輸?shù)膱D像進行邊緣檢測。

為了驗證bP-PPT光電CNN的準確性，他們測試了MNIST數(shù)據(jù)集中隨機選擇的100幅手寫數(shù)字圖像（48幅“0”和52幅“1”），并將計算結(jié)果與計算機仿真結(jié)果進行了比較。結(jié)果表明，基于bP-PPT陣列的CNN達到了92%的準確率，與仿真結(jié)果（95%）相當。

圖3 用于邊緣檢測的傳感器內(nèi)計算成像的bP-PPT陣列

圖4 bP-PPT陣列作為用于圖像識別的光電CNN

論文中所展示的多功能光電bP-PPT陣列，結(jié)合并行成像和編程方案（如空間光調(diào)制和波分復(fù)用），有望實現(xiàn)更復(fù)雜的用于基于邊緣計算的機器視覺傳感器的深度神經(jīng)網(wǎng)絡(luò)。

論文信息：
Lee, S., Peng, R., Wu, C. et al. Programmable black phosphorus image sensor for broadband optoelectronic edge computing. Nat Commun 13, 1485 (2022).

https://doi.org/10.1038/s41467-022-29171-1

審核編輯 ：李倩