（文章來源：智東西）

據(jù)外媒報(bào)道，維也納大學(xué)的研究人員研發(fā)了一種兼顧神經(jīng)網(wǎng)絡(luò)功能的圖像傳感器，該傳感器可以使圖像分析速度相較傳統(tǒng)方式提升近2萬倍。研究人員用每個(gè)像素代表一個(gè)神經(jīng)元，用每個(gè)子像素代表一個(gè)突觸，從而構(gòu)成神經(jīng)網(wǎng)絡(luò)。目前這項(xiàng)技術(shù)主要應(yīng)用于特定的科學(xué)應(yīng)用程序中，對(duì)于像自動(dòng)駕駛中的機(jī)器視覺這樣的更復(fù)雜的任務(wù)，還需要做進(jìn)一步研究。

機(jī)器視覺技術(shù)通常使用人工神經(jīng)網(wǎng)絡(luò)來分析圖像。在人工神經(jīng)網(wǎng)絡(luò)中，被稱為“神經(jīng)元”的組件會(huì)接收數(shù)據(jù)并進(jìn)行協(xié)作，以解決諸如識(shí)別圖像之類的問題。神經(jīng)網(wǎng)絡(luò)會(huì)反復(fù)調(diào)整其神經(jīng)元之間的連接點(diǎn)或突觸的強(qiáng)度，并查看所得的行為模式是否能更好地解決問題。經(jīng)過一段時(shí)間調(diào)整，神經(jīng)網(wǎng)絡(luò)會(huì)找到最適合的模式和解決方案。然后，它會(huì)將找到的最佳方案設(shè)置為默認(rèn)值，從而模仿人腦學(xué)習(xí)的過程。

機(jī)器視覺技術(shù)經(jīng)常會(huì)遇到延遲問題，因?yàn)橄鄼C(jī)必須逐行掃描像素，然后將視頻幀轉(zhuǎn)換為數(shù)字信號(hào)，并將其傳輸?shù)接?jì)算機(jī)中進(jìn)行分析。當(dāng)下隨著成像速率和像素?cái)?shù)量的增長，帶寬限制使得傳感器難以將所有信息快速傳輸?shù)接?jì)算機(jī)中，這對(duì)于無人駕駛、機(jī)器人或工業(yè)制造等延遲敏感型應(yīng)用影響十分明顯。

維也納大學(xué)的電氣工程師Lukas Mennel和他的同事們?cè)噲D通過減少中間步驟來加快機(jī)器視覺，他們創(chuàng)建了一個(gè)圖像傳感器，該圖像傳感器本身就構(gòu)成了可以同時(shí)獲取和分析圖像的人工神經(jīng)網(wǎng)絡(luò)。該傳感器由一個(gè)像素陣列組成，每個(gè)像素代表一個(gè)神經(jīng)元。每個(gè)像素又由多個(gè)子像素組成，每個(gè)子像素代表一個(gè)突觸。每個(gè)光電二極管都建立在二硒化鎢層上，二硒化鎢是一種對(duì)光具有可調(diào)節(jié)響應(yīng)能力的二維半導(dǎo)體。

這種可調(diào)節(jié)的光響應(yīng)能力讓每個(gè)光電二極管以可編程的方式對(duì)光進(jìn)行記憶和響應(yīng)，從而可以分別調(diào)整每個(gè)二極管的靈敏度，改變光電二極管的光響應(yīng)性會(huì)改變網(wǎng)絡(luò)中的連接強(qiáng)度（突觸重量）。然后，科學(xué)家們基于這些光電二極管之間的鏈接創(chuàng)建了一個(gè)神經(jīng)網(wǎng)絡(luò)，通過對(duì)該網(wǎng)絡(luò)進(jìn)行訓(xùn)練，使其能夠執(zhí)行簡單的計(jì)算任務(wù)。

研究人員將光電二極管排列成九個(gè)像素的正方形陣列，每個(gè)像素三個(gè)二極管。當(dāng)圖像投影到芯片上時(shí)，芯片會(huì)生成、讀取各種二極管產(chǎn)生的電流。每個(gè)光電二極管都會(huì)產(chǎn)生與入射光強(qiáng)度成比例的輸出電流，并且可以根據(jù)電流的基本規(guī)則進(jìn)行計(jì)算。

使用神經(jīng)網(wǎng)絡(luò)的不同算法，該團(tuán)隊(duì)演示了兩種神經(jīng)形態(tài)功能。第一種是分類：它們的3×3像素陣列可以將圖像分類為與三個(gè)簡化字母相對(duì)應(yīng)的三個(gè)類別之一，從而以納秒為單位識(shí)別該字母。如果按比例增加陣列的大小，該神經(jīng)網(wǎng)絡(luò)還可以識(shí)別更復(fù)雜的圖像。

Mennel說：“我們的圖像傳感器在工作時(shí)不會(huì)消耗任何電能，被檢測的光子本身就可以作為電流供能?！彼靥岬剑皞鹘y(tǒng)的機(jī)器視覺技術(shù)通常能夠每秒處理100幀圖像，而一些更快的系統(tǒng)則可以每秒處理1000幀圖像，但我們的系統(tǒng)每秒可以處理2000萬幀圖像?！盡ennel指出，系統(tǒng)運(yùn)行的速度僅受電路中電子移動(dòng)速度的限制。從原則上講，這種策略的工作速度可以達(dá)到皮秒級(jí)，即數(shù)萬億分之一秒，或者比目前演示的速度快三到四個(gè)數(shù)量級(jí)。

此外，科學(xué)家們指出，原則上他們可以使用計(jì)算機(jī)模擬來訓(xùn)練神經(jīng)網(wǎng)絡(luò)，并借此將該神經(jīng)網(wǎng)絡(luò)傳輸?shù)接?jì)算機(jī)設(shè)備上。這樣的傳感器可以用來做什么？Mennel說：“目前，這項(xiàng)技術(shù)主要應(yīng)用于特定的科學(xué)應(yīng)用程序中。對(duì)于像自動(dòng)駕駛中的機(jī)器視覺這樣的更復(fù)雜的任務(wù)，還需要做進(jìn)一步研究。”

用于自動(dòng)駕駛車輛和機(jī)器人技術(shù)的神經(jīng)網(wǎng)絡(luò)需要能夠捕獲具有廣闊視野的三維動(dòng)態(tài)圖像和視頻。當(dāng)前使用的圖像捕獲技術(shù)通常將3D現(xiàn)實(shí)世界轉(zhuǎn)換為2D信息，從而丟失運(yùn)動(dòng)信息和深度。Mennel團(tuán)隊(duì)的研究結(jié)果不僅可以用于視覺系統(tǒng)，它還可以擴(kuò)展到聽覺、觸覺、熱感或嗅覺等其他物理輸入系統(tǒng)。此類智能系統(tǒng)的開發(fā)以及5G高速無線網(wǎng)絡(luò)的到來，會(huì)讓實(shí)時(shí)（低延遲）邊緣計(jì)算成為可能。
（責(zé)任編輯：fqj）