隨著人工神經(jīng)網(wǎng)絡應用的持續(xù)深化，機器視覺算法復雜度劇增，亟需高算力支持。然而，受制于摩爾定律放緩，現(xiàn)有電子計算性能趨于飽和，難以滿足大規(guī)模智能算法對算力和能效日益增長的需求。用光子替代電子作為智能計算載體有望對當前視覺計算帶來革命性的突破。然而，現(xiàn)有智能光計算架構往往依賴電子處理器作為計算中繼，嚴重削弱了光計算高速高并行的計算優(yōu)勢，難以賦能超快機器視覺應用。

圖1.空時域光計算模型

近日，清華大學電子系方璐副教授課題組建立了空時域超快智能光計算架構，提出了跨維度空時域匹配方法和聯(lián)合空時域矩陣向量光計算模型，首次實現(xiàn)了三維空時域智能光計算系統(tǒng)，突破了數(shù)字內存讀寫的掣肘，將動態(tài)機器視覺處理速度提升三個數(shù)量級（達到納秒量級）。

課題組通過刻畫多維光場傳播模型，首次建立空時域計算表征，同時在空間和時序維度完成連續(xù)光計算。針對空間光場和時序光場內在維度失配問題，提出空間復用和光譜復用計算模型，匹配空時域光計算維度。進一步建立時序矩陣乘加計算模型，擴展空時域光計算維度。所有空間和時序計算操作均在光學模擬域完成，因此空時域光計算的速度不受制于電子內存的傳輸和讀寫。該論文進一步提出了多變量全光非線性函數(shù)，成功構建多層非線性神經(jīng)網(wǎng)絡，支撐復雜視覺智能任務的高速推理。在多個視頻數(shù)據(jù)集上的實驗結果表明，空時域光計算能夠將視頻智能處理速度提升至數(shù)百兆赫茲量級，有望為后摩爾時代高性能智能計算以及瞬態(tài)科學現(xiàn)象的實時分析和控制等帶來新的契機。?? ?

圖2.高速目標追蹤

圖3. 納秒超快計算

研究工作以“面向超快機器視覺的空時域光計算”（Ultrafast dynamic machine vision with spatiotemporal photonic computing）為題發(fā)表在國際期刊《科學·進展》（Science Advances）上，并入選期刊首頁專題文章（feature article）。課題組博士生周天貺和吳蔚是本文共同第一作者，通訊作者為方璐副教授。??

編輯：黃飛

?