偏振成像技術通過偏振信息的獲取和解譯，可以有效抑制復雜環(huán)境干擾，提升成像質(zhì)量，增強目標感知能力，對于復雜環(huán)境下的光學成像探測具有獨特優(yōu)勢。天津大學胡浩豐教授結(jié)合本團隊工作，介紹了深度學習偏振成像技術的研究進展，闡述了深度學習賦能復雜環(huán)境偏振成像任務的優(yōu)勢，并對該領域的未來發(fā)展方向進行展望。

撰稿人：胡浩豐

論文題目：基于深度學習復雜環(huán)境的偏振成像技術研究進展（特邀）

作者：胡浩豐1,2，黃一釗2，朱震1，馬千文1，翟京生1，李校博1

完成單位：天津大學 海洋科學與技術學院；天津大學 精密儀器與光電子工程學院

導讀

視覺是人類獲得客觀世界信息的主要途徑，光學成像技術也因此在各個領域占據(jù)重要地位。傳統(tǒng)光學成像技術大多基于光強和波長所提供的信息，存在的缺陷是受光線傳播環(huán)境的影響較大，并且對目標的某些物理特性難以做出正確理解。偏振作為光波的基本物理信息之一，可以提供目標自身物理特性，是光學成像新的信息維度。然而，散射、低照度等復雜環(huán)境，偏振參量圖像將發(fā)生嚴重退化。研究與實踐均證實通過偏振信息的獲取和解譯，可以有效抑制復雜環(huán)境干擾，提升成像質(zhì)量，增強目標感知能力，對于復雜環(huán)境下的光學成像探測具有獨特優(yōu)勢。復雜環(huán)境偏振圖像退化機理呈現(xiàn)非線性特征，偏振信息解譯方法為非線性逆問題，復雜度較高。深度學習方法具有強大的特征提取和學習能力，通過學習大規(guī)模數(shù)據(jù)隱藏的映射規(guī)律獲得偏振信息的復原效果。特別適合偏振成像這種多維度、相互關聯(lián)的復雜信號處理問題。

研究背景

利用偏振信息成像本質(zhì)上是對光場信息獲取維度的提升，通過多維偏振信息的獲取與融合處理，可以解決不同復雜環(huán)境和應用領域的成像任務。依靠物理模型以及一定先驗知識是解決復雜環(huán)境偏振成像任務的重要思想。例如，研究人員在散射環(huán)境偏振成像機理和物理模型研究的基礎上，通過對偏振信息解譯，實現(xiàn)了水體、霧霾等散射環(huán)境成像效果的提升。依靠物理模型以及一定先驗知識的偏振成像方法的圖像復原效果很大程度上取決于建立的物理模型是否符合真實環(huán)境成像的物理過程。由于構建的物理模型往往存在模型簡化和偏離實際應用場景等問題，難以應對極端復雜的成像環(huán)境。

近年來，隨著計算機技術的不斷發(fā)展，硬件單元處理大規(guī)模數(shù)據(jù)的性能得到提升，深度學習技術也隨之得到蓬勃發(fā)展，并在光學成像領域展現(xiàn)出獨特優(yōu)勢。深度學習具有強大的特征提取和學習能力，善于通過大量的樣本訓練，提取和學習信號特征，歸納輸入信號和預期結(jié)果之間的映射關系，尤其對于多維且相互關聯(lián)的偏振參量信號處理具有獨特優(yōu)勢?；谏疃葘W習復雜環(huán)境偏振成像技術以其出色的不同層次特征學習與擬合能力，繞過建立物理模型求解非線性逆問題的障礙，在成像質(zhì)量客觀評價核心指標獲得顯著提升。文章介紹了基于深度學習偏振成像技術的基本范式，并針對散射和噪聲這兩種最具代表性的復雜成像環(huán)境，對基于深度學習復雜環(huán)境的偏振成像技術的代表性研究工作進行系統(tǒng)梳理。

技術亮點

1.?基于深度學習復雜環(huán)境的偏振成像技術范式

不同于構建物理模型以及一定的先驗知識解決復雜環(huán)境偏振成像任務的思路，深度學習技術以偏振成像系統(tǒng)采集得到的多維偏振參量圖像作為輸入數(shù)據(jù)，利用網(wǎng)絡非線性特征擬合能力，擬合偏振參量圖像到復原圖像的的映射關系，得到偏振參量圖像復原結(jié)果。圖1為基于深度學習復雜環(huán)境的偏振成像技術范式圖像。

圖1 基于深度學習復雜環(huán)境的偏振成像技術范式圖像

2.?基于深度學習散射環(huán)境的偏振成像研究進展

基于深度學習散射環(huán)境下的偏振成像技術旨在利用偏振光特性對散射介質(zhì)采集的偏振信號進行解譯，利用網(wǎng)絡非線性擬合與特征學習能力，得到退化圖像以及復原圖像間的映射關系。文章對該成像任務的兩種解決方式，即數(shù)據(jù)驅(qū)動方式和物理模型內(nèi)嵌的方式代表性研究工作進行歸納，總結(jié)了該領域的發(fā)展脈絡。

天津大學胡浩豐團隊首次提出應用于水下復雜成像環(huán)境的偏振密集網(wǎng)絡（Polarimetric Residual Dense Network, PDN），網(wǎng)絡結(jié)構如圖2（a）所示。Polarimetric-Net的輸入是三張不同角度偏振圖像，而Intensity-Net僅輸入一張強度圖像。該設計用于驗證采用多維度偏振信息作為輸入得到的去散射效果遠遠優(yōu)于僅輸入光強圖像。不同方法復原對比效果如圖2（b）所示，復原效果在主觀與客觀評價指標（Edge-Model Estimation, EME）均為最佳。

圖2(a) PDN方法網(wǎng)絡結(jié)構示意圖；(b) PDN網(wǎng)絡復原效果以及與其它方法的對比效果

在該技術首次提出后，研究人員使用無監(jiān)督、自監(jiān)督的學習方式以及通過仿真合成所需要的圖像數(shù)據(jù)來解決基于深度學習偏振成像去散射技術面臨的公開數(shù)據(jù)集缺失，采集一定規(guī)模數(shù)據(jù)困難的問題。

數(shù)據(jù)驅(qū)動方式將模型視作一個“黑盒子”，學習輸入與標簽圖像間的映射關系。而訓練數(shù)據(jù)不可能涵蓋所有的散射環(huán)境，面對不同情況散射環(huán)境具有局限性。同時這種方式有可能出現(xiàn)與物理知識相悖的復原結(jié)果，網(wǎng)絡參數(shù)訓練量較大，訓練效率較低。將物理模型以及一定先驗知識內(nèi)嵌網(wǎng)絡結(jié)構，可以增強網(wǎng)絡對于偏振信息退化過程的學習推理能力，以適應不同情況散射環(huán)境。

3?基于深度學習噪聲環(huán)境的偏振成像研究進展

同等噪聲水平下，非線性算法解譯的偏振參量圖像相比線性算法求得的Stokes矢量圖像質(zhì)量退化更為嚴重。其中偏振角圖像放大區(qū)域尤為明顯，目標信息幾乎完全不可見。因此，解決噪聲引起的偏振參量圖像退化問題是偏振成像技術應用于低照度復雜環(huán)境的關鍵。文章對該領域研究工作進行整理與分類并總結(jié)發(fā)展脈絡?；谏疃葘W習噪聲環(huán)境的偏振成像技術經(jīng)歷了三個發(fā)展階段。第一階段研究人員采用有監(jiān)督端到端的訓練方式，實現(xiàn)了偏振參量圖像去噪效果。第二階段研究人員探索采用無監(jiān)督，自監(jiān)督，遷移學習方法解決第一階段遇到的數(shù)據(jù)集構建成本高效率低的問題。第三階段，研究人員對網(wǎng)絡訓練的可解釋性作以探究。

胡浩豐研究團隊在2020年首次提出基于密集殘差網(wǎng)絡的偏振圖像去噪網(wǎng)絡，稱之為PDRDN方法。觀察圖3（d）低信噪比環(huán)境下的高質(zhì)量偏振參量復原效果與真值圖像對比圖像，基于深度學習技術的偏振圖像去噪方法能夠有效抑制偏振圖像噪聲，尤其是對偏振度圖像和偏振角圖像的去噪效果優(yōu)越。

圖3（a）PDRDN方法網(wǎng)絡結(jié)構示意圖；（b）殘差密集塊結(jié)構；（c）測試集不同材質(zhì)目標的偏振參量復原效果；（d）偏振參量圖像復原效果與真值圖像的細節(jié)對比

結(jié)論與展望

現(xiàn)有研究工作表明：由于偏振信息包含多個參量且具有一定的相關性，這種多維、相互關聯(lián)的信號處理問題，正適合使用深度學習技術。將深度學習技術與偏振成像技術相結(jié)合，可實現(xiàn)光學成像質(zhì)量的進一步提升，滿足復雜環(huán)境的成像需求，體現(xiàn)更為突出的優(yōu)勢。未來仍需要進一步完善內(nèi)嵌物理模型，提高網(wǎng)絡的可解釋性，探索多模態(tài)融合策略，進一步鞏固深度學習模型在復雜環(huán)境偏振成像中的可行性，增強模型對復雜環(huán)境變化的適應能力，使其更具有場景通用性。

團隊及作者介紹

團隊介紹：

課題組依托天津大學光電信息技術教育部重點實驗室和自然資源部海洋觀測技術重點實驗室，在偏振光學及海洋探測領域具有深厚的研究基礎和優(yōu)越的研究條件。團隊完成了多類具備控制、采集、處理、顯示、存儲等功能的偏振成像系統(tǒng)配套軟件。相關科技成果已成功應用于中國核電集團、應急管理部天津消防研究所等單位。

胡浩豐，天津大學英才教授，博士生導師，國家高層次青年人才，國家重點研發(fā)計劃首席青年科學家。擔任中國儀器儀表學會圖像科學與工程分會理事、中國光學學會全息與光信息處理專委會委員、中國光學工程學會計算成像專家委員會首屆委員。入選中國科協(xié)“青年人才托舉工程”、天津市首批“青年人才托舉工程”、天津市“青年科技優(yōu)秀人才”，獲中國儀器儀表學會金國藩青年學子獎學金。主持國家重點研發(fā)計劃青年科學家項目1項、國家自然科學基金項目3項。主編學術專著2部，以第一或通訊作者發(fā)表SCI論文60余篇，以第一發(fā)明人授權國家發(fā)明專利19項。研究工作被美國光學學會、英國物理學會等多家機構專題報道。

李校博，天津大學，英才副教授，碩士生導師。入選中國科協(xié)“青年人才托舉工程”，獲中國光學學會王大珩光學獎、天津市優(yōu)秀博士學位論文等。曾先后在法國高等光學研究所和香港中文大學從事訪問學者和研究工作。擔任中國光學工程學會計算成像專業(yè)委員會青年委員、《應用光學》雜志青年編委等。以第一/通訊作者身份在Optics Letters，Optics Express等國際知名期刊發(fā)表學術論文40余篇，先后主持國家自然科學基金項目1項，省部級項目5項。主要研究方向包括海洋光學探測、計算成像、光學測量及計量技術等。

黃一釗，天津大學精密儀器與光電子工程學院2021級碩士研究生，從事水下偏振成像技術相關研究工作，參與國家自然科學基金等多個項目。

審核編輯：黃飛

?