目前，還沒(méi)有人能夠真正理解深度網(wǎng)絡(luò)在目標(biāo)分類任務(wù)方面的運(yùn)行方式和原理。主要原因是對(duì)深度網(wǎng)絡(luò)在分類任務(wù)中所做的“工作”還沒(méi)有一個(gè)很好的衡量標(biāo)準(zhǔn)，一篇最近發(fā)表的關(guān)于“通用感知流形”理論的論文試圖解決這個(gè)問(wèn)題。

這篇論文于7月5日發(fā)表在《Phisical Review X》上，題為《Classification and Geometry of General Perceptual Manifolds》。論文作者為哈佛大學(xué)工程和應(yīng)用科學(xué)系的SueYeon Chung, 賓夕法尼亞大學(xué)工程與應(yīng)用科學(xué)系的Daniel D. Lee以及哈佛大學(xué)大腦科學(xué)中心的Haim Sompolinsky。

用統(tǒng)計(jì)力學(xué)理解機(jī)器學(xué)習(xí)，分析分層網(wǎng)絡(luò)的表示

文章提出，當(dāng)神經(jīng)元群對(duì)與相同感知目標(biāo)的不同物理特征（如方向、姿勢(shì)、規(guī)模、位置和強(qiáng)度等）相關(guān)的感覺(jué)信號(hào)集合做出反應(yīng)時(shí)，就會(huì)出現(xiàn)感知流形（Perceptual manifold）。對(duì)目標(biāo)的識(shí)別和區(qū)分需要以對(duì)流形內(nèi)部變化不敏感的方式對(duì)流形進(jìn)行分類。神經(jīng)元系統(tǒng)對(duì)不變目標(biāo)的分類和識(shí)別是大腦理論和機(jī)器學(xué)習(xí)中的基本問(wèn)題。

文章研究讀出網(wǎng)絡(luò)（readout network）從其流形表示中對(duì)對(duì)象進(jìn)行分類的能力，開發(fā)了一種統(tǒng)計(jì)力學(xué)理論，用于對(duì)任意幾何形狀的流形進(jìn)行線性分類，并表明該理論與圓錐分解在數(shù)學(xué)上顯著相關(guān)。文中表明，位于流形上的特殊錨點(diǎn)可以定義半徑和維度的新幾何學(xué)量度，這可以解釋各種幾何形狀的流形的分類能力。

這個(gè)通用理論已經(jīng)在許多有代表性的流形上得到證明，包括典型的嚴(yán)格凸流形的l2橢圓體流形，代表具有有限樣本的多面體的l1球流形，以及代表由于調(diào)節(jié)連續(xù)自由度而產(chǎn)生的非凸連續(xù)結(jié)構(gòu)的環(huán)狀流形。同時(shí)我們也闡明了標(biāo)注稀疏性對(duì)一般流形分類能力的影響，表明了標(biāo)注稀疏與流形半徑之間存在廣泛的比例關(guān)系。文章使用新開發(fā)的算法計(jì)算多種二分法的最大邊際解，通過(guò)數(shù)值模擬證實(shí)了理論預(yù)測(cè)。此文提出的理論及其擴(kuò)展提供了一個(gè)強(qiáng)大而豐富的框架，可用于將線性分類的統(tǒng)計(jì)力學(xué)應(yīng)用于由感知神經(jīng)元響應(yīng)產(chǎn)生的數(shù)據(jù)以及針對(duì)目標(biāo)識(shí)別任務(wù)訓(xùn)練的人工深度網(wǎng)絡(luò)中。

我們的大腦能夠準(zhǔn)確地對(duì)我們看到的物體進(jìn)行分類，就算這些不同的物體的屬性參數(shù)（比如亮度、形態(tài)和背景特征）彼此間存在巨大差異，對(duì)大腦而言也往往不成問(wèn)題。機(jī)器學(xué)習(xí)的最新進(jìn)展已經(jīng)產(chǎn)生了與我們的大腦具有相似能力的神經(jīng)網(wǎng)絡(luò)。然而，對(duì)生物和人工智能系統(tǒng)為何能達(dá)到如此高的識(shí)別準(zhǔn)確性，研究人員對(duì)此問(wèn)題在數(shù)學(xué)上還不夠理解。本文展示了如何使用統(tǒng)計(jì)力學(xué)理論來(lái)解釋這個(gè)問(wèn)題的基本原理，這些原理是神經(jīng)回路面對(duì)巨大的物理上可變性時(shí)，仍能具備識(shí)別和區(qū)分目標(biāo)的能力的基礎(chǔ)。

本文將特定對(duì)象的神經(jīng)表示中的可變性經(jīng)幾何建模為流形。在網(wǎng)絡(luò)的特定階段能夠被成功分類的流形數(shù)量的增長(zhǎng)與神經(jīng)表示的維度成正比，但具體比例取決于流形的形狀。我們的理論可以分析在網(wǎng)絡(luò)中變化和傳導(dǎo)的流形表示的結(jié)構(gòu)，最終將其成功分類。

本文提出的理論利用圖形學(xué)量度來(lái)描述神經(jīng)流形的形狀，這些量度能夠預(yù)測(cè)何時(shí)可以分離篩選出隨機(jī)標(biāo)記的流形集。這些測(cè)量導(dǎo)致了具有任意幾何形狀的流形的數(shù)量，并且可以有效地計(jì)算;我們用它們來(lái)分析神經(jīng)反應(yīng)的原型流形模型。

本文提供了一個(gè)新的理論框架來(lái)理解和分析由分層神經(jīng)網(wǎng)絡(luò)形成的表示，可能會(huì)促進(jìn)關(guān)于感知系統(tǒng)如何有效地編碼和處理感官信息的新見解。

長(zhǎng)期以來(lái)，感知學(xué)習(xí)的統(tǒng)計(jì)力學(xué)理論為理解單層神經(jīng)架構(gòu)及其內(nèi)核擴(kuò)展的性能和基本局限性打下了基礎(chǔ)。然而，以前的理論僅考慮了不存在圖形架構(gòu)的、有限數(shù)量的隨機(jī)點(diǎn)，并且無(wú)法解釋由于物理參數(shù)變化引起的可變性增加，而呈現(xiàn)為不同流形的大規(guī)模、可能是無(wú)限數(shù)量的輸入時(shí)，線性分類器的性能下降問(wèn)題。本研究中提出的統(tǒng)計(jì)力學(xué)理論，可以解釋一般流形的線性分類的能力和局限性，并用于闡明層次感覺(jué)系統(tǒng)中神經(jīng)表征的變化。我們相信這一理論的應(yīng)用及其推論的擴(kuò)展將為人們?nèi)绾斡行У鼐幋a和處理感官信息的感知系統(tǒng)提供新的見解。

識(shí)別流形的通用理論：哪種網(wǎng)絡(luò)條件可以識(shí)別出流形

此文在Reddit論壇的機(jī)器學(xué)習(xí)板塊引發(fā)了一些很有意思的討論。不過(guò)，Reddit上有小伙伴表示論文的專業(yè)用語(yǔ)讓他看起來(lái)“就像個(gè)5歲小孩，求大神解釋”。下面有好幾位熱心觀眾用比較通俗的用語(yǔ)和示例對(duì)此文給出了自己的解釋。

比方說(shuō)，你平生第一次見到一只貓，即使這只貓離你很遠(yuǎn)，又蜷曲著身子，但從它的體型形狀上判斷，仍然能夠知道這是只貓。這篇論文提出的方法，就是要教會(huì)機(jī)器也掌握類似的識(shí)別方式，從目標(biāo)的幾何形狀上來(lái)猜測(cè)，這是什么東西。也就是說(shuō)，給計(jì)算機(jī)看一堆圖形，然后讓它猜測(cè)剩余部分是什么樣子的，而不用從每個(gè)角度來(lái)觀察目標(biāo)。

其中一位ID為“Hanmilton”的壇友給出了比較系統(tǒng)和詳實(shí)的回復(fù)（如上圖）。他首先聲明，自己并不是這篇論文的作者，但曾有幸聽過(guò)作者之一的學(xué)術(shù)報(bào)告。他認(rèn)為，這是一篇偏數(shù)學(xué)的論文，但其結(jié)論是頗具“革新性”的，接著在留言中從研究背景、重要性、應(yīng)用意義上對(duì)文章進(jìn)行了概述和分析。新智元對(duì)相關(guān)內(nèi)容做了編譯，一起來(lái)看看：

他表示，論文中的圖1（下圖）基本上提供了關(guān)于神經(jīng)空間中“流形”概念的啟發(fā)性觀點(diǎn)。在神經(jīng)空間中，我們對(duì)一只貓或狗的每個(gè)觀察的方向/角度/位置變化都可以視作一個(gè)由神經(jīng)元放電頻率構(gòu)成的平面或“流形”。圖中藍(lán)色對(duì)應(yīng)為狗，粉色對(duì)應(yīng)為貓。如果這兩個(gè)區(qū)域沒(méi)有交集，神經(jīng)網(wǎng)絡(luò)就能夠分辨出貓和狗。

他認(rèn)為，對(duì)目標(biāo)的“神經(jīng)流形”表示是深度網(wǎng)絡(luò)理解目標(biāo)和大腦識(shí)別/看見目標(biāo)的框架。

2．論文其余部分是建立一個(gè)通用理論，告訴你哪種網(wǎng)絡(luò)條件可以識(shí)別出流形，哪種則不能識(shí)別。比如，你什么時(shí)候能分辨出貓和狗，什么時(shí)候分不出來(lái)。論文中花了不少的篇幅來(lái)構(gòu)建關(guān)于流形如何存在于子空間內(nèi)的理論架構(gòu)，如何用數(shù)學(xué)來(lái)描述（如下圖）。

3．文中用了一些實(shí)例來(lái)證明這個(gè)理論。其實(shí)可以使用貓和狗的，但作者使用了更為通用的形狀：球形、橢圓體和環(huán)狀。

4. 文章表明，該理論可以根據(jù)流形的特點(diǎn)來(lái)預(yù)測(cè)哪些流形可以識(shí)別，哪些識(shí)別不出?？梢钥吹?，在給定的維度上（比如D=20），隨著半徑的擴(kuò)大，可識(shí)別度會(huì)下降，也就是說(shuō)，這能夠顯示出在給定數(shù)據(jù)下所構(gòu)建的網(wǎng)絡(luò)的極限。