當(dāng)談及人工神經(jīng)網(wǎng)絡(luò)，黑箱問(wèn)題總會(huì)引起熱議，人們對(duì)黑箱問(wèn)題的評(píng)價(jià)褒貶不一。

有人認(rèn)為黑盒是神經(jīng)網(wǎng)絡(luò)的優(yōu)勢(shì)，這代表神經(jīng)網(wǎng)絡(luò)的自主學(xué)習(xí)性，代表其自動(dòng)學(xué)習(xí)以及自動(dòng)完善的特性。但大部分人認(rèn)為，黑箱問(wèn)題需要被解決，當(dāng)我們將神經(jīng)網(wǎng)絡(luò)應(yīng)用到一些對(duì)安全性，穩(wěn)定性要求很高的行業(yè)，如醫(yī)療，我們就必須進(jìn)行精準(zhǔn)控制，出現(xiàn)錯(cuò)誤或問(wèn)題時(shí)，我們要對(duì)內(nèi)部結(jié)構(gòu)進(jìn)行分析改正，這時(shí)黑箱問(wèn)題就希望得到解決。

圖|Lillian, Meyes & Meisen

來(lái)自 RWTH Aachen（亞琛工業(yè)大學(xué)）機(jī)械工程學(xué)院下信息管理研究所的研究人員們?cè)诮鉀Q黑箱問(wèn)題上提出了自己的見(jiàn)解，他們探索了神經(jīng)科學(xué)技術(shù)的相關(guān)應(yīng)用，以確定人工神經(jīng)網(wǎng)絡(luò)中信息是如何結(jié)構(gòu)化的。

在他們發(fā)表在 arXiv 上的論文中，研究者在人工神經(jīng)網(wǎng)絡(luò)中使用了名為“消融”（ablation）的技術(shù)，原本是應(yīng)用于神經(jīng)科學(xué)的一種技術(shù)，即在神經(jīng)網(wǎng)絡(luò)中切除大腦的某些神經(jīng)元來(lái)確定它們的功能。。

“我們的想法源自于神經(jīng)科學(xué)領(lǐng)域的研究，該領(lǐng)域的主要目標(biāo)是理解我們的大腦是如何工作的?！盧ichard Meyes 和 Tobias Meisen 兩位研究者說(shuō)道?！霸S多關(guān)于大腦功能的見(jiàn)解看法都是通過(guò)消融研究獲得的，本質(zhì)上來(lái)說(shuō)，消融即選擇性地切除或破壞大腦特定區(qū)域的組織，以可控的方式進(jìn)行消融，檢測(cè)大腦該部分對(duì)諸如言語(yǔ)生成、運(yùn)動(dòng)等日常工作的影響?！?/p>

在此之前，消融已經(jīng)被應(yīng)用在一些人工神經(jīng)網(wǎng)絡(luò)的研究中，但這些研究主要關(guān)注于調(diào)整神經(jīng)網(wǎng)絡(luò)層和改變其結(jié)構(gòu)，因此更像是參數(shù)搜索而不是生物學(xué)的消融法。

Mayes Meisen 以及他們的同事 Peter Lillian 進(jìn)行這項(xiàng)實(shí)驗(yàn)的目的是想從生物學(xué)的角度檢驗(yàn)人工神經(jīng)網(wǎng)絡(luò)，評(píng)估它們的結(jié)構(gòu)以及不同組成部分的不同功能。最后，他們決定用消融來(lái)做這個(gè)測(cè)試，這種技術(shù)在神經(jīng)科學(xué)研究中使用了 200 多年。

在 Mayes Meisen 和他同事的研究中，研究人員希望以破壞神經(jīng)網(wǎng)絡(luò)的特定區(qū)域的方法，觀察該區(qū)域如何影響性能。最終，通過(guò)這些觀測(cè)結(jié)果對(duì)人工神經(jīng)網(wǎng)絡(luò)和生物神經(jīng)網(wǎng)絡(luò)的組織形式進(jìn)行比較。

“在人工神經(jīng)網(wǎng)絡(luò)上應(yīng)用消融的方法十分簡(jiǎn)單的，”Meyes 和 Meisen 解釋道?！笆紫?，我們訓(xùn)練神經(jīng)網(wǎng)絡(luò)來(lái)完成特定的任務(wù)，比如說(shuō)識(shí)別手寫(xiě)數(shù)字。第二步，我們切除網(wǎng)絡(luò)的某一部分，然后評(píng)估由這種破壞導(dǎo)致的性能變化。第三步，我們確定網(wǎng)絡(luò)性能的改變和被破壞的位置之間是否有聯(lián)系。通過(guò)這種方法，我們發(fā)現(xiàn)網(wǎng)絡(luò)的某些特定能力，比如控制機(jī)器人執(zhí)行前進(jìn)動(dòng)作，是通過(guò)局部網(wǎng)絡(luò)控制的?！?/p>

圖| 當(dāng)每個(gè)部分被切除后，切除該部分后的輸出結(jié)果會(huì)被保存下來(lái)。（圖片來(lái)源：論文）

通過(guò)對(duì)訓(xùn)練用于在線圈中導(dǎo)航的人工神經(jīng)網(wǎng)絡(luò)進(jìn)行消融操作，并檢查這種干預(yù)措施對(duì)輸出產(chǎn)生的影響，研究者獲得了一系列有趣的發(fā)現(xiàn)——結(jié)果顯示人工神經(jīng)網(wǎng)絡(luò)和生物的神經(jīng)網(wǎng)絡(luò)之間的確存在聯(lián)系和相似之處。這些相似之處與網(wǎng)絡(luò)如何自我安排和存儲(chǔ)信息有關(guān)。

Meyes 和 Meisen 說(shuō)道：“最令我們感興趣的發(fā)現(xiàn)是，一般來(lái)說(shuō)被損壞的神經(jīng)網(wǎng)絡(luò)性能會(huì)下降，但網(wǎng)絡(luò)的某些特定能力，比如識(shí)別數(shù)字，其中部分被損壞反而會(huì)增強(qiáng)識(shí)別能力。我們的研究表明，我們可以通過(guò)消融正確區(qū)域用以增加一個(gè)神經(jīng)網(wǎng)絡(luò)的性能。此外，研究還表明，神經(jīng)科學(xué)研究得方法在人工神經(jīng)網(wǎng)絡(luò)研究上的應(yīng)用，或許可以為理解人工智能開(kāi)辟新的視角?！?/p>

盡管 Meyes, Meisen 和 Lillian 得到了喜人的結(jié)果，但他們的研究也存在一定的局限性。比如說(shuō)，他們的研究受限于使用強(qiáng)化學(xué)習(xí)，依賴于實(shí)時(shí)的機(jī)器人訓(xùn)練模型，這僅僅只是檢驗(yàn)生物神經(jīng)網(wǎng)絡(luò)和人工神經(jīng)網(wǎng)絡(luò)的第一步。

未來(lái)的研究工作或許可以更詳細(xì)、更大規(guī)模地研究人工神經(jīng)網(wǎng)絡(luò)與大腦神經(jīng)網(wǎng)絡(luò)之間的聯(lián)系。

“我們計(jì)劃繼續(xù)探索通過(guò)利用神經(jīng)科學(xué)來(lái)啟發(fā)人工神經(jīng)網(wǎng)絡(luò)研究的研究方向，”Meyes 和 Meisen 說(shuō)道。“我們接下來(lái)的計(jì)劃是將人工神經(jīng)網(wǎng)絡(luò)中的活動(dòng)可視化，就像大腦的活動(dòng)可以用例如 fMRI 的成像方法可視化一樣。目標(biāo)是使神經(jīng)網(wǎng)絡(luò)的決策過(guò)程更加透明，從而獲得對(duì)人工神經(jīng)網(wǎng)絡(luò)進(jìn)行更全面的了解。”