你以為是水果圖像分類的任務(wù)，實(shí)際是男女分類任務(wù)，這并非不可能。研究人員在機(jī)器學(xué)習(xí)領(lǐng)域引入了一種新的隱寫術(shù)，偽裝訓(xùn)練集，隱藏任務(wù)的意圖和目標(biāo)，從而可以訓(xùn)練AI系統(tǒng)執(zhí)行秘密任務(wù)。

將信息隱藏在顯而易見的地方，使其存在不被懷疑，這就是隱寫術(shù)。

隱寫術(shù)并不新鮮。早在公元前5世紀(jì)，信使們就會(huì)剃光頭發(fā)，并在頭上寫下信息。等到他們重新長(zhǎng)出頭發(fā)，就能隱藏信息。只有預(yù)定的收信人知道要剃光信使的頭發(fā)來(lái)獲得信息。

在現(xiàn)代，隱寫技術(shù)常被用來(lái)檢測(cè)未經(jīng)授權(quán)的數(shù)字媒體分發(fā)。需要注意的是，隱寫術(shù)(steganography)不同于密碼學(xué)(crypotgraphy)，后者的目的是隱藏?cái)?shù)據(jù)內(nèi)容。如果監(jiān)視數(shù)據(jù)的人可以更改數(shù)據(jù)或完全停止數(shù)據(jù)傳輸，就無(wú)法使用加密了。在這種情況下，隱寫術(shù)變得非常重要，因?yàn)槲覀儾幌Ｍ魏谓槿氲母`聽者會(huì)覺得可疑并停止數(shù)據(jù)傳輸。

在最近的研究中，威斯康星大學(xué)麥迪遜分校和阿默斯特學(xué)院的研究人員在機(jī)器學(xué)習(xí)領(lǐng)域引入了一種新的隱寫術(shù)，稱為“訓(xùn)練集偽裝”(training set camouflage)。

他們?cè)O(shè)想了這樣一個(gè)場(chǎng)景：一個(gè)機(jī)器學(xué)習(xí)智能體(Alice)試圖訓(xùn)練另一個(gè)智能體(Bob)去完成一項(xiàng)秘密的分類任務(wù)，而且要避免被第三個(gè)智能體(Eve)竊聽。

他們?cè)赼rXiv上預(yù)先發(fā)表的一篇論文中概述了他們的框架，該框架允許機(jī)器學(xué)習(xí)智能體向第三方觀察者隱藏任務(wù)的意圖和目標(biāo)。

圖1：訓(xùn)練集偽裝的示例。(a) 偽裝的訓(xùn)練集 (b)秘密的分類任務(wù)

圖1a所示的分類訓(xùn)練集中，上面一行包含正類(+)的實(shí)例，下面一行是負(fù)類(-)的實(shí)例。這些圖像可以輸入給機(jī)器學(xué)習(xí)系統(tǒng)，以學(xué)習(xí)一個(gè)模型，該模型將成功地將從未見過(guò)的實(shí)例(圖像)分類為+或-。

如果你認(rèn)為這個(gè)任務(wù)是水果圖像分類(橙子vs.蘋果)，那么你已經(jīng)被成功地愚弄了。實(shí)際的任務(wù)是對(duì)女性和男性進(jìn)行分類，如圖1b所示。事實(shí)上，一個(gè)標(biāo)準(zhǔn)的邏輯回歸學(xué)習(xí)器僅對(duì)圖1a中的圖像進(jìn)行訓(xùn)練，就可以對(duì)圖1b中的圖像得到較高的性別分類準(zhǔn)確率。

在這篇論文中，研究人員設(shè)想了一個(gè)智能體Alice，她有一個(gè)秘密的分類任務(wù)(例如，對(duì)女性和男性的圖像進(jìn)行分類)和一個(gè)相應(yīng)的私人訓(xùn)練集(女性和男性的圖像)。Alice想訓(xùn)練第二個(gè)智能體，Bob，來(lái)完成這個(gè)秘密任務(wù)。

“訓(xùn)練集偽裝”的框架

研究人員在論文中寫道：“想象一下，Alice有一個(gè)非法機(jī)器學(xué)習(xí)分類任務(wù)的訓(xùn)練集。Alice想讓Bob(一個(gè)機(jī)器學(xué)習(xí)系統(tǒng))來(lái)學(xué)習(xí)這個(gè)任務(wù)。然而，如果通信受到監(jiān)控，訓(xùn)練集或訓(xùn)練模型被發(fā)送給Bob，就會(huì)引起懷疑。”

在研究人員設(shè)想的場(chǎng)景中，名為Eve的第三個(gè)智能體扮演數(shù)據(jù)檢驗(yàn)者的角色，監(jiān)視Alice和Bob之間的通信。當(dāng)Eve對(duì)Alice發(fā)送給Bob的內(nèi)容產(chǎn)生懷疑時(shí)，她可以終止它們之間的通信，并拒絕將數(shù)據(jù)傳遞給Bob)。Eve作為審核者，在將訓(xùn)練數(shù)據(jù)傳遞給學(xué)習(xí)者之前，他會(huì)試圖弄清楚該數(shù)據(jù)集是否合法。

“發(fā)送私人訓(xùn)練集會(huì)暴露Alice的意圖；發(fā)送模型參數(shù)方向也會(huì)引起懷疑。Alice必須偽裝通信，讓通信內(nèi)容在Eve看起來(lái)平淡無(wú)奇，同時(shí)避免事先與Bob使用過(guò)多的編碼技巧。”

他們展示了Alice如何為一個(gè)隱秘任務(wù)構(gòu)建一個(gè)偽裝的數(shù)據(jù)集，其中(i)這個(gè)訓(xùn)練集在Eve看來(lái)是不可疑的，(ii)能讓Bob學(xué)習(xí)秘密任務(wù)的準(zhǔn)確模型。在前面的例子中，Eve注意到Alice發(fā)送的蘋果和橘子的圖像看起來(lái)是正常的，而對(duì)Alice關(guān)于女性vs男性分類的秘密任務(wù)一無(wú)所知。

研究人員設(shè)計(jì)的隱寫術(shù)方法允許Alice在一個(gè)完全不同的、看起來(lái)良好的分類任務(wù)上計(jì)算第二個(gè)訓(xùn)練集，而不會(huì)引起Eve的懷疑。它通過(guò)查找看起來(lái)可以應(yīng)用于特定任務(wù)的數(shù)據(jù)集來(lái)實(shí)現(xiàn)這一點(diǎn)，而實(shí)際上它可以教會(huì)智能體在不同的任務(wù)中表現(xiàn)良好。通過(guò)將它的標(biāo)準(zhǔn)學(xué)習(xí)算法應(yīng)用于第二個(gè)訓(xùn)練集，Bob可以近似恢復(fù)原始任務(wù)上的分類器。

研究人員設(shè)計(jì)出這種隱寫法某種程度上是偶然，因?yàn)樗鼇?lái)自機(jī)器學(xué)習(xí)領(lǐng)域的一個(gè)不相關(guān)的項(xiàng)目。他們開發(fā)的系統(tǒng)創(chuàng)建了一系列的教學(xué)集，其中一個(gè)包括有錯(cuò)誤的標(biāo)簽點(diǎn)。這鼓勵(lì)他們研究一個(gè)智能體是否可以教另一個(gè)智能體如何完成任務(wù)，同時(shí)這個(gè)任務(wù)是用另一個(gè)任務(wù)偽裝的。

研究人員使用真實(shí)的分類任務(wù)進(jìn)行了一系列的實(shí)驗(yàn)，證明了他們的方法的可行性。他們的研究表明，只要利用以下事實(shí)就可以隱藏大量信息：對(duì)于任何給定的任務(wù)，都有幾個(gè)模型可以很好地執(zhí)行該任務(wù)。