編者按：很多現(xiàn)實(shí)中的任務(wù)都有著復(fù)雜的目標(biāo)或者很難詳細(xì)表述出的目標(biāo)，這就很難衡量機(jī)器在此任務(wù)上的表現(xiàn)結(jié)果。其中一種解決辦法是，人類通過(guò)演示或判斷提供訓(xùn)練信號(hào)，但是這種方法在復(fù)雜情況下很容易失效?，F(xiàn)在，OpenAI提出了一種方法，能夠?yàn)閺?fù)雜任務(wù)生成訓(xùn)練信號(hào)。以下是論智對(duì)原文的編譯。

我們提出的技術(shù)稱作迭代擴(kuò)增（iterated amplification），它能讓我們清楚的了解超越了人類能力的復(fù)雜行為和目標(biāo)。與提供標(biāo)簽數(shù)據(jù)或獎(jiǎng)勵(lì)函數(shù)不同，我們的方法是將一個(gè)任務(wù)分解成多個(gè)更簡(jiǎn)單的小任務(wù)。盡管這一想法還處在初級(jí)階段，而且一直在簡(jiǎn)單的游戲算法中進(jìn)行了實(shí)驗(yàn)，不過(guò)我們還是決定分享出它的初期狀態(tài)，因?yàn)槲覀冋J(rèn)為它將是保證AI安全非常有用的方法。

論文地址：arxiv.org/abs/1810.08575

如果我們想訓(xùn)練一個(gè)機(jī)器學(xué)習(xí)系統(tǒng)執(zhí)行任務(wù)，就需要一個(gè)訓(xùn)練信號(hào)，這是一種衡量系統(tǒng)表現(xiàn)的方法，從而能幫助它更好地學(xué)習(xí)。例如，監(jiān)督學(xué)習(xí)中的標(biāo)簽或強(qiáng)化學(xué)習(xí)中的獎(jiǎng)勵(lì)都可以看作訓(xùn)練信號(hào)。機(jī)器學(xué)習(xí)的組織規(guī)則通常假設(shè)一種訓(xùn)練信號(hào)已經(jīng)有現(xiàn)成的了，我們應(yīng)該關(guān)注從中學(xué)習(xí)，但是事實(shí)上，訓(xùn)練信號(hào)必須從別處得到。如果沒(méi)有訓(xùn)練信號(hào)，就無(wú)法學(xué)習(xí)任務(wù)。如果得到了錯(cuò)誤的訓(xùn)練信號(hào)，就會(huì)得到錯(cuò)誤、甚至危險(xiǎn)的行為。所以，提高生成訓(xùn)練信號(hào)的能力對(duì)學(xué)習(xí)新任務(wù)和AI安全性都是有利的。

目前我們是如何生成訓(xùn)練信號(hào)的呢？有時(shí)，我們想實(shí)現(xiàn)的目標(biāo)可以用算法進(jìn)行評(píng)估，例如在圍棋比賽中計(jì)算得分或者是否成功得到了一定的分?jǐn)?shù)。大多數(shù)現(xiàn)實(shí)任務(wù)都不適合算法訓(xùn)練信號(hào)，但是通常我們可以通過(guò)人類執(zhí)行任務(wù)或判斷AI的性能獲得訓(xùn)練信號(hào)。但是大多數(shù)任務(wù)都很復(fù)雜，人類無(wú)法進(jìn)行判斷或很好地執(zhí)行，它們可能具有復(fù)雜的轉(zhuǎn)接系統(tǒng)或者有多種安全問(wèn)題。

迭代擴(kuò)增就是為第二種類型的任務(wù)設(shè)計(jì)的生成訓(xùn)練信號(hào)的方法。換句話說(shuō)，雖然人類不能直接進(jìn)行全部任務(wù)，但是我們假設(shè)他可以清楚地辨別某種任務(wù)中的各種組成部分。例如，在計(jì)算機(jī)的網(wǎng)絡(luò)案例中，人類可以將“保護(hù)服務(wù)器和路由器”的任務(wù)分解成“了解服務(wù)器受到的攻擊”、“了解路由器受到的攻擊”以及“這兩種攻擊如何交互”。另外，我們假設(shè)人類可以完成任務(wù)的一些很小實(shí)例，例如“辨別日志文件中可疑的特定代碼”。如果這些可以實(shí)現(xiàn)，那么我們就能通過(guò)人類在小任務(wù)上的訓(xùn)練信號(hào)搭建大型任務(wù)的訓(xùn)練信號(hào)。

在我們實(shí)施迭代擴(kuò)增的過(guò)程中，我們首先對(duì)小的子任務(wù)進(jìn)行采樣，訓(xùn)練AI系統(tǒng)模擬人類示范完成任務(wù)。之后，我們開(kāi)始收集稍大型的任務(wù)，解決的方法是先讓人們將其分為小部分，經(jīng)過(guò)訓(xùn)練的AI就能解決這些小問(wèn)題。這種方法常用于稍困難的任務(wù)中，其中加入了人類的幫助，作為訓(xùn)練信號(hào)來(lái)訓(xùn)練AI系統(tǒng)解決多層任務(wù)。之后在解決更復(fù)雜的任務(wù)時(shí)，重復(fù)搭建這樣的訓(xùn)練模型即可。如果這一過(guò)程可行，最終就能生成一個(gè)完全自動(dòng)的解決復(fù)雜任務(wù)的系統(tǒng)，不論初期是否有直接的訓(xùn)練信號(hào)。這一過(guò)程有點(diǎn)像AlphaGo Zero中使用的expert iteration，只不過(guò)expert iteration是對(duì)現(xiàn)有的訓(xùn)練信號(hào)進(jìn)行強(qiáng)化，而我們的iterated amplification是從零創(chuàng)造訓(xùn)練信號(hào)。它還類似于最近的幾種學(xué)習(xí)算法，例如在測(cè)試時(shí)利用問(wèn)題分解解決某個(gè)任務(wù)，但是不同的是它是在沒(méi)有先驗(yàn)訓(xùn)練信號(hào)的情況下操作的。

實(shí)驗(yàn)

基于此前研究AI辯論的經(jīng)驗(yàn)，我們認(rèn)為直接處理超越人類尺度的任務(wù)對(duì)一個(gè)原型項(xiàng)目來(lái)說(shuō)太難了。同時(shí)，利用人類的實(shí)際行為作為訓(xùn)練信號(hào)也比較復(fù)雜，所以我們還沒(méi)有解決這一點(diǎn)。在我們的第一個(gè)實(shí)驗(yàn)中，我們嘗試擴(kuò)大一個(gè)算法訓(xùn)練信號(hào)，來(lái)證明iterated amplification可以在這一簡(jiǎn)單的設(shè)置上工作。我們同樣將注意力限制在監(jiān)督學(xué)習(xí)上。

我們?cè)谖鍌€(gè)不同的玩具算法任務(wù)中測(cè)試了這種方法，這些任務(wù)都有直接的算法解決方案，但我們假裝不知道（例如，尋找圖中兩點(diǎn)之間的最短路線），不過(guò)，若想把每個(gè)片段手動(dòng)組合起來(lái)就需要大量精力。我們使用迭代擴(kuò)增來(lái)學(xué)習(xí)只使用片段作為訓(xùn)練信號(hào)的直接算法，從而模擬人類知道如何組合解決方法片段、但沒(méi)有直接的訓(xùn)練信號(hào)的情況。

在這五個(gè)任務(wù)中（排列供電、順序分配、通配符搜索、最短路徑查詢以及聯(lián)合查找），結(jié)果與直接通過(guò)監(jiān)督學(xué)習(xí)解決的任務(wù)表現(xiàn)相當(dāng)。

擴(kuò)增方法和此前對(duì)AI安全的辯論研究有很多相似特征。和辯論相似的是，它也是訓(xùn)練模型在人類無(wú)法完成的任務(wù)上直接執(zhí)行或判斷，通過(guò)迭代過(guò)程讓人類提供間接的監(jiān)督，不過(guò)具體方法并不相同。未來(lái)，我們會(huì)加入人類的反饋機(jī)制。