半監(jiān)督學(xué)習(xí)（Semi-supervised learning，SSL）提供了一個(gè)強(qiáng)大的框架，可以在標(biāo)記有限或昂貴的情況下利用無(wú)標(biāo)記數(shù)據(jù)。近期，基于深度神經(jīng)網(wǎng)絡(luò)的SSL算法已被證明在標(biāo)準(zhǔn)基準(zhǔn)任務(wù)上是成功的。然而，我們認(rèn)為，這些基準(zhǔn)無(wú)法解決這些算法在實(shí)際應(yīng)用程序中遇到的許多問(wèn)題。在對(duì)各種廣泛使用的SSL技術(shù)進(jìn)行了統(tǒng)一重新實(shí)現(xiàn)（unified reimplemention）之后，我們?cè)谝唤M旨在解決這些問(wèn)題的實(shí)驗(yàn)中對(duì)它們進(jìn)行了測(cè)試。我們發(fā)現(xiàn)：不使用無(wú)標(biāo)記數(shù)據(jù)的簡(jiǎn)單基線的性能經(jīng)常被低估；SSL方法對(duì)標(biāo)記數(shù)據(jù)和無(wú)標(biāo)記數(shù)據(jù)數(shù)量的敏感性不同；當(dāng)無(wú)標(biāo)記數(shù)據(jù)集包含類外的樣本時(shí)，其性能會(huì)大幅降低。為了幫助指導(dǎo)SSL研究在現(xiàn)實(shí)世界的實(shí)際應(yīng)用，我們開(kāi)源了我們的統(tǒng)一重新實(shí)現(xiàn)和評(píng)估平臺(tái)。

深度神經(jīng)網(wǎng)絡(luò)已經(jīng)一再被表明，可以通過(guò)利用大量標(biāo)記數(shù)據(jù)，在某些監(jiān)督學(xué)習(xí)問(wèn)題上達(dá)到人類水平或超越人類水平的性能。然而，這些成功有著不同的代價(jià)；也就是說(shuō)，創(chuàng)建這些大型數(shù)據(jù)集通常需要大量的人力（以手工對(duì)樣本增添標(biāo)記）、痛苦或風(fēng)險(xiǎn)（對(duì)于涉及侵入性測(cè)試的醫(yī)療數(shù)據(jù)集）或財(cái)務(wù)費(fèi)用（用于雇傭標(biāo)記標(biāo)注者或構(gòu)建在特定領(lǐng)域收集數(shù)據(jù)所需的基礎(chǔ)設(shè)施）。對(duì)于許多實(shí)際問(wèn)題和應(yīng)用程序來(lái)說(shuō)，沒(méi)有足夠的資源來(lái)創(chuàng)建足夠大的標(biāo)記數(shù)據(jù)集，這限制了深度學(xué)習(xí)技術(shù)的廣泛采用。

有一個(gè)具有吸引力的方法可以緩解這個(gè)問(wèn)題，就是半監(jiān)督學(xué)習(xí)（semi-supervised learning，SSL）框架。與需要所有樣本都有標(biāo)記的監(jiān)督學(xué)習(xí)（supervised learning）算法相反，SSL算法可以通過(guò)使用無(wú)標(biāo)記樣本來(lái)提高其性能。SSL算法通常提供一種從無(wú)標(biāo)記樣本中學(xué)習(xí)數(shù)據(jù)結(jié)構(gòu)的方法，這可以減輕對(duì)標(biāo)記的需求。最近的一些研究結(jié)果表明，在某些情況下，SSL能夠接近純粹監(jiān)督學(xué)習(xí)的性能，即使在給定的數(shù)據(jù)集中有很大一部分的標(biāo)記被丟棄。

每種SSL技術(shù)在CIFAR-10（六類動(dòng)物）上的測(cè)試誤差，其中，在標(biāo)記數(shù)據(jù)與無(wú)標(biāo)記數(shù)據(jù)之間，存在不同程度的重疊。例如，“25%”是指來(lái)自不同類的4種無(wú)標(biāo)記數(shù)據(jù)之一，而非來(lái)自標(biāo)記數(shù)據(jù)的6類?！氨O(jiān)督”是指不使用無(wú)標(biāo)記數(shù)據(jù)。陰影區(qū)域表示5次試驗(yàn)的標(biāo)準(zhǔn)偏差。

這些最近的成功引出了一個(gè)自然的問(wèn)題：SSL方法是否適用于“現(xiàn)實(shí)世界”的環(huán)境？在本文中，我們認(rèn)為，當(dāng)前評(píng)估SSL技術(shù)的實(shí)際方法并不能以令人滿意的方式解決這個(gè)問(wèn)題。具體而言，采用大型標(biāo)記數(shù)據(jù)集并丟棄許多標(biāo)記的標(biāo)準(zhǔn)評(píng)估程序沒(méi)有考慮到SSL應(yīng)用程序的各種常見(jiàn)特征。我們的目標(biāo)是通過(guò)提出一種新的實(shí)驗(yàn)方法來(lái)更直接地解決這個(gè)問(wèn)題，我們認(rèn)為該方法能夠更好地測(cè)量對(duì)現(xiàn)實(shí)世界問(wèn)題的適應(yīng)性。我們的一些發(fā)現(xiàn)包括：

?當(dāng)給予調(diào)優(yōu)超參數(shù)（hyperparameter）相同預(yù)算時(shí)，使用SSL和使用標(biāo)記數(shù)據(jù)之間的性能差距比通常記錄的差距要小。

?此外，使用無(wú)標(biāo)記數(shù)據(jù)的大型、高度正則化的分類器的強(qiáng)大性能證明了在同一個(gè)基礎(chǔ)模型上評(píng)估不同SSL算法的重要性。

?在不同的標(biāo)記數(shù)據(jù)集上對(duì)分類器進(jìn)行預(yù)先訓(xùn)練，然后僅在利益相關(guān)數(shù)據(jù)集中的標(biāo)記數(shù)據(jù)上進(jìn)行再訓(xùn)練，這可以勝過(guò)所有我們研究過(guò)的SSL算法。

?當(dāng)無(wú)標(biāo)記數(shù)據(jù)包含與標(biāo)記數(shù)據(jù)不同的類分布時(shí)，SSL技術(shù)的性能可能會(huì)急劇下降。

?不同的方法對(duì)標(biāo)記數(shù)據(jù)和無(wú)標(biāo)記數(shù)據(jù)數(shù)量的敏感度有很大不同。

?實(shí)際的小型驗(yàn)證集（validation set）會(huì)妨礙對(duì)不同方法、模型和超參數(shù)設(shè)置進(jìn)行可靠的比較。

在SVHN和CIFAR-10中，每種SSL技術(shù)的測(cè)試誤差都隨標(biāo)記數(shù)據(jù)量的變化而變化。陰影區(qū)域表示5次實(shí)驗(yàn)的標(biāo)準(zhǔn)偏差。X軸采用對(duì)數(shù)形式表示

此外，與機(jī)器學(xué)習(xí)中的許多領(lǐng)域一樣，對(duì)超參數(shù)、模型結(jié)構(gòu)及訓(xùn)練的微小調(diào)整，都會(huì)對(duì)方法的直接比較構(gòu)成混淆，并對(duì)結(jié)果產(chǎn)生重大影響。為了改善這一問(wèn)題，我們提出了關(guān)于各種SSL方法的統(tǒng)一的、模塊化的重新實(shí)現(xiàn)，這些方法也使得我們的評(píng)估技術(shù)成為現(xiàn)實(shí)。

結(jié)論與建議

我們的實(shí)驗(yàn)提供了有力的證據(jù)，證明SSL的標(biāo)準(zhǔn)評(píng)估實(shí)踐是不現(xiàn)實(shí)的。為了更好地反應(yīng)在現(xiàn)實(shí)世界中的應(yīng)用，我們應(yīng)該對(duì)評(píng)估進(jìn)行哪些改進(jìn)呢？我們對(duì)SSL算法的評(píng)估有以下建議：

?在比較不同的SSL方法時(shí)，使用完全相同的基礎(chǔ)模型。因?yàn)槟Ｐ徒Y(jié)構(gòu)或?qū)崿F(xiàn)細(xì)節(jié)的差異會(huì)對(duì)結(jié)果產(chǎn)生很大影響。

?報(bào)告需認(rèn)真評(píng)估對(duì)完全監(jiān)督精確度和遷移學(xué)習(xí)性能的要求，以將其作為基準(zhǔn)。SSL的目標(biāo)應(yīng)該定為，顯著優(yōu)于完全監(jiān)督環(huán)境下的綜合表現(xiàn)。

?對(duì)類分布失協(xié)情況的系統(tǒng)性變化的結(jié)果進(jìn)行報(bào)告。 我們表明，當(dāng)采用是不同類的無(wú)標(biāo)記數(shù)據(jù)，而非標(biāo)記數(shù)據(jù)時(shí)，我們對(duì)SSL技術(shù)的研究受到了影響。據(jù)我們了解，這一現(xiàn)實(shí)問(wèn)題被嚴(yán)重忽略了。

?在評(píng)估性能時(shí)，應(yīng)調(diào)整標(biāo)記數(shù)據(jù)和無(wú)標(biāo)記數(shù)據(jù)的數(shù)量。理想的SSL算法即使在標(biāo)記數(shù)據(jù)很少的情況下也是非常有效的，并且它還可以從額外的無(wú)標(biāo)記數(shù)據(jù)中受益。具體而言，我們建議將SVHN和SVHN-extract相結(jié)合，來(lái)測(cè)試大型無(wú)標(biāo)記數(shù)據(jù)機(jī)制的性能。

?注意，不要在非真實(shí)的大型驗(yàn)證集上過(guò)度調(diào)節(jié)超參數(shù)。如果驗(yàn)證集非常小，那么為了獲得理想的性能而在每個(gè)模型或每個(gè)任務(wù)基礎(chǔ)上，對(duì)超參數(shù)進(jìn)行重大調(diào)整的SSL方法將不可用。

我們的研究還表明，面對(duì)以下情況時(shí)，SSL或許是研究人員最正確的選擇：

?當(dāng)沒(méi)有來(lái)自類似域的高質(zhì)量標(biāo)記數(shù)據(jù)集用于微調(diào)時(shí)。

?當(dāng)標(biāo)記數(shù)據(jù)是通過(guò)獨(dú)立同分布（i.i.d）采樣，從無(wú)標(biāo)記數(shù)據(jù)集中采集得到，而不是從不同分布中收集得來(lái)時(shí)。

?當(dāng)標(biāo)記的數(shù)據(jù)集足夠大，能夠準(zhǔn)確計(jì)算驗(yàn)證精確度時(shí)（這是進(jìn)行模型選擇和超參數(shù)調(diào)優(yōu)所必須的條件）。

近來(lái)，SSL收獲了巨大的成功。我們希望我們的研究成果，以及公開(kāi)可用的統(tǒng)一實(shí)現(xiàn)，能夠讓成功之花在現(xiàn)實(shí)世界中遍地綻放。