讓 OpenAI 創(chuàng)建的圖像生成系統(tǒng) DALL·E 2 繪制一幅「金魚在海灘上啜飲可口可樂」的圖畫，它會吐出超現(xiàn)實的圖像。該程序在訓練期間會遇到海灘、金魚和可口可樂的圖像，但它不太可能看到三者同時出現(xiàn)的圖像。然而，DALL·E 2 可以將這些概念組合成可能讓達利感到自豪的東西。

DALL·E 2 是一種生成模型——一種嘗試使用訓練數(shù)據(jù)生成在質(zhì)量和多樣性方面可與數(shù)據(jù)相媲美的新事物的系統(tǒng)。這是機器學習中最困難的問題之一，到達這一點是一段艱難的旅程。

第一個重要的圖像生成模型使用了一種稱為神經(jīng)網(wǎng)絡的人工智能方法——一種由多層計算單元組成的程序，稱為人工神經(jīng)元。但即使他們的圖像質(zhì)量變得更好，模型也被證明不可靠且難以訓練。與此同時，一個強大的生成模型——由一位對物理學充滿熱情的博士后研究員創(chuàng)建——處于休眠狀態(tài)，直到兩名研究生取得技術突破，使這只野獸復活。

DALL·E 2 就是這樣一頭野獸。使 DALL·E 2 的圖像以及其競爭對手 Stable Diffusion 和 Imagen 的圖像成為可能的關鍵洞察力來自物理學世界。支撐它們的系統(tǒng)被稱為擴散模型，在很大程度上受到非平衡熱力學的啟發(fā)，非平衡熱力學支配著流體和氣體擴散等現(xiàn)象?！赣泻芏嗉夹g最初是由物理學家發(fā)明的，現(xiàn)在在機器學習中非常重要，」OpenAI 的機器學習研究員 Yang Song 說。

這些模型的力量震撼了行業(yè)和用戶?！笇τ谏赡Ｐ蛠碚f，這是一個激動人心的時刻，」加州理工學院計算機科學家、英偉達機器學習研究高級主管 Anima Anandkumar 說。

她說，雖然擴散模型創(chuàng)建的逼真圖像有時會延續(xù)社會和文化偏見，但「我們已經(jīng)證明，生成模型對下游任務很有用，[這些]提高了預測人工智能模型的公平性?！?/p>

高概率

為了理解如何為圖像創(chuàng)建數(shù)據(jù)，讓我們從僅由兩個相鄰灰度像素組成的簡單圖像開始。我們可以根據(jù)每個像素的陰影（從 0 為全黑到 255 為全白）用兩個值來完整描述此圖像。您可以使用這兩個值將圖像繪制為二維空間中的一個點。

如果我們將多個圖像繪制為點，則可能會出現(xiàn)聚類——某些圖像及其對應的像素值比其他圖像更頻繁地出現(xiàn)?，F(xiàn)在想象平面上方有一個曲面，曲面的高度對應于簇的密度。該曲面繪制出概率分布。你最有可能在曲面最高部分下方找到單個數(shù)據(jù)點，在表面的最低部分下面很少找到數(shù)據(jù)點。

DALL·E 2 制作了「金魚在海灘上啜飲可口可樂」的圖像。這個由 OpenAI 創(chuàng)建的程序可能從未遇到過類似的圖像，但仍然可以自行生成它們。

現(xiàn)在你可以使用此概率分布來生成新圖像。你需要做的就是隨機生成新的數(shù)據(jù)點，同時遵守更頻繁地生成更多可能數(shù)據(jù)的限制——這個過程稱為「采樣」分布。每個新點都是一個新圖像。

同樣的分析適用于更逼真的灰度照片，例如每張一百萬像素。只是現(xiàn)在，繪制每個圖像需要的不是兩個軸，而是一百萬個。此類圖像的概率分布將是一些復雜的百萬加一維曲面。如果你對該分布進行采樣，你將產(chǎn)生一百萬個像素值。將這些像素打印在一張紙上，圖像很可能看起來像原始數(shù)據(jù)集中的照片。

生成建模的挑戰(zhàn)是為構成訓練數(shù)據(jù)的某些圖像集學習這種復雜的概率分布。該分布之所以有用，部分原因是它捕獲了有關數(shù)據(jù)的廣泛信息，部分原因是研究人員可以結合不同類型數(shù)據(jù)（例如文本和圖像）的概率分布來構成超現(xiàn)實的輸出，例如金魚在海灘上啜飲可口可樂?！改憧梢曰旌虾推ヅ洳煌母拍睢詣?chuàng)建訓練數(shù)據(jù)中從未見過的全新場景，」Anandkumar 說。

2014 年，一種稱為生成對抗網(wǎng)絡 (GAN) 的模型成為第一個生成逼真圖像的模型。「太激動了，」Anandkumar 說。但是 GAN 很難訓練：它們可能無法學習完整的概率分布，并且可能只能從分布的一個子集生成圖像。例如，在各種動物圖像上訓練的 GAN 可能只生成狗的圖片。

機器學習需要一個更強大的模型。Jascha Sohl-Dickstein 的工作受到物理學的啟發(fā)，他將提供一個答案。

興奮的斑點

在 GAN 發(fā)明前后，Sohl-Dickstein 是斯坦福大學的一名博士后，研究生成模型，對非平衡熱力學也有興趣。物理學的這個分支研究不處于熱平衡狀態(tài)的系統(tǒng)——那些在內(nèi)部以及與環(huán)境交換物質(zhì)和能量的系統(tǒng)。

一個說明性的例子是一滴藍色墨水通過一個水容器擴散。起初，它在一個地方形成一個黑色的斑點。此時，如果你想計算在容器的某個小體積中找到墨水分子的概率，你需要一個概率分布來清晰地模擬墨水開始擴散之前的初始狀態(tài)。但這種分布很復雜，因此很難從中抽樣。

然而，最終，墨水擴散到整個水中，使水變成淡藍色。這可以用簡單的數(shù)學表達式描述的更簡單、更均勻的分子概率分布。非平衡熱力學描述了擴散過程中每一步的概率分布。至關重要的是，每一步都是可逆的——通過足夠小的步驟，你可以從一個簡單的分布返回到一個復雜的分布。

Sohl-Dickstein 使用擴散原理開發(fā)了生成建模算法。這個想法很簡單：該算法首先將訓練數(shù)據(jù)集中的復雜圖像轉化為簡單的噪聲——類似于從一滴墨水變成漫射淡藍色的水——然后教系統(tǒng)如何反轉這個過程，將噪聲轉化為圖像。

這是它的工作原理。首先，該算法從訓練集中獲取圖像。和以前一樣，假設百萬像素中的每一個都有一些值，我們可以將圖像繪制為百萬維空間中的一個點。該算法在每個時間步向每個像素添加一些噪聲，相當于墨水在一個小時間步后的擴散。隨著這個過程的繼續(xù)，像素值與它們在原始圖像中的值的關系越來越小，像素看起來更像是一個簡單的噪聲分布。（該算法還在每個時間步將每個像素值向原點微移一點點，即所有這些軸上的零值。這種微移可以防止像素值變得太大以至于計算機無法輕松處理。）

對數(shù)據(jù)集中的所有圖像執(zhí)行此操作，百萬維空間中點的初始復雜分布（無法輕易描述和采樣）變成圍繞原點的簡單、正態(tài)分布的點。

Sohl-Dickstein 說：「轉換序列非常緩慢地將你的數(shù)據(jù)分布變成一個大噪音球?！?這個「正向過程」為你提供了一個可以輕松采樣的分布。

接下來是機器學習部分：為神經(jīng)網(wǎng)絡提供從正向傳遞中獲得的噪聲圖像，并訓練它預測更早一步出現(xiàn)的噪聲較小的圖像。一開始它會出錯，所以你調(diào)整網(wǎng)絡的參數(shù)，讓它做得更好。最終，神經(jīng)網(wǎng)絡可以可靠地將代表簡單分布樣本的噪聲圖像一直轉換為代表復雜分布樣本的圖像。

經(jīng)過訓練的網(wǎng)絡是一個成熟的生成模型。現(xiàn)在你甚至不需要原始圖像來進行正向傳遞：你有簡單分布的完整數(shù)學描述，所以你可以直接從中采樣。神經(jīng)網(wǎng)絡可以將這個樣本——本質(zhì)上只是靜態(tài)的——變成類似于訓練數(shù)據(jù)集中圖像的最終圖像。

Sohl-Dickstein 回憶起他的擴散模型的第一個輸出?！改銜[著眼睛說，[我認為那個彩色斑點看起來像一輛卡車，]」他說?！肝一撕芏鄠€月的時間盯著不同的像素模式，試圖看到我喜歡的結構，[這比我以前得到的更有條理。] 我非常興奮?！?/p>

展望未來

Sohl-Dickstein 在 2015 年發(fā)表了他的擴散模型算法，但仍然遠遠落后于 GAN 的能力。雖然擴散模型可以對整個分布進行采樣，并且永遠不會只吐出圖像的一個子集，但圖像看起來更糟，而且過程太慢了。「我認為當時這并不令人興奮，」Sohl-Dickstein 說。

論文地址：https://doi.org/10.48550/arXiv.1503.03585

需要兩名既不了解 Sohl-Dickstein 也不了解對方的學生，才能將最初工作中的點點滴滴與 DALL·E 2 等現(xiàn)代擴散模型聯(lián)系起來。第一個是 Song，當時他是斯坦福大學的博士生。2019 年，他和他的導師發(fā)表了一種構建生成模型的新方法，該方法不估計數(shù)據(jù)（高維表面）的概率分布。相反，它估計了分布的梯度（將其視為高維表面的斜率）。

Song 發(fā)現(xiàn)，如果他首先用增加的噪聲水平擾動訓練數(shù)據(jù)集中的每張圖像，然后讓他的神經(jīng)網(wǎng)絡使用分布梯度預測原始圖像，從而有效地對其進行去噪，他的技術效果最好。一旦經(jīng)過訓練，他的神經(jīng)網(wǎng)絡就可以從簡單的分布中抽取噪聲圖像，并逐步將其轉換回代表訓練數(shù)據(jù)集的圖像。圖像質(zhì)量很好，但他的機器學習模型采樣速度非常慢。而且他在不了解 Sohl-Dickstein 的工作的情況下做到了這一點?！肝腋静恢罃U散模型，」Song 說。「在我們 2019 年的論文發(fā)表后，我收到了 Jascha 發(fā)來的電子郵件。他向我指出，[我們的模型] 有著非常緊密的聯(lián)系?！?/p>

2020 年，第二名學生看到了這些聯(lián)系，并意識到 Song 的工作可以改進 Sohl-Dickstein 的擴散模型。Jonathan Ho 最近在加州大學伯克利分校完成了生成建模方面的博士研究，但他仍在繼續(xù)研究?！肝艺J為這是機器學習中數(shù)學上最美麗的分支學科，」他說。

Ho 利用 Song 的一些想法和神經(jīng)網(wǎng)絡領域的其他進展重新設計和更新了 Sohl-Dickstein 的擴散模型?！肝抑罏榱艘鹕鐓^(qū)的注意，我需要讓模型生成漂亮的樣本，」他說?！肝掖_信這是我當時能做的最重要的事情?！?/p>

他的直覺是正確的。Ho 和他的同事在 2020 年的一篇題為「去噪擴散概率模型」的論文中宣布了這種新的和改進的擴散模型。它很快成為一個里程碑，以至于研究人員現(xiàn)在將其簡稱為 DDPM。根據(jù)一項圖像質(zhì)量基準——將生成圖像的分布與訓練圖像的分布進行比較——這些模型匹配或超過了所有競爭生成模型，包括 GAN。沒過多久，大公司就注意到了這一點?，F(xiàn)在，DALL·E 2、Stable Diffusion、Imagen 和其他商業(yè)模型都使用了 DDPM 的一些變體。

現(xiàn)代擴散模型還有一個關鍵要素：大型語言模型 (LLM)，例如 GPT-3。這些是基于互聯(lián)網(wǎng)文本訓練的生成模型，用于學習單詞而不是圖像的概率分布。2021 年，Ho（現(xiàn)在是一家隱形公司的研究科學家）和他在 Google Research 的同事 Tim Salimans 以及其他地方的其他團隊展示了如何將來自 LLM 和圖像生成擴散模型的信息結合起來使用文本（例如， 「金魚在海灘上啜飲可口可樂」）來指導擴散過程，從而引導圖像生成。這種「引導擴散」過程是文本到圖像模型成功的背后原因，例如 DALL·E 2。

「它們遠遠超出了我最瘋狂的期望，」Ho 說?！肝也粫傺b我看到了這一切?！?/p>

產(chǎn)生問題

盡管這些模型非常成功，但 DALL·E 2 及其同類產(chǎn)品的圖像仍遠非完美。大型語言模型可以在它們生成的文本中反映文化和社會偏見，例如種族主義和性別歧視。那是因為他們接受了從互聯(lián)網(wǎng)上摘錄的文本的訓練，而且這些文本通常包含種族主義和性別歧視的語言。在此類文本上學習概率分布的 LLM 充滿了相同的偏見。擴散模型也在從互聯(lián)網(wǎng)上獲取的未經(jīng)整理的圖像上進行訓練，這些圖像可能包含類似的有偏見的數(shù)據(jù)。難怪將法學碩士與當今的傳播模型相結合有時會產(chǎn)生反映社會弊病的圖像。

Anandkumar 有親身經(jīng)歷。當她嘗試使用基于擴散模型的應用程序生成自己的風格化頭像時，她感到震驚?！高@么多 [許多] 圖像都被高度性感化了，」她說，「而它呈現(xiàn)給男性的東西卻并非如此?！?她并不孤單。

可以通過整理和過濾數(shù)據(jù)（考慮到數(shù)據(jù)集的龐大性，這是一項極其困難的任務）或通過檢查這些模型的輸入提示和輸出來減少這些偏差?！府斎唬瑳]有什么能代替仔細和廣泛的安全測試」一個模型，Ho 說。「這對該領域來說是一個重要的挑戰(zhàn)。」

盡管存在這些顧慮，Anandkumar 仍然相信生成建模的力量?！肝艺娴暮芟矚g Richard Feynman 的名言：[我無法創(chuàng)造的東西，我不理解，] 」她說。加深的理解使她的團隊能夠開發(fā)生成模型，例如，生成用于預測任務的代表性不足的類別的合成訓練數(shù)據(jù)，例如用于面部識別的較深膚色，有助于提高公平性。生成模型還可以讓我們深入了解我們的大腦如何處理嘈雜的輸入，或者它們?nèi)绾螁酒鹦睦硪庀蟛⒖紤]未來的行動。構建更復雜的模型可以賦予人工智能類似的能力。

Anandkumar 說：「我認為，我們才剛剛開始探索生成式人工智能的可能性。」

編輯：黃飛

?