Sam Altman@OpenAI, February 24, 2023

OpenAI的使命是確保AGI（通用人工智能）——通常來(lái)說(shuō)是比人類(lèi)更聰明的人工智能系統(tǒng)——造福全人類(lèi)。

如果AGI被成功創(chuàng)造，此技術(shù)可提升人類(lèi)能力、增加社會(huì)財(cái)富、推動(dòng)全球經(jīng)濟(jì)增長(zhǎng)、發(fā)現(xiàn)全新科學(xué)知識(shí)進(jìn)而追求無(wú)限可能。

AGI有潛力為每個(gè)人提供難以置信的新能力，可以想象這樣一個(gè)世界，任何人都可以在幾乎任何認(rèn)知任務(wù)中獲得幫助，為人類(lèi)的聰明才智和創(chuàng)造力提供巨大的能力放大器。

另一方面，AGI也會(huì)帶來(lái)嚴(yán)重濫用、重大事故和社會(huì)混亂的風(fēng)險(xiǎn)。由于AGI的優(yōu)勢(shì)是如此之大，我們認(rèn)為社會(huì)不可能或者不希望永遠(yuǎn)阻止它的發(fā)展，相反，社會(huì)和AGI的創(chuàng)造者們必須弄清楚如何把它做好。盡管我們無(wú)法準(zhǔn)確預(yù)測(cè)未來(lái)，當(dāng)前的進(jìn)展也可能陷入瓶頸，但我們還是要清楚地說(shuō)明我們最關(guān)心的原則：

我們希望AGI能讓人類(lèi)在宇宙中最大限度地繁榮。我們不期望未來(lái)變成糟糕的烏托邦，我們希望把有利因素的最大化，把不利因素的最小化，讓AGI成為人性良知的放大器。

我們希望AGI的益處、使用和治理能夠被廣泛和公平地共享。

我們希望成功應(yīng)對(duì)巨大的風(fēng)險(xiǎn)。

在面對(duì)這些風(fēng)險(xiǎn)時(shí)，我們承認(rèn)，理論上看似正確的事情，在實(shí)踐中往往表現(xiàn)得比預(yù)期的更奇怪。我們相信，我們必須不斷地學(xué)習(xí)和適應(yīng)，部署功能較弱的技術(shù)版本，以盡量減少追求“一次做對(duì)”的場(chǎng)景。

短期

為迎接AGI的到來(lái)，我們認(rèn)為有幾件事很重要，需要提前做好準(zhǔn)備。

首先，隨著我們不斷創(chuàng)建更強(qiáng)大的系統(tǒng)，我們希望部署它們并獲得在現(xiàn)實(shí)世界中操作它們的經(jīng)驗(yàn)。我們相信這是小心管理AGI的最佳方式——逐步過(guò)渡到一個(gè)有AGI的世界總比突然發(fā)生要好。我們期待強(qiáng)大的人工智能使世界的進(jìn)步速度更快，所以我們最好逐步適應(yīng)這一點(diǎn)。

循序漸進(jìn)的過(guò)渡讓人們、政策制定者和機(jī)構(gòu)有時(shí)間了解正在發(fā)生的事情，親身體驗(yàn)這些系統(tǒng)的優(yōu)劣，調(diào)整我們的經(jīng)濟(jì)結(jié)構(gòu)，并實(shí)施監(jiān)管。這使得社會(huì)和人工智能可以共同進(jìn)化，并讓人們一起找出他們想要的東西，從而使風(fēng)險(xiǎn)降到較低水平。

我們目前認(rèn)為，成功應(yīng)對(duì)AI應(yīng)用挑戰(zhàn)的最佳方式就是快速學(xué)習(xí)和小心迭代的緊密反饋循環(huán)。社會(huì)將面臨重大問(wèn)題，包括允許人工智能系統(tǒng)做什么，如何對(duì)抗偏見(jiàn)，如何處理大規(guī)模失業(yè)等。最佳決策將取決于技術(shù)的發(fā)展道路，像任何新領(lǐng)域一樣，到目前為止，大多數(shù)專家的預(yù)測(cè)都是錯(cuò)的。這使得在真空中進(jìn)行計(jì)劃非常困難。

一般來(lái)說(shuō)，我們認(rèn)為在世界上更多地使用人工智能將帶來(lái)好處，并希望推廣它(通過(guò)將模型放在我們的API中，開(kāi)源等)。我們相信，AI的平民化還將帶來(lái)更多更好的研究、分散權(quán)力、帶來(lái)更多福利，也會(huì)有更多的人可以貢獻(xiàn)新的想法。

隨著我們的系統(tǒng)越來(lái)越接近AGI，我們對(duì)模型的創(chuàng)建和部署變得越來(lái)越謹(jǐn)慎。我們的決策將需要比社會(huì)通常應(yīng)用于新技術(shù)時(shí)更加謹(jǐn)慎，也比許多用戶希望的更加謹(jǐn)慎。人工智能領(lǐng)域的一些人認(rèn)為AGI及其衍生系統(tǒng)的風(fēng)險(xiǎn)是虛構(gòu)的，如果真是這樣，我們當(dāng)然會(huì)很高興，但我們還是要將這些風(fēng)險(xiǎn)視為存在。

在某一時(shí)刻，部署的利弊（例如給予惡人以權(quán)力將造成社會(huì)和經(jīng)濟(jì)混亂，加速不安全的競(jìng)賽）之間的平衡可能會(huì)發(fā)生變化，在這種情況下，我們將大幅改變圍繞持續(xù)部署的計(jì)劃。

其次，我們正在努力創(chuàng)建越來(lái)越和人類(lèi)價(jià)值觀對(duì)齊（align）、可操控的模型。從第一個(gè)版本的GPT-3到InstructGPT和ChatGPT的轉(zhuǎn)變就是一個(gè)這樣的例子。

特別是，我們認(rèn)為重要的是，就如何使用人工智能全社會(huì)能在最廣闊的邊界上使用達(dá)成一致，但在這些邊界內(nèi)，個(gè)人有很大的決定權(quán)。我們的最終希望是，世界各地的機(jī)構(gòu)可以就這些廣闊的邊界是什么達(dá)成共識(shí)，短期內(nèi)，我們計(jì)劃對(duì)一些外部輸入的做些實(shí)驗(yàn)。各地的機(jī)構(gòu)都需要增加額外的能力和經(jīng)驗(yàn)以為針對(duì)AGI的復(fù)雜決策做好準(zhǔn)備。

我們產(chǎn)品的“默認(rèn)配置”可能會(huì)受到很大限制，但我們計(jì)劃讓用戶更容易改變他們使用AI的行為。我們堅(jiān)持賦予人自主決策的能力，堅(jiān)信思想多樣性的內(nèi)在力量。

隨著我們的模型變得更強(qiáng)大，我們將開(kāi)發(fā)新的對(duì)齊技術(shù)（并通過(guò)測(cè)試來(lái)了解我們當(dāng)前的技術(shù)何時(shí)失敗）。我們的短期計(jì)劃是使用人工智能來(lái)幫助人類(lèi)評(píng)估更復(fù)雜模型的輸出并監(jiān)控復(fù)雜系統(tǒng)，而長(zhǎng)期計(jì)劃是使用人工智能來(lái)幫助我們提出更好的對(duì)齊技術(shù)的新想法。

重要的是，我們認(rèn)為我們經(jīng)常必須在人工智能安全和能力方面共同取得進(jìn)展。分開(kāi)討論它們是錯(cuò)誤的，它們?cè)诤芏喾矫娑际窍嚓P(guān)的。我們最好的安全工作來(lái)自于與我們最有能力的模型合作。也就是說(shuō)，安全進(jìn)程與能力進(jìn)程的同時(shí)成比例提高是很重要的。

再者，我們希望就三個(gè)關(guān)鍵問(wèn)題展開(kāi)全球性對(duì)話：如何管理這些系統(tǒng)，如何公平分配收益，以及如何公平使用。

除了這三個(gè)方面，我們還試圖構(gòu)建一個(gè)架構(gòu)使我們的激勵(lì)與良好的結(jié)果相匹配。在我們的章程中有一項(xiàng)條款是幫助其他組織提高安全性，而不是在AGI開(kāi)發(fā)后期彼此競(jìng)賽。我們對(duì)股東能夠獲得的回報(bào)規(guī)定了一個(gè)上限，這樣我們就不會(huì)受到激勵(lì)，不會(huì)試圖在沒(méi)有上限的情況為了追求高回報(bào)冒著高風(fēng)險(xiǎn)去部署一些可能導(dǎo)致災(zāi)難性危險(xiǎn)的東西（當(dāng)然，這也是一種與社會(huì)分享利益的方式）。我們有一個(gè)非營(yíng)利組織來(lái)管理我們，讓我們?yōu)槿祟?lèi)的利益而運(yùn)作（可以凌駕于任何營(yíng)利性利益之上），包括讓我們?cè)诎踩枰獣r(shí)取消對(duì)股東的股權(quán)義務(wù)，并贊助世界上最全面的UBI實(shí)驗(yàn)。

我們認(rèn)為，在發(fā)布新系統(tǒng)之前，像我們這樣的項(xiàng)目必須接受獨(dú)立審計(jì)，這一點(diǎn)很重要，我們將在今年晚些時(shí)候更詳細(xì)地討論這個(gè)問(wèn)題。在某種程度上，在開(kāi)始訓(xùn)練未來(lái)系統(tǒng)之前進(jìn)行獨(dú)立審查可能是很重要的，并且對(duì)于最先進(jìn)的工作來(lái)說(shuō)，應(yīng)該限制用于創(chuàng)建新模型的計(jì)算機(jī)的增長(zhǎng)速度。我們認(rèn)為關(guān)于AGI工作何時(shí)應(yīng)該停止訓(xùn)練運(yùn)行、確定發(fā)布模型是安全的，或者從生產(chǎn)使用中提取模型的公共標(biāo)準(zhǔn)是重要的。最后，我們認(rèn)為重要的是，世界主要國(guó)家的政府應(yīng)該對(duì)一定規(guī)模以上的模型訓(xùn)練有所掌握。

長(zhǎng)期

我們相信人類(lèi)的未來(lái)應(yīng)由人類(lèi)決定，與公眾分享相關(guān)進(jìn)展至關(guān)重要，應(yīng)對(duì)所有試圖建立AGI的行為進(jìn)行嚴(yán)格審查，并對(duì)重大決策進(jìn)行公眾咨詢。

第一個(gè)AGI僅僅是智能發(fā)展進(jìn)程的一個(gè)點(diǎn)，它會(huì)繼續(xù)進(jìn)步，可能會(huì)在很長(zhǎng)一段時(shí)間保持過(guò)去10年發(fā)展速度。如果這是真的，世界可能會(huì)變得與今天截然不同，風(fēng)險(xiǎn)可能會(huì)非常大。一個(gè)與人類(lèi)相悖的超級(jí)智能可能會(huì)對(duì)世界造成嚴(yán)重的傷害，由超級(jí)智能領(lǐng)導(dǎo)的專制政權(quán)也會(huì)如此。

能夠加速科學(xué)進(jìn)展的人工智能是一個(gè)值得研究的特例，可能比其他任何事情都更有影響力。有能力加速自身進(jìn)程的AGI可能會(huì)導(dǎo)致重大變化出人意料地快速發(fā)生（過(guò)渡初期雖然發(fā)展很慢，到我們認(rèn)為它也會(huì)在最后階段迅速進(jìn)步）。我們認(rèn)為更慢的起航更易保證安全，協(xié)調(diào)所有AGI相關(guān)工作在關(guān)鍵節(jié)點(diǎn)時(shí)減速可能是非常重要的（即使不需要解決技術(shù)與人類(lèi)價(jià)值觀對(duì)齊問(wèn)題，減速可能也是重要的，因?yàn)樯鐣?huì)需要足夠的時(shí)間來(lái)適應(yīng)）。

成功平穩(wěn)過(guò)渡到一個(gè)擁有超級(jí)智能的世界也許是人類(lèi)歷史上最為重要、最充滿希望、也是最可怕的工程。成功遠(yuǎn)不能保證，唯有希望這場(chǎng)豪賭（無(wú)窮的利弊）將全世界人民團(tuán)結(jié)起來(lái)。

我們可以想象這樣一個(gè)世界，在這個(gè)世界里，人類(lèi)的繁榮超乎想象。我們惟愿為世界貢獻(xiàn)與這種繁榮相稱的AGI。

腳注：

1. 基于先前的預(yù)期，我們似乎得到了很多禮物：例如，似乎創(chuàng)建AGI需要大量的計(jì)算，這樣世界就知道誰(shuí)在研究它，像超進(jìn)化的RL代理相互競(jìng)爭(zhēng)這樣的原始概念，以一種我們無(wú)法真正觀察到的方式進(jìn)化出智能的可能性比最初看起來(lái)要小，幾乎無(wú)人預(yù)測(cè)到我們會(huì)在預(yù)先訓(xùn)練的語(yǔ)言模型上取得如此大的進(jìn)展，這些模型可以從人類(lèi)的集體偏好和人性輸出等方面學(xué)習(xí)。

AGI可能在不久的將來(lái)發(fā)生，從初始AGI到更強(qiáng)大的后續(xù)系統(tǒng)的起飛速度可能很慢或更快。我們中的許多人認(rèn)為這個(gè)2乘2矩陣中最安全的象限是短時(shí)間線和緩慢的起飛速度，較短的時(shí)間線似乎更易于協(xié)調(diào)，并且由于計(jì)算力緊缺，更有可能導(dǎo)致起飛速度變慢，而較慢的起飛讓我們有更多時(shí)間憑經(jīng)驗(yàn)弄清楚如何解決安全問(wèn)題以及如何適應(yīng)。?

2. 例如，當(dāng)我們第一次啟動(dòng)OpenAI時(shí)，我們并沒(méi)有想到擴(kuò)展會(huì)像現(xiàn)在這樣重要。當(dāng)我們意識(shí)到這將是至關(guān)重要的時(shí)，我們也意識(shí)到我們?cè)瓉?lái)的架構(gòu)是行不通的——我們根本無(wú)法籌集到足夠的資金來(lái)完成我們作為一個(gè)非營(yíng)利組織的使命——所以我們提出了一個(gè)新的架構(gòu)。

再舉一個(gè)例子，我們現(xiàn)在認(rèn)為我們最初對(duì)開(kāi)放性的看法是錯(cuò)誤的，并且已經(jīng)從認(rèn)為我們應(yīng)該發(fā)布所有內(nèi)容（盡管我們開(kāi)源了一些東西，并期望在未來(lái)開(kāi)源更令人興奮的東西?。┺D(zhuǎn)向認(rèn)為我們應(yīng)該弄清楚如何安全地共享系統(tǒng)的訪問(wèn)和好處。我們?nèi)匀幌嘈派鐣?huì)理解正在發(fā)生的事情的好處是巨大的，并且實(shí)現(xiàn)這種理解是確保所建立的東西是社會(huì)集體想要的最好方法（顯然這里有很多細(xì)微差別和沖突）。

審核編輯：黃飛

?