近年來，人工智能尤其是在機(jī)器學(xué)習(xí)領(lǐng)域中，取得了非常巨大的成就，看似其未來更加光明。然而這些系統(tǒng)仍舊不夠完美，尤其是被應(yīng)用到一些因為些許錯誤就能夠?qū)е氯嗣鼈騼|萬財產(chǎn)損失的行業(yè)中時，這將會存在巨大的風(fēng)險。

這需要我們?nèi)藶閷@些系統(tǒng)進(jìn)行保障，其中包括可驗證性、可靠性、魯棒性、可審計性、可解釋性和無偏性，對此，斯坦福 AI 實驗室對近年來關(guān)于 AI 安全、可靠性的研究進(jìn)展進(jìn)行了總結(jié)，并以文章的形式發(fā)布在博客上。

概述

為了能在一些關(guān)鍵應(yīng)用中使用先進(jìn)的 AI 系統(tǒng)，比如：商用飛機(jī)防撞、金融交易或大規(guī)模發(fā)電廠、化工廠控制等應(yīng)用；我們必須保證這些系統(tǒng)具有可驗證性（以正確的方式對一系列輸入進(jìn)行驗證）、可靠性（即使是新的未見過的輸入，表現(xiàn)能夠與預(yù)期相符）、魯棒性（在應(yīng)用時不易受噪音或特定輸入干擾）、可審計性（當(dāng)做出任何給定的決定時，可檢查其內(nèi)部狀態(tài)）、可解釋性（有條理的，可以確保產(chǎn)生決策的數(shù)據(jù)、場景和假設(shè)都是能夠被解釋清楚的）以及無偏性（不會對某類行為表現(xiàn)出無意識的偏好）。

毫無疑問，這對 AI 系統(tǒng)提出了一系列極為嚴(yán)苛的要求。不過可喜的是，世界上已經(jīng)有一批來自斯坦福人工智能實驗室和斯坦福研究社區(qū)的優(yōu)秀 AI 研究人員（其中包括 Clark Barrett, David Dill, Chelsea Finn, Mykel Kochenderfer, Anshul Kundaje, Percy Liang, Tengyu Ma, Subhasish Mitra, Marco Pavone, Omer Reingold, Dorsa Sadigh 以及 James Zou）正在努力解決這個問題。

本文將介紹一些致力于實現(xiàn)安全可靠的 AI 技術(shù)的研究案例。我們將從中看到新技術(shù)如何理解神經(jīng)網(wǎng)絡(luò)的黑盒子、如何找到和消除偏見，以及如何確保自動化系統(tǒng)的安全性。

理解神經(jīng)網(wǎng)絡(luò)的黑盒子：可驗證性和可解釋性

雖然神經(jīng)網(wǎng)絡(luò)在近年來 AI 領(lǐng)域取得的成就中發(fā)揮了關(guān)鍵作用，但它們依舊只是有限可解釋性的黑盒函數(shù)近似器。即便是試圖將有限訓(xùn)練數(shù)據(jù)泛化到未見過的輸入，它們在小的干擾下也可能失敗，更何況這種做法還會導(dǎo)致難以驗證算法的魯棒性。

讓我們看看當(dāng)前研究工作的兩個案例，它們讓研究者可以檢驗神經(jīng)網(wǎng)絡(luò)的內(nèi)部運作。第一個是關(guān)于可驗證性，第二個則是關(guān)于可解釋性。

深度神經(jīng)網(wǎng)絡(luò)的可驗證性

我們希望確保神經(jīng)網(wǎng)絡(luò)能夠適用于所有可能的情況，但可驗證性在實驗方面超出了現(xiàn)有工具力所能及的范圍。目前，專用工具只能處理非常小的網(wǎng)絡(luò)，例如具有 10-20 個隱藏節(jié)點的單個隱藏層。Katz 等人在論文「Reluplex: An efficient SMT solver for verifying deep neural networks」（論文地址：https://arxiv.org/abs/1702.01135）中提出了 Reluplex，一種用于神經(jīng)網(wǎng)絡(luò)錯誤檢測的新算法。Reluplex 將線性編程技術(shù)與 SMT（可滿足性模塊理論）求解技術(shù)相結(jié)合，其中神經(jīng)網(wǎng)絡(luò)被編碼為線性算術(shù)約束。核心觀點就是避免數(shù)學(xué)邏輯永遠(yuǎn)不會發(fā)生的測試路徑，這允許測試比以前更大的數(shù)量級的神經(jīng)網(wǎng)絡(luò)，例如，每個具有 8 層和 300 個節(jié)點的全連接神經(jīng)網(wǎng)絡(luò)。

Reluplex 可以在一系列輸入上證明神經(jīng)網(wǎng)絡(luò)的屬性。它可以測量對抗魯棒性，換言之，即測量可以產(chǎn)生虛假結(jié)果的最小或閾值對抗性信號。見 Raghunathan 等人的《針對對抗性實例的認(rèn)證防御》（https://openreview.net/pdf?id=Bys4ob-Rb），這是另一個評估對抗魯棒性的案例。

Reluplex 案例研究：無人機(jī)防撞

Reluplex 曾被用來測試 ACAS Xu （https://arxiv.org/abs/1810.04240）早期原型的神經(jīng)網(wǎng)絡(luò)，是一種用于無人機(jī)的機(jī)載防撞系統(tǒng)。如圖所示，該系統(tǒng)考慮了兩架無人機(jī)：一架是由 ACAS Xu 軟件控制的你自己的無人機(jī)「Ownship」，另一架是我們進(jìn)行觀察的無人機(jī)「Intruder」。其目標(biāo)是引導(dǎo)「Ownship」避免與「Intruder」發(fā)生碰撞。

在第一種情況下，要求研究人員展示，如果「Intruder」從左側(cè)接近，那么系統(tǒng)將建議「Ownship」向右急轉(zhuǎn)彎。研究人員使用一定的計算資源在 1.5 小時內(nèi)證明了該網(wǎng)絡(luò)在每種情況下都能正常運行。另一個更為復(fù)雜的情況是 「Intruder」 和 「Ownship」 處于不同海拔高度的情況，此外 「Ownship」 在這之前還接收到了關(guān)于緩慢左轉(zhuǎn)的建議。這說明了在這種系統(tǒng)中可能出現(xiàn)的復(fù)雜性。在這種情況下，網(wǎng)絡(luò)應(yīng)該建議 COC（沒有沖突，即保持當(dāng)前路線）或緩慢左轉(zhuǎn)。研究人員使用適度的計算資源在 11 個小時內(nèi)找到了一個反例，后來又在不同的網(wǎng)絡(luò)中糾正了該反例。

理解模型預(yù)測

我們能解釋為什么神經(jīng)網(wǎng)絡(luò)會做出具體的預(yù)測嗎？這是 Koh 和 Liang 在論文「 Understanding black-box predictions via influence functions」（https://arxiv.org/pdf/1703.04730.pdf）中提出的問題。當(dāng)深度學(xué)習(xí)模型用于決定獲得金融貸款或健康保險的對象以及一些其他應(yīng)用程序時，這一點非常重要。當(dāng)人工智能系統(tǒng)易于理解時，他們可能會做出更好的決策，從而改進(jìn)模型的開發(fā)，得出更重大的發(fā)現(xiàn)，深化我們對 AI 的信任，以及實現(xiàn)更好的發(fā)展。因此，研究人員的方法是對給定預(yù)測結(jié)果最相關(guān)訓(xùn)練節(jié)點的確定。他們的關(guān)鍵點是使用「影響函數(shù)」，通過數(shù)學(xué)來回答這個問題：「如果我們沒有訓(xùn)練節(jié)點，模型的預(yù)測會如何變化？」

在上圖中，如果這只白狗的像素點正是使得該神經(jīng)網(wǎng)絡(luò)將其識別為狗，那么系統(tǒng)就非常合理。換句話說，如果海浪的像素點被識別輸出為「狗」，則該系統(tǒng)易錯率就很高 ——僅具有海浪的其他圖像可能被錯誤地歸類為「狗」。通過正確識別白狗的像素影響比海浪像素更高，我們的系統(tǒng)在處理噪聲時就會表現(xiàn)得更可靠。

尋找和消除偏差

人工智能系統(tǒng)反映出社會偏差一點都不讓人驚訝。Zou 和 Schiebinger 在論文「Design AI so that it’s fair 」（https://www.nature.com/articles/d41586-018-05707-8）中指出偏差可能有兩個來源，即訓(xùn)練數(shù)據(jù)和算法。訓(xùn)練數(shù)據(jù)中的偏差可能是由于某些群體在數(shù)據(jù)庫中占比過高或過低，解決方案是調(diào)查如何策劃訓(xùn)練數(shù)據(jù)。而算法可以放大偏差，因為典型的機(jī)器學(xué)習(xí)程序是試圖最大化整個訓(xùn)練數(shù)據(jù)的整體預(yù)測精度，因此解決方案是研究偏差的傳播和放大方式。

幾何捕獲語義

Bolukbasi 等人在論文「Man is to Computer Programmer as Woman is to Homemaker? Debiasing Word Embeddings」（https://arxiv.org/pdf/1607.06520.pdf）中，使用單詞配對來檢查偏差。例如，考慮這個問題，男人對應(yīng)王，那么女人對應(yīng)什么？任何五歲的孩子都可以回答這個問題，男人是王，那么女人就是女王。研究人員使用 Google 新聞?wù)Z料庫的 Word2Vec 模型回答了單詞配對問題。每個單詞都映射到高維空間中的一個點。單詞之間的關(guān)系由連接這些單詞的向量表示。

單詞嵌入高維空間的二維投影，其中連接女人與女王的向量

與連接男人與王的向量的長度和方向相同

谷歌新聞?wù)Z料庫很龐大，其中許多文章的作者都是專業(yè)記者，因此我們理想的期望是使用這些數(shù)據(jù)訓(xùn)練的模型沒有偏差。然而經(jīng)過片刻的反思，我們意識到這個模型可能會反映社會的偏差，因為它畢竟是對我們社會產(chǎn)生的數(shù)據(jù)進(jìn)行的訓(xùn)練，這正是我們接下來討論的。

讓我們來看看另一個詞配對：「他」對應(yīng)的是「兄弟」，那「她」對應(yīng)著的是什么？同樣，任何五歲的孩子都可以回答說「他」對應(yīng)「兄弟」，那么「她」對應(yīng)「姐妹」。我們有一個良好的開端，但正如你在下圖中看到的那樣，事情開始急速轉(zhuǎn)折。一些單詞配對表現(xiàn)出偏差（「他」對應(yīng)的是「醫(yī)生」，那「她」則對應(yīng)「護(hù)士」；「他」對應(yīng)的是「計算機(jī)程序員」，那「她」則對應(yīng)「家庭主婦」），另外有一些更是奇怪得徹頭徹尾（「她」對應(yīng)著「懷孕」，而「他」竟然對應(yīng)著「腎結(jié)石」）。

研究人員發(fā)現(xiàn)，通過消除性別刻板印象，例如接待員和女性之間的聯(lián)系，同時保留所期望的聯(lián)系，比如女王和女性之間的關(guān)聯(lián)，可以減少性別偏差。為了做到這一點，他們根據(jù)定義區(qū)分了與性別相關(guān)的性別特定詞，如兄弟，姐妹，商人和女商人，以及其余的性別中性詞。在幾何學(xué)上，他們確定了兩個正交維度，即性別特定詞與性別中性詞間的差別。他們的消除偏差算法通過折疊性別中立的方向去除性別中性詞和性別的關(guān)聯(lián)。谷歌，推特，臉書，微軟和其他公司都在使用這種消除方式。

在沒有人群統(tǒng)計的情況下實現(xiàn)公平

Hashimoto 等人在論文「Fairness without demographics in repeated loss minimization」（https://arxiv.org/pdf/1806.08010.pdf）中想搞清楚是否即使我們沒有人群統(tǒng)計信息也有可能開發(fā)公平的系統(tǒng)。其主要問題是少數(shù)群體在最小化平均訓(xùn)練損失方面的代表性較低。由于成本或隱私原因，分組標(biāo)簽可能不可用，或者受保護(hù)的群體可能無法被識別或被知道。當(dāng)前的方法，即經(jīng)驗風(fēng)險最小化，會隨著時間的推移進(jìn)一步縮小輸入數(shù)據(jù)中的少數(shù)群體，而使問題變得更糟。這些研究人員的目標(biāo)是即使在沒有人口統(tǒng)計標(biāo)簽的情況下，保護(hù)所有群體，甚至是少數(shù)群體。所以他們的解決方案是一種基于「分布式穩(wěn)健優(yōu)化」的方法，可以最大限度地減少所有群體的損失。

分布式穩(wěn)健優(yōu)化的目的是控制所有組的最壞情況風(fēng)險。直觀地說，這種方法是加大高損失樣本的比重。相對于整個樣本而言，加大高損失的樣本比重能對具有較少高損失樣本的模型做相應(yīng)的調(diào)整，使得某些分組就不再有不成比例的高誤差了。即少數(shù)群體相關(guān)的數(shù)據(jù)點將默認(rèn)為遭受高損失的數(shù)據(jù)點，因此這種方法可以幫助避免這種情況。

確保安全的自治系統(tǒng)

機(jī)器人，無人機(jī)和自動駕駛車輛需要算法來進(jìn)行安全學(xué)習(xí)、規(guī)劃和操控。當(dāng)系統(tǒng)探索周圍環(huán)境時，他們必須處理它們的行為所造成的結(jié)果、動態(tài)環(huán)境和未知人類交互所存在的不確定性。在以下兩個例子中，研究人員將自主機(jī)器人和人類建模為一個系統(tǒng)。

人機(jī)交互的數(shù)據(jù)驅(qū)動概率建模

Marco Pavone 教授的研究（論文：「Multimodal Probabilistic Model-Based Planning for Human-Robot Interaction」，https://arxiv.org/pdf/1710.09483.pdf），旨在開發(fā)一個決策和控制堆棧，用于在有多種不同行動方案的環(huán)境中進(jìn)行安全的人機(jī)交互。在這案例中，研究人員考慮在進(jìn)出高速公路的匝道上進(jìn)行交織區(qū)交通流測試。他們的方法是首先從車輛交互樣本的數(shù)據(jù)集中學(xué)習(xí)未來人類行為的多模態(tài)概率分布，然后通過從人類對指定機(jī)器人動作序列的回應(yīng)中進(jìn)行大規(guī)模并行采樣來構(gòu)建實時的機(jī)器人策略。該框架不對人類動機(jī)做出任何假設(shè)，這使得它可以對各種人類駕駛行為進(jìn)行建模。

值得注意的是，該模型包括高級別隨機(jī)決策和低級別安全保護(hù)控制?？紤]到人類有時可能會無視機(jī)器人預(yù)測，該框架增加了一個低級別的跟蹤控制器，當(dāng)安全受到威脅時，該控制器將隨機(jī)規(guī)劃者所需軌跡轉(zhuǎn)化為安全保護(hù)控制模式。

安全學(xué)習(xí)人的內(nèi)在狀態(tài)

Dorsa Sadigh （相關(guān)工作論文：「Planning for cars that coordinate with people: leveraging effects on human actions for planning and active information gathering over human internal state」，http://iliad.stanford.edu/pdfs/publications/sadigh2018planning.pdf）和 Mykel Kochenderfer 正在研究通過訓(xùn)練自動駕駛汽車來了解人類駕駛員的內(nèi)在狀態(tài)。他們將自主車輛和人類之間的相互作用建模為動力系統(tǒng)來實現(xiàn)這一點。當(dāng)然，這項研究中，自動駕駛汽車的動作采用直接控制的方式，但這些動作會影響人類的行為，因此也可以間接控制人類的行為。

想象一下，你正試圖在擁擠的高速公路上變道。在觀察其他駕駛員的反應(yīng)時，你可能會從當(dāng)前車道緩慢進(jìn)入新車道。如果另一個駕駛員減速并打開一個間隙，那么你繼續(xù)換道，但如果另一個駕駛員加速并阻擋你，那么你將返回你的車道并稍后再試。曾經(jīng)常用的方法大體是通過讓機(jī)器人最大化其自身獎勵函數(shù)，但現(xiàn)在這個獎勵函數(shù)可以直接取決于人類做出的響應(yīng)。由于司機(jī)對其他司機(jī)的行為做出回應(yīng)，我們有機(jī)會進(jìn)行積極的信息收集。

未來

在不久的將來，我們將享受安全可靠的人工智能系統(tǒng)，這些系統(tǒng)具有可驗證性、可審計性、可解釋性、無偏差性和魯棒性。正如斯坦福大學(xué)人工智能實驗室以及其他實驗室的研究正在提供創(chuàng)新的技術(shù)解決方案，使得這些美好的期愿成為可能。

但光靠技術(shù)解決方案還不夠，成功還需要對這些解決方案謹(jǐn)慎的實施，并引入社會意識，以確定我們希望在這些系統(tǒng)中加入哪些參數(shù)。最近，我們看到以人為本的人工智能方法的興起，考慮了人為因素和社會影響，這讓我們看到：即使對于文化迥異的用戶和各種意外情況，這些方法都將賦予人工智能系統(tǒng)以安全、可靠和合理的工作方式！