在前面的部分中，我們完成了機器學(xué)習(xí)的一些實踐應(yīng)用，將模型擬合到各種數(shù)據(jù)集。然而，我們從未停下來思考數(shù)據(jù)最初來自何處，或者我們最終計劃如何處理模型的輸出。很多時候，擁有數(shù)據(jù)的機器學(xué)習(xí)開發(fā)人員急于開發(fā)模型而沒有停下來考慮這些基本問題。

許多失敗的機器學(xué)習(xí)部署都可以追溯到這種模式。有時，根據(jù)測試集的準(zhǔn)確性衡量，模型似乎表現(xiàn)出色，但當(dāng)數(shù)據(jù)分布突然發(fā)生變化時，部署就會出現(xiàn)災(zāi)難性的失敗。更陰險的是，有時模型的部署本身就是擾亂數(shù)據(jù)分布的催化劑。舉例來說，我們訓(xùn)練了一個模型來預(yù)測誰將償還貸款與違約貸款，發(fā)現(xiàn)申請人選擇的鞋類與違約風(fēng)險相關(guān)（牛津鞋表示還款，運動鞋表示違約）。此后，我們可能傾向于向所有穿著牛津鞋的申請人提供貸款，而拒絕所有穿著運動鞋的申請人。

在這種情況下，我們從模式識別到?jīng)Q策制定的考慮不周的飛躍以及我們未能批判性地考慮環(huán)境可能會產(chǎn)生災(zāi)難性的后果。首先，一旦我們開始根據(jù)鞋類做出決定，客戶就會了解并改變他們的行為。不久之后，所有的申請者都會穿著牛津鞋，而信用度卻沒有任何同步提高?；ㄒ稽c時間來消化一下，因為類似的問題在機器學(xué)習(xí)的許多應(yīng)用中比比皆是：通過將我們基于模型的決策引入環(huán)境，我們可能會破壞模型。

雖然我們不可能在一個部分中對這些主題進行完整的處理，但我們的目的是在此揭露一些常見的問題，并激發(fā)早期發(fā)現(xiàn)這些情況、減輕損害和負責(zé)任地使用機器學(xué)習(xí)所需的批判性思維。有些解決方案很簡單（要求“正確的”數(shù)據(jù)），有些在技術(shù)上很困難（實施強化學(xué)習(xí)系統(tǒng)），而另一些則需要我們完全走出統(tǒng)計預(yù)測的領(lǐng)域，解決有關(guān)倫理的哲學(xué)難題算法的應(yīng)用。

4.7.1. 分配轉(zhuǎn)移的類型

首先，考慮到數(shù)據(jù)分布可能發(fā)生變化的各種方式以及可以采取哪些措施來挽救模型性能，我們堅持使用被動預(yù)測設(shè)置。在一個經(jīng)典設(shè)置中，我們假設(shè)我們的訓(xùn)練數(shù)據(jù)是從某個分布中采樣的 pS(x,y)但是我們的測試數(shù)據(jù)將由來自不同分布的未標(biāo)記示例組成 pT(x,y). 我們已經(jīng)必須面對一個發(fā)人深省的現(xiàn)實。沒有關(guān)于如何做的任何假設(shè)pS和pT相互關(guān)聯(lián)，學(xué)習(xí)一個魯棒的分類器是不可能的。

考慮一個二元分類問題，我們希望區(qū)分狗和貓。如果分布可以以任意方式移動，那么我們的設(shè)置允許輸入分布保持不變的病態(tài)情況：pS(x)=pT(x)，但標(biāo)簽都被翻轉(zhuǎn)了： pS(y∣x)=1?pT(y∣x). 換句話說，如果上帝可以突然決定未來所有的“貓”現(xiàn)在都是狗，而我們以前所說的“狗”現(xiàn)在是貓——投入的分配沒有任何變化p(x)，那么我們就不可能將這種設(shè)置與分布根本沒有改變的設(shè)置區(qū)分開來。

幸運的是，在對我們的數(shù)據(jù)未來可能發(fā)生變化的方式的一些限制性假設(shè)下，有原則的算法可以檢測到變化，有時甚至可以即時適應(yīng)，從而提高原始分類器的準(zhǔn)確性。

4.7.1.1. 協(xié)變量偏移

在分布偏移的類別中，協(xié)變量偏移可能是研究最廣泛的。在這里，我們假設(shè)雖然輸入的分布可能會隨時間變化，但標(biāo)簽函數(shù)，即條件分布P(y∣x)沒有改變。統(tǒng)計學(xué)家將此稱為協(xié)變量偏移，因為問題是由于協(xié)變量（特征）分布的偏移而產(chǎn)生的。雖然我們有時可以在不調(diào)用因果關(guān)系的情況下推理分布偏移，但我們注意到協(xié)變量偏移是在我們認(rèn)為的設(shè)置中調(diào)用的自然假設(shè)x原因y.

考慮區(qū)分貓和狗的挑戰(zhàn)。我們的訓(xùn)練數(shù)據(jù)可能包含圖 4.7.1中的那種圖像 。

在測試時，我們被要求對圖 4.7.2中的圖像進行分類 。

訓(xùn)練集包含照片，而測試集僅包含卡通。如果沒有關(guān)于如何適應(yīng)新領(lǐng)域的連貫計劃，在??與測試集具有顯著不同特征的數(shù)據(jù)集上進行訓(xùn)練可能會帶來麻煩。

4.7.1.2. 標(biāo)簽轉(zhuǎn)移

標(biāo)簽移位描述了相反的問題。在這里，我們假設(shè)標(biāo)簽邊緣P(y)可以改變但類條件分布P(x∣y)跨域保持固定。當(dāng)我們相信 y原因x. 例如，我們可能希望根據(jù)癥狀（或其他表現(xiàn)）來預(yù)測診斷，即使診斷的相對流行率隨時間而變化。標(biāo)簽轉(zhuǎn)移在這里是合適的假設(shè)，因為疾病會引起癥狀。在一些退化的情況下，標(biāo)簽偏移和協(xié)變量偏移假設(shè)可以同時成立。例如，當(dāng)標(biāo)簽是確定性的時，協(xié)變量偏移假設(shè)將得到滿足，即使y原因 x. 有趣的是，在這些情況下，使用源自標(biāo)簽轉(zhuǎn)移假設(shè)的方法通常是有利的。這是因為這些方法往往涉及操縱看起來像標(biāo)簽（通常是低維）的對象，而不是看起來像輸入的對象，后者在深度學(xué)習(xí)中往往是高維的。

4.7.1.3. 概念轉(zhuǎn)變

我們可能還會遇到概念轉(zhuǎn)換的相關(guān)問題，當(dāng)標(biāo)簽的定義可能發(fā)生變化時就會出現(xiàn)這種情況。這聽起來很奇怪——貓就是貓，不是嗎？但是，隨著時間的推移，其他類別的使用情況可能會發(fā)生變化。精神疾病的診斷標(biāo)準(zhǔn)、流行的標(biāo)準(zhǔn)和工作頭銜，都受到相當(dāng)大的概念轉(zhuǎn)變的影響。事實證明，如果我們環(huán)游美國，按地域轉(zhuǎn)移數(shù)據(jù)源，我們會發(fā)現(xiàn)關(guān)于軟飲料名稱分布的相當(dāng)大的概念轉(zhuǎn)變， 如圖4.7.3所示。

如果我們要構(gòu)建一個機器翻譯系統(tǒng)，分發(fā) P(y∣x)根據(jù)我們的位置可能會有所不同。這個問題可能很難發(fā)現(xiàn)。我們可能希望利用這樣的知識，即轉(zhuǎn)移只會在時間或地理意義上逐漸發(fā)生。

4.7.2. 分配轉(zhuǎn)移的例子

在深入研究形式主義和算法之前，我們可以討論一些協(xié)變量或概念轉(zhuǎn)移可能不明顯的具體情況。

4.7.2.1. 醫(yī)療診斷

想象一下，您想設(shè)計一種算法來檢測癌癥。你從健康人和病人那里收集數(shù)據(jù)，然后訓(xùn)練你的算法。它運行良好，為您提供高精度，您得出結(jié)論，您已準(zhǔn)備好在醫(yī)療診斷領(lǐng)域取得成功。沒那么快。

產(chǎn)生訓(xùn)練數(shù)據(jù)的分布與您將在野外遇到的分布可能有很大差異。這發(fā)生在我們中的一些人（作者）多年前合作過的一家不幸的初創(chuàng)公司身上。他們正在開發(fā)一種主要影響老年男性的疾病的血液測試，并希望使用他們從患者身上收集的血液樣本來研究它。然而，從健康男性身上獲取血液樣本比系統(tǒng)中已經(jīng)存在的病人要困難得多。作為補償，這家初創(chuàng)公司向大學(xué)校園的學(xué)生征集獻血，作為開發(fā)測試的健康對照。然后他們問我們是否可以幫助他們建立一個分類器來檢測這種疾病。

正如我們向他們解釋的那樣，以近乎完美的準(zhǔn)確度區(qū)分健康人群和患病人群確實很容易。然而，這是因為測試對象在年齡、激素水平、體力活動、飲食、飲酒量以及許多與疾病無關(guān)的因素方面存在差異。真實患者不太可能出現(xiàn)這種情況。由于他們的抽樣程序，我們可能會遇到極端的協(xié)變量偏移。此外，這種情況不太可能通過傳統(tǒng)方法糾正。簡而言之，他們浪費了一大筆錢。

4.7.2.2. 自動駕駛汽車

假設(shè)一家公司想要利用機器學(xué)習(xí)來開發(fā)自動駕駛汽車。這里的一個關(guān)鍵組件是路邊檢測器。由于獲得真正的帶注釋數(shù)據(jù)的成本很高，因此他們有一個（聰明但值得懷疑的）想法，即使用來自游戲渲染引擎的合成數(shù)據(jù)作為額外的訓(xùn)練數(shù)據(jù)。這對從渲染引擎中提取的“測試數(shù)據(jù)”非常有效。唉，在一輛真正的汽車?yán)铮@是一場災(zāi)難。事實證明，路邊的紋理非常簡單。更重要的是，所有的路邊都被渲染成 相同的紋理，路邊檢測器很快就了解了這個“特征”。

當(dāng)美軍第一次嘗試在森林中探測坦克時，類似的事情也發(fā)生了。他們航拍了沒有坦克的森林，然后把坦克開進森林里，又拍了一組照片。分類器似乎工作得很好。不幸的是，它只是學(xué)會了如何區(qū)分有陰影的樹和沒有陰影的樹——第一組照片是清晨拍攝的，第二組是中午拍攝的。

4.7.2.3. 非平穩(wěn)分布

當(dāng)分布變化緩慢（也稱為非平穩(wěn)分布）并且模型未充分更新時，會出現(xiàn)更微妙的情況。以下是一些典型案例。

我們訓(xùn)練了一個計算廣告模型，然后未能經(jīng)常更新它（例如，我們忘記將剛剛推出的一款不起眼的新設(shè)備 iPad 納入其中）。

我們建立了一個垃圾郵件過濾器。它可以很好地檢測我們目前看到的所有垃圾郵件。但隨后垃圾郵件發(fā)送者變得聰明起來，制作了看起來與我們以前見過的任何東西都不一樣的新消息。

我們建立了一個產(chǎn)品推薦系統(tǒng)。它在整個冬天都有效，但在圣誕節(jié)后很長一段時間內(nèi)繼續(xù)推薦圣誕老人的帽子。

4.7.2.4. 更多軼事

我們構(gòu)建了一個人臉檢測器。它適用于所有基準(zhǔn)測試。不幸的是，它在測試數(shù)據(jù)上失敗了——令人反感的例子是臉部填滿整個圖像的特寫鏡頭（訓(xùn)練集中沒有這樣的數(shù)據(jù)）。

我們?yōu)槊绹袌鰳?gòu)建了一個網(wǎng)絡(luò)搜索引擎，并希望將其部署在英國。

我們通過編譯一個大型數(shù)據(jù)集來訓(xùn)練圖像分類器，其中大量類別中的每個類別在數(shù)據(jù)集中均等表示，例如 1000 個類別，每個類別由 1000 張圖像表示。然后我們將系統(tǒng)部署到現(xiàn)實世界中，照片的實際標(biāo)簽分布顯然是不均勻的。

4.7.3. 分布偏移的校正

正如我們所討論的，在許多情況下，訓(xùn)練和測試分布P(x,y)是不同的。在某些情況下，我們很幸運，盡管存在協(xié)變量、標(biāo)簽或概念轉(zhuǎn)變，但模型仍然有效。在其他情況下，我們可以通過采用有原則的策略來應(yīng)對這種轉(zhuǎn)變來做得更好。本節(jié)的其余部分變得更加技術(shù)化。不耐煩的讀者可以繼續(xù)閱讀下一節(jié)，因為該材料不是后續(xù)概念的先決條件。

4.7.3.1. 經(jīng)驗風(fēng)險和風(fēng)險

讓我們首先反思模型訓(xùn)練期間到底發(fā)生了什么：我們迭代訓(xùn)練數(shù)據(jù)的特征和相關(guān)標(biāo)簽{(x1,y1),…,(xn,yn)}并更新模型的參數(shù)f在每個小批量之后。為簡單起見，我們不考慮正則化，因此我們在很大程度上減少了訓(xùn)練的損失：

(4.7.1)minimizef?1n∑i=1nl(f(xi),yi),

在哪里l是衡量預(yù)測“有多糟糕”的損失函數(shù) f(xi)被賦予相關(guān)標(biāo)簽yi. 統(tǒng)計學(xué)家將(4.7.1) 中的術(shù)語稱為經(jīng)驗風(fēng)險。經(jīng)驗風(fēng)險是訓(xùn)練數(shù)據(jù)的平均損失，以近似于風(fēng)險，這是對從真實分布中提取的整個數(shù)據(jù)群的損失的期望。p(x,y):

(4.7.2)Ep(x,y)[l(f(x),y)]=∫∫l(f(x),y)p(x,y)dxdy.

然而，在實踐中，我們通常無法獲得全部數(shù)據(jù)。因此，經(jīng)驗風(fēng)險最小化，即最小化(4.7.1)中的經(jīng)驗風(fēng)險，是機器學(xué)習(xí)的一種實用策略，希望能夠近似地最小化風(fēng)險。

4.7.3.2. 協(xié)變量偏移校正

假設(shè)我們要估計一些依賴 P(y∣x)我們?yōu)槠錁?biāo)記了數(shù)據(jù) (xi,yi). 不幸的是，觀察 xi是從一些源分布中提取的 q(x)而不是目標(biāo)分布 p(x). 幸運的是，依賴假設(shè)意味著條件分布不會改變： p(y∣x)=q(y∣x). 如果源分發(fā)q(x)是“錯誤的”，我們可以通過在風(fēng)險中使用以下簡單標(biāo)識來糾正它：

(4.7.3)∫∫l(f(x),y)p(y∣x)p(x)dxdy=∫∫l(f(x),y)q(y∣x)q(x)p(x)q(x)dxdy.

換句話說，我們需要根據(jù)從正確分布中提取數(shù)據(jù)的概率與從錯誤分布中提取數(shù)據(jù)的概率之比來重新權(quán)衡每個數(shù)據(jù)示例：

(4.7.4)βi=defp(xi)q(xi).

插入重量βi對于每個數(shù)據(jù)示例 (xi,yi)我們可以使用加權(quán)經(jīng)驗風(fēng)險最小化來訓(xùn)練我們的模型：

(4.7.5)minimizef?1n∑i=1nβil(f(xi),yi).

唉，我們不知道那個比率，所以在我們做任何有用的事情之前，我們需要估計它。許多方法都可用，包括一些奇特的算子理論方法，這些方法試圖直接使用最小范數(shù)或最大熵原理重新校準(zhǔn)期望算子。請注意，對于任何此類方法，我們都需要從兩個分布中抽取樣本——“真實”p，例如，通過訪問測試數(shù)據(jù)，以及用于生成訓(xùn)練集的數(shù)據(jù)q（后者很容易獲得）。但是請注意，我們只需要功能 x～p(x); 我們不需要訪問標(biāo)簽 y～p(y).

在這種情況下，存在一種非常有效的方法，其結(jié)果幾乎與原始方法一樣好：邏輯回歸，它是用于二元分類的 softmax 回歸（參見第 4.1 節(jié)）的特例。這就是計算估計概率比所需的全部內(nèi)容。我們學(xué)習(xí)了一個分類器來區(qū)分從中提取的數(shù)據(jù)p(x)和從中提取的數(shù)據(jù) q(x). 如果無法區(qū)分這兩個分布，則意味著相關(guān)實例同樣可能來自這兩個分布中的任何一個。另一方面，任何可以被很好區(qū)分的實例都應(yīng)該相應(yīng)地被顯著地高估或低估。

為了簡單起見，假設(shè)我們有來自兩個分布的相同數(shù)量的實例p(x)和q(x)， 分別。現(xiàn)在表示為z標(biāo)簽是1對于從中提取的數(shù)據(jù)p和?1對于從中提取的數(shù)據(jù)q. 那么混合數(shù)據(jù)集中的概率由下式給出

(4.7.6)P(z=1∣x)=p(x)p(x)+q(x)and henceP(z=1∣x)P(z=?1∣x)=p(x)q(x).

因此，如果我們使用邏輯回歸方法，其中 P(z=1∣x)=11+exp?(?h(x)) (h是參數(shù)化函數(shù)），因此

(4.7.7)βi=1/(1+exp?(?h(xi)))exp?(?h(xi))/(1+exp?(?h(xi)))=exp?(h(xi)).

因此，我們需要解決兩個問題：第一個是區(qū)分從兩個分布中提取的數(shù)據(jù)，然后是 ( 4.7.5)中的加權(quán)經(jīng)驗風(fēng)險最小化問題，我們通過 βi.

現(xiàn)在我們準(zhǔn)備好描述一個校正算法。假設(shè)我們有一個訓(xùn)練集 {(x1,y1),…,(xn,yn)}和未標(biāo)記的測試集{u1,…,um}. 對于協(xié)變量偏移，我們假設(shè)xi對全部 1≤i≤n是從一些源分布中提取的，并且 ui對全部1≤i≤m從目標(biāo)分布中提取。這是校正協(xié)變量偏移的原型算法：

生成二元分類訓(xùn)練集： {(x1,?1),…,(xn,?1),(u1,1),…,(um,1)}.

使用邏輯回歸訓(xùn)練二元分類器以獲得函數(shù) h.

使用權(quán)衡訓(xùn)練數(shù)據(jù)βi=exp?(h(xi))或更好βi=min(exp?(h(xi)),c)對于一些常數(shù)c.

使用權(quán)重βi用于培訓(xùn) {(x1,y1),…,(xn,yn)}在 (4.7.5)中。

請注意，上述算法依賴于一個關(guān)鍵假設(shè)。為了使該方案起作用，我們需要目標(biāo)（例如，測試時間）分布中的每個數(shù)據(jù)示例在訓(xùn)練時出現(xiàn)的概率非零。如果我們找到一個點p(x)>0但 q(x)=0，那么對應(yīng)的重要性權(quán)重應(yīng)該是無窮大。

4.7.3.3. 標(biāo)簽偏移校正

假設(shè)我們正在處理分類任務(wù)k 類別。在第 4.7.3.2 節(jié)中使用相同的符號 ，q和p 分別是源分布（例如，訓(xùn)練時間）和目標(biāo)分布（例如，測試時間）。假設(shè)標(biāo)簽的分布隨時間變化：q(y)≠p(y)，但類條件分布保持不變： q(x∣y)=p(x∣y). 如果源分發(fā)q(y)是“錯誤的”，我們可以根據(jù) （4.7.2）中定義的風(fēng)險中的以下恒等式進行更正：

(4.7.8)∫∫l(f(x),y)p(x∣y)p(y)dxdy=∫∫l(f(x),y)q(x∣y)q(y)p(y)q(y)dxdy.

在這里，我們的重要性權(quán)重將對應(yīng)于標(biāo)簽似然比

(4.7.9)βi=defp(yi)q(yi).

標(biāo)簽偏移的一個好處是，如果我們在源分布上有一個相當(dāng)好的模型，那么我們就可以得到這些權(quán)重的一致估計，而無需處理環(huán)境維度。在深度學(xué)習(xí)中，輸入往往是圖像等高維對象，而標(biāo)簽通常是類別等更簡單的對象。

為了估計目標(biāo)標(biāo)簽分布，我們首先使用我們相當(dāng)好的現(xiàn)成分類器（通常在訓(xùn)練數(shù)據(jù)上訓(xùn)練）并使用驗證集（也來自訓(xùn)練分布）計算其混淆矩陣?；煜仃?C, 只是一個k×k矩陣，其中每一列對應(yīng)于標(biāo)簽類別（基本事實），每一行對應(yīng)于我們模型的預(yù)測類別。每個單元格的值cij是真實標(biāo)簽在驗證集上的總預(yù)測的分?jǐn)?shù) j我們的模型預(yù)測i.

現(xiàn)在，我們無法直接計算目標(biāo)數(shù)據(jù)的混淆矩陣，因為我們看不到我們在野外看到的示例的標(biāo)簽，除非我們投資復(fù)雜的實時注釋管道。然而，我們可以做的是在測試時對我們所有的模型預(yù)測進行平均，從而產(chǎn)生平均模型輸出 μ(y^)∈Rk，誰的 ith元素μ(y^i)是我們的模型預(yù)測的測試集上總預(yù)測的分?jǐn)?shù)i.

事實證明，在一些溫和的條件下——如果我們的分類器一開始就相當(dāng)準(zhǔn)確，如果目標(biāo)數(shù)據(jù)只包含我們之前見過的類別，如果標(biāo)簽轉(zhuǎn)移假設(shè)首先成立（這里最強的假設(shè)), 然后我們可以通過求解一個簡單的線性系統(tǒng)來估計測試集標(biāo)簽分布

(4.7.10)Cp(y)=μ(y^),

因為作為估計 ∑j=1kcijp(yj)=μ(y^i)對所有人都成立 1≤i≤k， 在哪里p(yj)是個 jth的元素k維標(biāo)簽分布向量p(y). 如果我們的分類器一開始就足夠準(zhǔn)確，那么混淆矩陣 C將是可逆的，我們得到一個解決方案 p(y)=C?1μ(y^).

因為我們觀察源數(shù)據(jù)上的標(biāo)簽，所以很容易估計分布q(y). 然后對于任何訓(xùn)練示例i 帶標(biāo)簽yi，我們可以采用我們估計的比率 p(yi)/q(yi)計算重量βi，并將其代入 (4.7.5)中的加權(quán)經(jīng)驗風(fēng)險最小化。

4.7.3.4. 概念轉(zhuǎn)變修正

概念轉(zhuǎn)變很難以有原則的方式解決。例如，在問題突然從區(qū)分貓和狗變成區(qū)分白色和黑色動物的情況下，假設(shè)我們可以做得比僅僅收集新標(biāo)簽和從頭開始訓(xùn)練好得多是不合理的。幸運的是，在實踐中，這種極端的轉(zhuǎn)變很少見。相反，通常發(fā)生的是任務(wù)不斷緩慢變化。為了使事情更具體，這里有一些例子：

在計算廣告中，推出新產(chǎn)品，舊產(chǎn)品變得不那么受歡迎。這意味著廣告的分布及其受歡迎程度逐漸變化，任何點擊率預(yù)測指標(biāo)都需要隨之逐漸變化。

交通攝像機鏡頭由于環(huán)境磨損而逐漸退化，逐漸影響圖像質(zhì)量。

新聞內(nèi)容逐漸變化（即大部分新聞保持不變，但出現(xiàn)新故事）。

在這種情況下，我們可以使用與訓(xùn)練網(wǎng)絡(luò)相同的方法來使它們適應(yīng)數(shù)據(jù)的變化。換句話說，我們使用現(xiàn)有的網(wǎng)絡(luò)權(quán)重并簡單地使用新數(shù)據(jù)執(zhí)行一些更新步驟，而不是從頭開始訓(xùn)練。

4.7.4. 學(xué)習(xí)問題的分類

有了關(guān)于如何處理分布變化的知識，我們現(xiàn)在可以考慮機器學(xué)習(xí)問題公式化的其他方面。

4.7.4.1. 批量學(xué)習(xí)

在批量學(xué)習(xí)中，我們可以訪問訓(xùn)練特征和標(biāo)簽 {(x1,y1),…,(xn,yn)}，我們用它來訓(xùn)練模型f(x). 稍后，我們部署此模型來對新數(shù)據(jù)進行評分(x,y)從同一個分布中抽取。這是我們在此討論的任何問題的默認(rèn)假設(shè)。例如，我們可能會根據(jù)大量貓狗圖片來訓(xùn)練貓檢測器。一旦我們對其進行了訓(xùn)練，我們就會將其作為智能貓門計算機視覺系統(tǒng)的一部分進行運送，該系統(tǒng)只允許貓進入。然后將其安裝在客戶家中并且永遠不會再次更新（除非出現(xiàn)極端情況）。

4.7.4.2. 在線學(xué)習(xí)

現(xiàn)在假設(shè)數(shù)據(jù)(xi,yi)一次到達一個樣品。更具體地說，假設(shè)我們首先觀察 xi, 然后我們需要估計 f(xi)只有當(dāng)我們這樣做了，我們才會觀察到 yi有了它，我們會根據(jù)自己的決定獲得獎勵或蒙受損失。許多實際問題都屬于這一類。例如，我們需要預(yù)測明天的股票價格，這允許我們根據(jù)該估計進行交易，并在一天結(jié)束時發(fā)現(xiàn)我們的估計是否允許我們獲利。換句話說，在在線學(xué)習(xí)中，我們有以下循環(huán)，我們根據(jù)新觀察不斷改進我們的模型：

(4.7.11)modelft?dataxt?estimateft(xt)?observationyt?lossl(yt,ft(xt))?modelft+1

4.7.4.3. 土匪

Bandits是上述問題的特例。雖然在大多數(shù)學(xué)習(xí)問題中我們有一個連續(xù)參數(shù)化的函數(shù)f 在我們想要學(xué)習(xí)它的參數(shù)（例如，深度網(wǎng)絡(luò)）的地方，在 老虎機問題中，我們只有有限數(shù)量的手臂可以拉動，即我們可以采取的有限數(shù)量的行動。對于這個更簡單的問題，可以在最優(yōu)性方面獲得更強的理論保證，這并不奇怪。我們列出它主要是因為這個問題經(jīng)常（令人困惑地）被視為一個獨特的學(xué)習(xí)環(huán)境。

4.7.4.4?？刂?/p>

在許多情況下，環(huán)境會記住我們的所作所為。不一定以敵對的方式，但它只會記住并且響應(yīng)將取決于之前發(fā)生的事情。例如，咖啡鍋爐控制器將根據(jù)之前是否加熱鍋爐來觀察不同的溫度。PID（比例-積分-微分）控制器算法在那里是一種流行的選擇。同樣，用戶在新聞?wù)军c上的行為將取決于我們之前向他展示的內(nèi)容（例如，他只會閱讀大部分新聞一次）。許多這樣的算法形成了它們所處環(huán)境的模型，從而使它們的決策看起來不那么隨機。最近，控制理論（例如，PID 變體）也被用于自動調(diào)整超參數(shù)以實現(xiàn)更好的解纏結(jié)和重建質(zhì)量， ( Shao et al. , 2020 )。

4.7.4.5。強化學(xué)習(xí)

在具有記憶的環(huán)境的更一般情況下，我們可能會遇到環(huán)境試圖與我們合作的情況（合作游戲，特別是非零和游戲），或者環(huán)境試圖取勝的其他情況。國際象棋、圍棋、西洋雙陸棋或星際爭霸是強化學(xué)習(xí)中的一些案例。同樣，我們可能想為自動駕駛汽車構(gòu)建一個好的控制器。其他汽車可能會以非平凡的方式對自動駕駛汽車的駕駛方式做出反應(yīng)，例如，試圖避開它、試圖造成事故以及試圖與其合作。

4.7.4.6. 考慮環(huán)境

上述不同情況之間的一個關(guān)鍵區(qū)別是，在靜止環(huán)境中可能始終有效的相同策略，在環(huán)境可以適應(yīng)時可能無法始終有效。例如，交易者發(fā)現(xiàn)的套利機會一旦開始利用就很可能消失。環(huán)境變化的速度和方式在很大程度上決定了我們可以采用的算法類型。例如，如果我們知道事情可能只會緩慢變化，我們就可以強制任何估計也只能緩慢變化。如果我們知道環(huán)境可能會瞬間發(fā)生變化，但發(fā)生的頻率非常低，那么我們就可以考慮到這一點。這些類型的知識對于有抱負的數(shù)據(jù)科學(xué)家處理概念轉(zhuǎn)變至關(guān)重要，即

4.7.5. 機器學(xué)習(xí)中的公平性、問責(zé)制和透明度

最后，重要的是要記住，當(dāng)您部署機器學(xué)習(xí)系統(tǒng)時，您不僅僅是在優(yōu)化一個預(yù)測模型——您通常是在提供一個將用于（部分或全部）自動化決策的工具。這些技術(shù)系統(tǒng)可能會影響受最終決策影響的個人的生活。從考慮預(yù)測到?jīng)Q策的飛躍不僅提出了新的技術(shù)問題，而且還提出了一系列必須仔細考慮的倫理問題。如果我們要部署醫(yī)療診斷系統(tǒng)，我們需要知道它可能適用于哪些人群，哪些可能無效。忽視亞人群福利的可預(yù)見風(fēng)險可能導(dǎo)致我們提供低劣的護理。此外，一旦我們考慮決策系統(tǒng)，我們就必須退后一步，重新考慮我們?nèi)绾卧u估我們的技術(shù)。準(zhǔn)確性很少是正確的衡量標(biāo)準(zhǔn)。例如，在將預(yù)測轉(zhuǎn)化為行動時，我們通常會考慮以各種方式犯錯的潛在成本敏感性。如果將圖像錯誤分類的一種方法可以被視為種族花招，而將錯誤分類到不同類別是無害的，那么我們可能希望相應(yīng)地調(diào)整我們的閾值，在設(shè)計決策協(xié)議時考慮到社會價值觀。我們還希望注意預(yù)測系統(tǒng)如何導(dǎo)致反饋循環(huán)。例如，考慮預(yù)測性警務(wù)系統(tǒng)，它將巡邏人員分配到預(yù)測犯罪率高的地區(qū)。很容易看出令人擔(dān)憂的模式是如何出現(xiàn)的：

犯罪率較高的社區(qū)需要更多的巡邏。

因此，在這些街區(qū)發(fā)現(xiàn)了更多的犯罪活動，輸入了可用于未來迭代的訓(xùn)練數(shù)據(jù)。

暴露于更多的積極因素，該模型預(yù)測這些街區(qū)的犯罪率更高。

在下一次迭代中，更新后的模型更嚴(yán)重地針對同一社區(qū)，導(dǎo)致發(fā)現(xiàn)更多的犯罪活動，等等。

通常，模型的預(yù)測與其訓(xùn)練數(shù)據(jù)耦合的各種機制在建模過程中未被考慮在內(nèi)。這會導(dǎo)致研究人員稱之為失控的反饋回路。此外，我們要注意我們是否首先解決了正確的問題。預(yù)測算法現(xiàn)在在調(diào)節(jié)信息傳播方面發(fā)揮著巨大作用。個人遇到的新聞是否應(yīng)該由他們點贊的Facebook 頁面集決定？這些只是您在機器學(xué)習(xí)職業(yè)中可能遇到的許多緊迫的道德困境中的一小部分。

4.7.6. 概括

在許多情況下，訓(xùn)練集和測試集并不來自同一個分布。這稱為分配轉(zhuǎn)移。風(fēng)險是對從真實分布中提取的整個數(shù)據(jù)群的損失的預(yù)期。然而，這整個人口通常是不可用的。經(jīng)驗風(fēng)險是訓(xùn)練數(shù)據(jù)的平均損失以近似風(fēng)險。在實踐中，我們執(zhí)行經(jīng)驗風(fēng)險最小化。

在相應(yīng)的假設(shè)下，可以在測試時檢測和校正協(xié)變量和標(biāo)簽偏移。如果不考慮這種偏差，在測試時可能會出現(xiàn)問題。在某些情況下，環(huán)境可能會記住自動操作并以令人驚訝的方式做出響應(yīng)。我們必須在構(gòu)建模型時考慮到這種可能性，并繼續(xù)監(jiān)控實時系統(tǒng)，對我們的模型和環(huán)境以意想不到的方式糾纏在一起的可能性持開放態(tài)度。

4.7.7. 練習(xí)

當(dāng)我們改變搜索引擎的行為時會發(fā)生什么？用戶可能會做什么？廣告商呢？

實施協(xié)變量移位檢測器。提示：建立一個分類器。

實施協(xié)變量偏移校正器。

除了分布轉(zhuǎn)移，還有什么會影響經(jīng)驗風(fēng)險如何近似風(fēng)險？

Discussions