我們解決了算法公平性的問(wèn)題:確保分類(lèi)器的結(jié)果不會(huì)偏向于敏感的變量值，比如年齡、種族或性別。由于一般的公平性度量可以表示為變量之間(條件)獨(dú)立性的度量，我們提出使用Renyi最大相關(guān)系數(shù)將公平性度量推廣到連續(xù)變量。我們利用Witsenhausen關(guān)于Renyi相關(guān)系數(shù)的角色塑造，提出了一個(gè)鏈接到f-區(qū)別的可微實(shí)現(xiàn)。這使得我們可以通過(guò)使用一個(gè)限制這個(gè)系數(shù)上限的懲罰，將公平意識(shí)學(xué)習(xí)推廣到連續(xù)變量學(xué)習(xí)。這些理論允許公平擴(kuò)展到變量，如混合種族群體或沒(méi)有閾值效應(yīng)的金融社會(huì)地位。這種懲罰可以通過(guò)允許使用深度網(wǎng)絡(luò)的小批量生產(chǎn)來(lái)估計(jì)。實(shí)驗(yàn)結(jié)果表明，二進(jìn)制變量的最新研究成果令人滿(mǎn)意，并證明了保護(hù)連續(xù)變量的能力。

1. 介紹

隨著人工智能工具在社會(huì)中的普及，確保敏感信息(例如個(gè)人的種族群體知識(shí))不會(huì)“不公平地”影響學(xué)習(xí)算法的結(jié)果，正受到越來(lái)越多的關(guān)注。為了實(shí)現(xiàn)這一目標(biāo)，正如在相關(guān)工作3.1節(jié)中詳細(xì)討論的那樣，有三類(lèi)方法: 首先修改一個(gè)預(yù)先訓(xùn)練的分類(lèi)器，同時(shí)最小化對(duì)性能的影響(Hardt等人，2016;Pleiss等人，2017)，其次在訓(xùn)練期間執(zhí)行公平性，可能以凸性為代價(jià)(Zafar等人，2017)；第三，修改數(shù)據(jù)表示并使用經(jīng)典算法(Zemel 等人， 2013;Doninietal等人，2018)。正如(Hardt 等人, 2016) 所闡述的，算法公平性的核心要素是在兩個(gè)精心選擇的隨機(jī)變量之間估計(jì)和保證(條件)獨(dú)立性的能力--通常涉及由算法作出的決定和保護(hù)的變量以及“積極的”結(jié)果。在接下來(lái)的介紹中，我們將把這兩個(gè)隨機(jī)變量稱(chēng)為u和v。雖然在一般情況下u和v可以是連續(xù)變量——例如預(yù)測(cè)概率或時(shí)間等變量——但迄今為止，公平方面的大部分工作都集中在保護(hù)分類(lèi)變量上。本文中，我們放松了這種假設(shè)。

從應(yīng)用的角度來(lái)看，這是可取的，因?yàn)樗苊饬丝紤]將連續(xù)值作為預(yù)先確定的，在學(xué)習(xí)模型中呈現(xiàn)閾值效應(yīng)的“分類(lèi)箱”。當(dāng)考慮到年齡、種族比例或性別流動(dòng)性測(cè)量時(shí)，這些閾值沒(méi)有實(shí)際意義。此外，一種描述公平性約束的平滑和連續(xù)的方法——一種同時(shí)考慮元素順序(例如10yo<11yo)的方法——也很重要。作為一個(gè)來(lái)自現(xiàn)實(shí)世界的例子，(Daniels等人，2000)指出財(cái)務(wù)狀況是醫(yī)療保健的一個(gè)敏感變量。

從統(tǒng)計(jì)學(xué)的觀點(diǎn)來(lái)看，考慮到u和v之間的相關(guān)性可以是任意復(fù)雜的，相關(guān)性的度量是具有挑戰(zhàn)性的。在譜的一側(cè)（有經(jīng)驗(yàn)的一側(cè)）引入了簡(jiǎn)單易行的相關(guān)系數(shù)，如皮爾遜相關(guān)系數(shù)、斯皮爾曼秩相關(guān)系數(shù)和肯德?tīng)栂嚓P(guān)系數(shù)?？杀氖?，盡管這樣的相關(guān)系數(shù)能夠證明獨(dú)立性是錯(cuò)誤的，但它們無(wú)法證明獨(dú)立性。他們只是表達(dá)了獨(dú)立的必要條件。另一方面，理論上的單地平線(Gebelein，1941)引入了hirschfeld-Gebelein-Renyi最大相關(guān)系數(shù)(HGR)，該系數(shù)在估值為零時(shí)具有證明獨(dú)立性的理想性質(zhì)(Renyi，1959)，但在一般情況下難以計(jì)算。然而，HGR是一種以[0,1]為參數(shù)的相關(guān)性度量，它獨(dú)立于u和v的邊緣，允許監(jiān)管者以一個(gè)絕對(duì)閾值作為公平標(biāo)準(zhǔn)使用它。

我們的首要目標(biāo)是利用算法公平獨(dú)立性的測(cè)量。同時(shí)，深度學(xué)習(xí)的興起和可微編程的思想主張利用具有良好的一階行為和有限的計(jì)算成本的可微近似來(lái)懲罰神經(jīng)網(wǎng)絡(luò)。在這項(xiàng)工作中，我們推導(dǎo)了一個(gè)可微的非參數(shù)估計(jì)，基于Witsenhausen的角色塑造KDE的結(jié)合。我們證明了這個(gè)估計(jì)的經(jīng)驗(yàn)性能，并且我們緊緊地用一個(gè)f-區(qū)分的量給它上界。只要兩個(gè)隨機(jī)變量(u或v)中的一個(gè)是二值的，就可以得到所提出的界。注意，聯(lián)合分布與其邊際乘積之間的f-發(fā)散在可逆映射的作用下是不變的(Nelsen，2010)，并且可以用作相依性的度量。

作為第二個(gè)貢獻(xiàn)，我們證明了我們關(guān)于HGR系數(shù)的上界可以用來(lái)懲罰一個(gè)模型的學(xué)習(xí)。它甚至在經(jīng)驗(yàn)上被證明在小批量估計(jì)時(shí)表現(xiàn)良好，允許它與隨機(jī)梯度訓(xùn)練的神經(jīng)網(wǎng)絡(luò)結(jié)合使用。另一個(gè)關(guān)鍵區(qū)別是，我們能夠處理連續(xù)的敏感變量。我們的方法也擴(kuò)展了Kamishima等人(2011)的工作，他們提出使用互信息(MI)的估計(jì)作為懲罰，但他們的估計(jì)方法僅限于分類(lèi)變量。此外，即使將MI推廣到連續(xù)情形，我們也證明了我們的正則化程序既能得到更好的模型，又能降低對(duì)超參數(shù)值的敏感性。

本文的其余部分組織如下:首先，我們明確了獨(dú)立性測(cè)度和不同公平標(biāo)準(zhǔn)之間的聯(lián)系，如不同的影響和平等的賠率。其次，介紹了我們提出的能夠處理連續(xù)變量的HGR近似，并利用它對(duì)算法公平性的損失進(jìn)行正則化。我們跟著一個(gè)實(shí)驗(yàn)部分，我們經(jīng)驗(yàn)證明，我們的近似是競(jìng)爭(zhēng)狀態(tài)的依賴(lài)性估計(jì)和算法公平性，當(dāng)明智的屬性是分類(lèi)的，并且最小化可以使用小批量的數(shù)據(jù)，如果數(shù)據(jù)集足夠大了。最后，我們證明了我們的方法適用于連續(xù)的敏感屬性。

2. HGR作為一種公平標(biāo)準(zhǔn)

2.1公平標(biāo)準(zhǔn)概述

許多關(guān)于公平的概念目前正在調(diào)查中，但是對(duì)于哪些概念是最合適的還沒(méi)有達(dá)成共識(shí)(Hardt等人，2016;Zafar等人，2017;Dwork等人，2012)。事實(shí)上，這是一個(gè)選擇，不僅需要統(tǒng)計(jì)學(xué)和因果論證，還需要倫理學(xué)的論證。這些指標(biāo)之間的一個(gè)共同線索是依賴(lài)于統(tǒng)計(jì)獨(dú)立性。公平性遇到機(jī)器學(xué)習(xí)時(shí)試圖根據(jù)一些可用信息x(例如:信用卡歷史)對(duì)某個(gè)變量y(例如:默認(rèn)付款)建立一個(gè)預(yù)測(cè)y’;這個(gè)預(yù)測(cè)可能對(duì)某個(gè)敏感屬性z(例如:性別)有偏見(jiàn)或不公平。

最初提出的衡量公平性的概念是預(yù)測(cè)人口平等，即P(Y=1|Z=1)=P(Y=1|Z=0)，它被不同影響的標(biāo)準(zhǔn)所測(cè)量(Feldman et al., 2015)：

?

這個(gè)標(biāo)準(zhǔn)甚至是美國(guó)平等就業(yè)機(jī)會(huì)委員會(huì)建議(eeoc.1979)的一部分，該建議主張它不應(yīng)該低于0.8——也被稱(chēng)為80%規(guī)則。雖然最初定義的二元變量，人口平價(jià)可以很容易地推廣到Y(jié)⊥Z需求，即使Z非二進(jìn)制。

人口統(tǒng)計(jì)平價(jià)被批評(píng)因?yàn)楹雎粤丝赡芙忉孻和Z之間數(shù)據(jù)已經(jīng)存在的相關(guān)性的混淆變量。比如，一個(gè)模型隨機(jī)選擇10%的男性，然后選擇最好的10%的女性，這將是完全公平的w.r.t.DI。為了部分地克服這些限制，平衡賠率被引入(Zafar等人，2017;Hardt等人，2016)作為衡量方法，P(Y=1|Z=1，Y=y)=P(Y=1|Z=0,Y=y)。僅y=1的特定情況被稱(chēng)為EO，并且通常通過(guò)EO的差異來(lái)測(cè)量：DEO= P(Y=1|Z=1，Y=1)-P(Y=1|Z=0,Y=1)

同樣，與人口平等相似，平等機(jī)會(huì)可以通過(guò)獨(dú)立概念等效地表示。已經(jīng)存在一些其他公平的概念了，比如試圖確保預(yù)測(cè)Y對(duì)于受保護(hù)屬性的精確度不會(huì)高于另一組的標(biāo)準(zhǔn)。盡管人們投入了大量精力尋找新的公平定義，以涵蓋各種可能的社會(huì)偏見(jiàn)，但相關(guān)的統(tǒng)計(jì)措施仍然局限于Y和Z的二進(jìn)制值。

3. 公平意識(shí)學(xué)習(xí)

在前面的章節(jié)中，我們主張使用HGR來(lái)推導(dǎo)公平性評(píng)價(jià)標(biāo)準(zhǔn)。那么這種方法是否可以用來(lái)推導(dǎo)懲罰方案，以便在學(xué)習(xí)階段加強(qiáng)公平性。為了避免繁瑣的表示法和討論，我們將重點(diǎn)放在均衡賠率設(shè)置上，但是對(duì)于其他的公平性設(shè)置，我們可以推導(dǎo)出類(lèi)似的學(xué)習(xí)方案。特別是，我們?cè)诟戒浿刑峁┝艘惶紫鄳?yīng)的實(shí)驗(yàn)用于設(shè)定人口平價(jià)。

3.1最新研究

隨著機(jī)器學(xué)習(xí)成為保險(xiǎn)公司、健康系統(tǒng)、法律等方面一種常見(jiàn)的工具，學(xué)習(xí)公平模型是一個(gè)越來(lái)越受關(guān)注的話(huà)題。目前，研究集中于二進(jìn)制例子。在這樣的設(shè)定下可以基于Z和Y校準(zhǔn)預(yù)測(cè)Y的模型的后驗(yàn)，以便例如滿(mǎn)足DEO約束，代價(jià)是通過(guò)重新加權(quán)由模型輸出的概率或適應(yīng)分類(lèi)器閾值而失去一些精度。為了在學(xué)習(xí)過(guò)程中嵌入公平性，可能在準(zhǔn)確性和公平性之間找到比后驗(yàn)可以實(shí)現(xiàn)的更好的權(quán)衡，有人在學(xué)習(xí)時(shí)整合了重新加權(quán)，并提出了一種對(duì)成本敏感的公平分類(lèi)方法。然而，這些方法與感興趣的變量的二元性質(zhì)密切相關(guān)。

另一種方法是在學(xué)習(xí)時(shí)給優(yōu)化個(gè)體添加公平約束。目前有兩種約束。第一種的均衡倍率的簡(jiǎn)化實(shí)例化的方法是將條件分布π 約束為任何y，在分布之間提供一些距離D。這個(gè)想法被推廣到Y(jié)函數(shù)的期望之間的距離，其允許使用條件分布的更高矩。第二類(lèi)的思想與我們的方法相關(guān)。KL使用了f-區(qū)分，但是懲罰評(píng)估對(duì)二進(jìn)制例子是特定的。最后Zafar等人提出了一種旨在Y和Z之間的條件協(xié)方差的約束，僅相對(duì)應(yīng)于去除線性相關(guān)，而HGR可以解決更復(fù)雜的情況。當(dāng)目標(biāo)為在神經(jīng)網(wǎng)絡(luò)上使用該懲罰時(shí)最后一點(diǎn)尤為重要，它只考慮線性依賴(lài)有絕對(duì)能力擬合懲罰。

最后，有一系列的工作旨在提出回歸公平的測(cè)量方法。它們使用協(xié)方差或者更為少見(jiàn)的度量標(biāo)準(zhǔn)（如Gini）。這些依賴(lài)于線性系統(tǒng)的屬性—可能在內(nèi)核空間—我們正則化深度網(wǎng)絡(luò)和不限制人口平等。

4. 實(shí)驗(yàn)

為了從經(jīng)驗(yàn)上支持前面提出的不同主張，我們提供了幾個(gè)實(shí)驗(yàn)。我們首先證明了當(dāng)檢驗(yàn)實(shí)值變量的獨(dú)立性時(shí)，我們的HGR近似值與RDC(Lopez-Paz等人，2013)是有競(jìng)爭(zhēng)性的。其次，在訓(xùn)練一個(gè)公平的分類(lèi)器的背景下——比如，我們希望一個(gè)分類(lèi)器的二進(jìn)制結(jié)果是w.r.t公平。一個(gè)二進(jìn)制特征z——我們檢查我們的近似可以被用來(lái)規(guī)范一個(gè)分類(lèi)器，以增強(qiáng)公平性，其結(jié)果與現(xiàn)有的技術(shù)水平相當(dāng)。此處我們發(fā)現(xiàn)，當(dāng)數(shù)據(jù)集有幾千個(gè)數(shù)據(jù)點(diǎn)時(shí)，我們可以確保其估計(jì)的正分類(lèi)概率的公平性。最后，我們證明了我們可以保護(hù)一個(gè)連續(xù)敏感屬性的w.r.t.分類(lèi)器的輸出。

4.1 基于KDE的Witsenhausen的角色塑造

我們首先復(fù)現(xiàn)了RDC。依賴(lài)度量的力量被定義為區(qū)分具有相同邊緣形式的獨(dú)立樣本和未確定樣本的能力，并以概率的形式表示。在這里，我們將HGR-KDE估計(jì)與作為非線性相關(guān)度量的RDC進(jìn)行比較。我們復(fù)制了7個(gè)雙變量關(guān)聯(lián)模式，如圖1所示。對(duì)于每個(gè)聯(lián)結(jié)模式F，n=500樣本的500次生成，其中我們從X～unif[0，1]中取樣得到(xi，F(xiàn)(xi))元組。接下來(lái)，我們獨(dú)立于Y～unif[0，1]重新生成輸入變量，以生成每個(gè)樣本具有相等邊緣的獨(dú)立版本(Y,F(X))。圖1顯示了當(dāng)某些零平均高斯加性噪聲的標(biāo)準(zhǔn)差從0增加到3時(shí)，討論的非線性脫離度量的功率。我們觀察到χ2與HGR-KDE估計(jì)非常相似，但在循環(huán)、線性和竇性關(guān)聯(lián)方面性能優(yōu)于RDC，而在二次和三次關(guān)聯(lián)方面性能略?xún)?yōu)于RDC。根據(jù)經(jīng)驗(yàn)，在一維數(shù)據(jù)，我們的χ2 估計(jì)與RDC有競(jìng)爭(zhēng)關(guān)系，而其簡(jiǎn)單和可微形式允許我們以合理的成本計(jì)算它。最近使用的一臺(tái)筆記本電腦上的pytorch，計(jì)算具有500個(gè)元組的HGR-KDE需要2.0ms，而已發(fā)布的RDC的numpy代碼需要4.6ms(平均運(yùn)行1000次)。

?

4.2 基于Y和Z二值的公平性

本實(shí)驗(yàn)中，我們解決了為訓(xùn)練分類(lèi)器的非線性神經(jīng)網(wǎng)絡(luò)訓(xùn)練懲罰的不同獨(dú)立測(cè)量，比如二值敏感信息Z不會(huì)影響結(jié)果Y不公平。為了證明此規(guī)范化與最新成果的二值變量有競(jìng)爭(zhēng)關(guān)系，我們復(fù)現(xiàn)了另一個(gè)實(shí)驗(yàn)。他們提出使用5個(gè)公開(kāi)數(shù)據(jù)集。作為預(yù)處理步驟，我們對(duì)所有類(lèi)別變量進(jìn)行編碼并對(duì)數(shù)字條目進(jìn)行標(biāo)準(zhǔn)化。

此處Y預(yù)測(cè)，我們使用網(wǎng)絡(luò)估計(jì)了Y=1的概率，見(jiàn)表1.

神經(jīng)網(wǎng)絡(luò)和學(xué)習(xí)架構(gòu)。我們?yōu)檫@些實(shí)驗(yàn)提供了簡(jiǎn)單的神經(jīng)網(wǎng)絡(luò)：兩個(gè)隱藏層（第一層依賴(lài)于數(shù)據(jù)集大小有30到100個(gè)神經(jīng)元，第二層比第一層小20個(gè)神經(jīng)元）。代價(jià)是交叉熵，梯度是Adam,學(xué)習(xí)率值可能為10-2，10-4，3·10-4 。批量大小從{8,16,32,64,128}中選擇。為了避免KDE的估計(jì)問(wèn)題——特別當(dāng)Y=1時(shí)很少發(fā)生，我們總是估計(jì)128個(gè)為最小批量估計(jì)χ2 懲罰。λ設(shè)置為4*Renyi批量大小/批量大小。我們使用χ2作為HGR的平方，因?yàn)樘荻戎到咏?在數(shù)值上越穩(wěn)定。

5．結(jié)論

得益于HGR,我們從評(píng)估和學(xué)習(xí)的角度，統(tǒng)一和擴(kuò)展了以前的框架，使其具有持續(xù)的敏感信息，從而實(shí)現(xiàn)算法的公平性。首先，我們提出了一個(gè)原則性的方法來(lái)推導(dǎo)公平目標(biāo)的評(píng)價(jià)標(biāo)準(zhǔn)，這個(gè)標(biāo)準(zhǔn)可以寫(xiě)成條件獨(dú)立。然后，對(duì)學(xué)習(xí)步驟進(jìn)行了相應(yīng)的推導(dǎo)。最后，我們實(shí)證地展示了在一系列問(wèn)題(連續(xù)或非連續(xù))上的性能以及對(duì)深度學(xué)習(xí)模型的適應(yīng)性上的我們的方法。一個(gè)有趣的問(wèn)題留給未來(lái)的工作是，是否可以用參數(shù)估計(jì)取代非參數(shù)密度估計(jì)，以改善方法的標(biāo)度和減少方差的上下文中的小批處理。

? ? ? ?責(zé)任編輯:zl