復(fù)雜人工智能系統(tǒng)（如深度神經(jīng)網(wǎng)絡(luò)）的巨大成功令人工智能領(lǐng)域產(chǎn)生了飛躍式的變革。然而，由于其復(fù)雜的結(jié)構(gòu)和龐大的參數(shù)體量，這些系統(tǒng)通常被視為黑盒系統(tǒng)。人們既無(wú)法理解系統(tǒng)內(nèi)在的決策邏輯，也無(wú)法解釋系統(tǒng)在表達(dá)能力方面的優(yōu)勢(shì)與缺陷，如解釋神經(jīng)網(wǎng)絡(luò)為何具有優(yōu)越的性能但卻在對(duì)抗攻擊下極其脆弱等。人工智能系統(tǒng)在決策過(guò)程、表達(dá)能力、優(yōu)化能力等方面的不可解釋性，極大地?fù)p害了系統(tǒng)的可信、可控與安全性，進(jìn)而阻礙了人工智能在應(yīng)用領(lǐng)域尤其是智能醫(yī)療、自動(dòng)駕駛等高風(fēng)險(xiǎn)領(lǐng)域的廣泛普及。

為了建立可信、可控、安全的人工智能，學(xué)術(shù)界與工業(yè)界致力于增強(qiáng)人工智能系統(tǒng)與算法的可解釋性。具體地，可信人工智能旨在增強(qiáng)人工智能系統(tǒng)在知識(shí)表征、表達(dá)能力、優(yōu)化與學(xué)習(xí)能力等方面的可解釋性與可量化性以及增強(qiáng)人工智能算法內(nèi)在機(jī)理的可解釋性。

可信人工智能，旨在增強(qiáng)復(fù)雜人工智能系統(tǒng)和算法（如深度神經(jīng)網(wǎng)絡(luò)）的可信度。具體地，可信性概念蘊(yùn)含了不同層面的含義：① 人工智能系統(tǒng)在知識(shí)表征方面的可解釋性與可量化性② 人工智能系統(tǒng)在表達(dá)能力方面的可解釋性與可量化性，包括泛化能力、魯棒性、公平性與隱私保護(hù)性等；③ 人工智能系統(tǒng)在學(xué)習(xí)與優(yōu)化能力方面的可解釋性；④ 眾多人工智能算法內(nèi)在機(jī)理的可解釋性。

近年來(lái)，可信人工智能的主要研究方向包括：

① 定性或定量地解釋人工智能系統(tǒng)所建模的知識(shí)表征，如可視化中層表達(dá)蘊(yùn)含的語(yǔ)義信息、量化輸入變量對(duì)系統(tǒng)決策的重要性等；

② 評(píng)估、解釋、提升人工智能系統(tǒng)的表達(dá)能力，包括理論證明或?qū)嵶C研究神經(jīng)網(wǎng)絡(luò)泛化性、魯棒性等的邊界，解釋神經(jīng)網(wǎng)絡(luò)的泛化性、魯棒性、表征瓶頸等的內(nèi)在機(jī)理，發(fā)展各種方法（如對(duì)抗訓(xùn)練）提升系統(tǒng)魯棒性、公平性或避免隱私泄漏等；

③ 解釋人工智能系統(tǒng)優(yōu)化算法有效性的內(nèi)在機(jī)理，探索當(dāng)前經(jīng)驗(yàn)性優(yōu)化算法的潛在缺陷，如解釋隨機(jī)梯度下降、隨機(jī)失活等優(yōu)化手段為何有效，發(fā)現(xiàn)批歸一化等經(jīng)典優(yōu)化操作的潛在數(shù)學(xué)缺陷等；

④ 設(shè)計(jì)可解釋的人工智能系統(tǒng)，在系統(tǒng)設(shè)計(jì)階段將可信性嵌入系統(tǒng)結(jié)構(gòu)中，如通過(guò)設(shè)計(jì)卷積神經(jīng)網(wǎng)絡(luò)的目標(biāo)函數(shù)，使高層卷積層的每個(gè)濾波器自動(dòng)地表示某種語(yǔ)義。

近年來(lái)，可信人工智能領(lǐng)域受到廣泛關(guān)注，并取得眾多核心研究成果。表 1.2.5 和表 1.2.6 分別列出了可信人工智能領(lǐng)域核心論文的主要產(chǎn)出國(guó)家、主要產(chǎn)出機(jī)構(gòu)。表 1.2.7 和表 1.2.8 分別列出了該領(lǐng)域施引核心論文的主要產(chǎn)出國(guó)家和主要產(chǎn)出機(jī)構(gòu)?？梢钥闯?，代表性的研究機(jī)構(gòu)主要包括麻省理工學(xué)院、中國(guó)科學(xué)院、上海交通大學(xué)等，分布在美國(guó)、中國(guó)等國(guó)家。

?

另外，許多核心論文是由不同國(guó)家的不同研究機(jī)構(gòu)合作完成的，其中主要產(chǎn)出國(guó)家之間的合作網(wǎng)絡(luò)和主要產(chǎn)出機(jī)構(gòu)間的合作網(wǎng)絡(luò)分別見(jiàn)圖1.2.4 和圖 1.2.5。

盡管可信人工智能近年來(lái)受到廣泛關(guān)注，但大多數(shù)研究仍停留在工程性算法層面，如可視化神經(jīng)網(wǎng)絡(luò)的神經(jīng)元、估計(jì)輸入變量的重要性、用對(duì)抗攻擊下的準(zhǔn)確率評(píng)估神經(jīng)網(wǎng)絡(luò)的魯棒性等，而對(duì)于可信人工智能領(lǐng)域中幾大關(guān)鍵性、根本性的瓶頸問(wèn)題卻少有涉及與探索。這些問(wèn)題包括：

1）探索、定位并量化決定人工智能系統(tǒng)表達(dá)能力的本質(zhì)因素。具體地，人工智能系統(tǒng)的眾多指標(biāo)（如網(wǎng)絡(luò)結(jié)構(gòu)、優(yōu)化手段等）都會(huì)影響系統(tǒng)的表達(dá)能力，但這些指標(biāo)往往蘊(yùn)含了許多與表達(dá)能力無(wú)關(guān)的冗余因素，并不能揭示決定表達(dá)能力的根本因素。只有確切地定位表達(dá)能力的決定性因素，才能準(zhǔn)確地評(píng)估、解釋系統(tǒng)的表達(dá)能力。

2）對(duì)當(dāng)前眾多經(jīng)驗(yàn)性的人工智能算法內(nèi)在機(jī)理的統(tǒng)一與解釋。為解決某一個(gè)研究問(wèn)題，學(xué)者們往往會(huì)從不同的經(jīng)驗(yàn)性角度提出不同的人工智能算法。實(shí)際上，這些算法背后往往蘊(yùn)含著相同或相似的內(nèi)在機(jī)理。對(duì)這些不同經(jīng)驗(yàn)性算法內(nèi)在機(jī)理的統(tǒng)一與解釋，可以揭示這些算法的公共本質(zhì)，并從本質(zhì)層面評(píng)估和比較這些算法的可靠性。

3）理論驅(qū)動(dòng)的人工智能系統(tǒng)的設(shè)計(jì)與優(yōu)化，尤其是神經(jīng)網(wǎng)絡(luò)系統(tǒng)。目前人工智能系統(tǒng)的結(jié)構(gòu)設(shè)計(jì)、訓(xùn)練優(yōu)化大都是經(jīng)驗(yàn)主義的，即人們從大量實(shí)驗(yàn)觀察中找出行之有效的結(jié)構(gòu)設(shè)計(jì)和優(yōu)化方法。然而，我們需要找到統(tǒng)一的理論反饋指導(dǎo)系統(tǒng)的設(shè)計(jì)與優(yōu)化，令人工智能系統(tǒng)具備滿足特定任務(wù)需求的表達(dá)能力，方能真正實(shí)現(xiàn)系統(tǒng)的可控性。 事實(shí)上，國(guó)際上已有少數(shù)研究團(tuán)隊(duì)，發(fā)現(xiàn)并重視了上述關(guān)鍵性問(wèn)題，并在這些方向上做出了前瞻性的探索。例如，上海交通大學(xué)的團(tuán)隊(duì)統(tǒng)一地解釋了眾多提升對(duì)抗遷移性的算法；加利福尼亞大學(xué)伯克利分校的團(tuán)隊(duì)提出“自洽性”與“簡(jiǎn)約性”原則是人工智能系統(tǒng)的基石，并用這些原則指導(dǎo)設(shè)計(jì)了表征可解釋、訓(xùn)練可解釋的人工智能系統(tǒng)。

在過(guò)去 10 年中，可信人工智能取得諸多研究成果。然而，從整個(gè)領(lǐng)域的發(fā)展進(jìn)程看，其仍處于起步階段，仍存在眾多亟待解決的關(guān)鍵性瓶頸問(wèn)題。具體地，如圖 1.2.6 所示，未來(lái) 5~10 年的重要發(fā)展方向包括如下幾個(gè)方面。

第一，完善對(duì)知識(shí)表征的解釋。當(dāng)前對(duì)知識(shí)表征的解釋大多源于啟發(fā)性直覺(jué)，缺乏理論可靠性；這些解釋也往往沒(méi)有標(biāo)準(zhǔn)的答案以供參考，因此無(wú)法從實(shí)證角度驗(yàn)證解釋的可靠性。因此，未來(lái)的研究重點(diǎn)可能包括：① 統(tǒng)一現(xiàn)有眾多經(jīng)驗(yàn)性解釋，揭示其公共本質(zhì)；② 發(fā)展具有理論保證的新解釋；③ 客觀評(píng)估解釋的可靠性。

第二，深入發(fā)展對(duì)表達(dá)能力的解釋與量化。未來(lái)的研究重點(diǎn)可能包括：① 探索并定位決定人工智能系統(tǒng)表達(dá)能力的本質(zhì)因素；② 如何統(tǒng)一地解釋眾多提升表達(dá)能力的人工智能算法的內(nèi)在機(jī)理；③ 提出精確的量化指標(biāo)，評(píng)估系統(tǒng)的真實(shí)表達(dá)能力；④ 解釋并證明系統(tǒng)在表達(dá)能力方面的特點(diǎn)和缺陷。

第三，理論驅(qū)動(dòng)的人工智能系統(tǒng)的設(shè)計(jì)與優(yōu)化。目前，人們往往是從大量實(shí)驗(yàn)觀察中找出行之有效的結(jié)構(gòu)設(shè)計(jì)和優(yōu)化方法，而可信人工智能需要我們找到統(tǒng)一的理論，有的放矢地反饋指導(dǎo)系統(tǒng)的設(shè)計(jì)與優(yōu)化。為了實(shí)現(xiàn)這一目標(biāo)，未來(lái)的研究重點(diǎn)可能包括：① 探索神經(jīng)網(wǎng)絡(luò)的網(wǎng)絡(luò)結(jié)構(gòu)與知識(shí)表征的關(guān)系；② 探索神經(jīng)網(wǎng)絡(luò)的模型性能與知識(shí)表征的關(guān)系；③ 探索神經(jīng)網(wǎng)絡(luò)的眾多表達(dá)能力（如泛化性、魯棒性、公平性等）與知識(shí)表征的關(guān)系。

（內(nèi)容取自《全球工程前沿2022》）

張拳石，上海交通大學(xué)電院計(jì)算機(jī)科學(xué)與工程系長(zhǎng)聘教軌副教授，博士生導(dǎo)師，入選國(guó)家級(jí)海外高層次人才引進(jìn)計(jì)劃，獲ACM China新星獎(jiǎng)。2014年獲日本東京大學(xué)博士學(xué)位，2014—2018年在加州大學(xué)洛杉磯分校（UCLA）從事博士后研究，主要研究方向包括機(jī)器學(xué)習(xí)和計(jì)算機(jī)視覺(jué)。研究工作主要發(fā)表在計(jì)算機(jī)視覺(jué)、人工智能、機(jī)器學(xué)習(xí)等領(lǐng)域頂級(jí)期刊和會(huì)議（包括IEEE T-PAMI、ICML、ICLR、CVPR、ICCV、AAAI、KDD、ICRA等）。近年來(lái)，在神經(jīng)網(wǎng)絡(luò)可解釋性方向取得多項(xiàng)具有國(guó)際影響力的創(chuàng)新性成果。擔(dān)任ICPR 2020領(lǐng)域主席，CCF-A類會(huì)議IJCAI 2020和IJCAI 2021可解釋性方向tutorial，并先后擔(dān)任AAAI 2019、CVPR 2019、ICML 2021大會(huì)可解釋性方向分論壇主席。

編輯：黃飛

?