南開大學(xué)媒體計算實驗室等研究團隊從人類視覺系統(tǒng)對場景結(jié)構(gòu)非常敏感的角度出發(fā)，提出一種新穎、高效且易于計算的結(jié)構(gòu)性度量(S-measure) 來評估非二進制前景圖，進而使得評估不需要像傳統(tǒng)AUC曲線那樣通過繁瑣且不可靠的多閾值化來計算精度、召回率，僅通過簡單的計算(5.3ms)就可以得到非?？煽康脑u價結(jié)果，成為該領(lǐng)域第一個簡單的專用評價指標。相關(guān)研究已被ICCV 2017錄用為spotlight paper，第一作者南開大學(xué)博士生范登平帶來詳細解讀。

前景圖的度量對于物體分割算法的發(fā)展有著重要的作用，特別是在物體檢測領(lǐng)域，其目的是在場景中精確地檢測和分割出物體。但是，當前廣泛應(yīng)用的評估指標 (AP, AUC) 都是基于像素級別的誤差度量，缺少結(jié)構(gòu)相似性度量，從而導(dǎo)致評估不準確（優(yōu)秀算法排名比拙劣算法靠后）進而影響了領(lǐng)域的發(fā)展。

天津南開大學(xué)媒體計算實驗室、美國中佛羅里達大學(xué)機構(gòu)的聯(lián)合研究團隊從人類視覺系統(tǒng)對場景結(jié)構(gòu)非常敏感的角度出發(fā)，提出基于區(qū)域（Region-aware）和基于對象(Object-aware)的結(jié)構(gòu)性度量(S-measure)方法來評估非二進制前景圖，進而使得評估更加可靠。該方法在5個基準數(shù)據(jù)集上采用5個元度量證明了新度量方法遠遠優(yōu)于已有的度量方法，并且和人的主觀評價具有高度一致性(77%Ours VS. 23%AUC)。

問題引出：專門評價指標缺陷

評價指標的合理與否對一個領(lǐng)域中模型的發(fā)展起到?jīng)Q定性的作用，現(xiàn)有的前景圖檢測中應(yīng)用最廣泛的評價指標為：平均精度AP(average precision)和曲線下的面積AUC（area under the curve）。在評價非二進制前景圖時，需要將輸入圖像進行閾值化得到多個閾值，再計算精度（precision）和召回率（recall）。

圖1

然而，該方法已經(jīng)被證明[1]存在天然的缺陷。例如圖1中（a）和（b）是兩個完全不同的前景圖，但是經(jīng)過閾值化計算AP和AUC后，最后的評價結(jié)果是AP=1, AUC=1。這表示兩個前景圖的檢測效果相當，這顯然不合理。

圖2

再來看另外一個實際的例子，圖2中，根據(jù)應(yīng)用排序（Application Ranking）以及人為排序（Human Ranking）認為藍色框的檢測結(jié)果由于紅色框。然而，如圖3所示，采用閾值化、再進行插值的方法（AUC）會評判紅色框檢測結(jié)果由于藍色框。

圖3

因此，AUC評價方法完全依賴于插值的結(jié)果，忽略了錯誤發(fā)生的位置，也沒有考慮到對象的結(jié)構(gòu)性度量。原因在于，AUC曲線是多個領(lǐng)域通用的評價指標，前景圖檢測領(lǐng)域還沒有一個簡單高效的專有指標。為此，有必要為該領(lǐng)域設(shè)計一個專門的簡單可靠的評價指標。

解決方案：面向區(qū)域和面向?qū)ο蟮慕Y(jié)構(gòu)度量

由于當前的評價指標都是考慮單個像素點的誤差，缺少結(jié)構(gòu)相似性度量，從而導(dǎo)致評估不準確。為此，研究團隊根據(jù)人類視覺系統(tǒng)對場景結(jié)構(gòu)非常敏感的角度出發(fā)，分別從2個角度去解決結(jié)構(gòu)度量的問題。

如圖4所示：（a）面向區(qū)域（Region-aware）結(jié)構(gòu)度量和(b)面向?qū)ο?Object-aware)結(jié)構(gòu)度量。

圖4

面向區(qū)域的結(jié)構(gòu)度量將區(qū)域的前背景整體度量,作為面向?qū)ο螅ㄇ氨尘胺蛛x度量）的補充，進而為可靠的整體結(jié)構(gòu)度量提供支撐。

在計算面向區(qū)域部分，首先延著Ground-truth的重心部分采取2*2分塊法切割開，相應(yīng)地為檢測結(jié)果圖切割，這樣得到4局部塊，后每塊相似性度量方法采用著名的結(jié)構(gòu)性評價指標SSIM來度量。最后，根據(jù)每個分塊占整個前景圖的比例進行自適應(yīng)加權(quán)求和得到面向區(qū)域的結(jié)構(gòu)相似度。

b.面向?qū)ο蟮慕Y(jié)構(gòu)度量從物體角度出發(fā)，將前背景分離度量，與面向區(qū)域（前背景聚合成區(qū)域）互為補充，為度量對象級別的結(jié)構(gòu)提供保障。

通過大量的研究發(fā)現(xiàn)，高質(zhì)量的前景圖檢測結(jié)果具有如下特性：

前景與背景形成強烈的亮度對比。

前景與背景部分都近似均勻分布。

如圖5所示，result1檢測結(jié)果中對象內(nèi)部和背景部分相對均勻，唯獨亮度對比不夠強烈，result2檢測結(jié)果中內(nèi)部對象分布不均勻，背景部分大體均勻。

圖5

研究團隊通過設(shè)計一個簡單的亮度差異和均勻性項來度量結(jié)構(gòu)相似性。

元度量實驗證明有效性

為了證明指標的有效性和可靠性，研究人員采用元度量的方法來進行實驗。通過提出一系列合理的假設(shè)，然后驗證指標符合這些假設(shè)的程度就可以得到指標的性能。簡而言之，元度量就是一種評測指標的指標。實驗采用了5個元度量：

元度量1：應(yīng)用排序

推動模型發(fā)展的一個重要原因就是應(yīng)用需求，因此一個指標的排序結(jié)果應(yīng)該和應(yīng)用的排序結(jié)果具有高度的一致性。即，將一系列前景圖輸入到應(yīng)用程序中，由應(yīng)用程序得到其標準前景圖的排序結(jié)果，一個優(yōu)秀的評價指標得到的評價結(jié)果應(yīng)該與其應(yīng)用程序標準前景圖的排序結(jié)果具有高度一致性。如下圖6所示。

圖6

元度量2：最新水平 vs.隨機結(jié)果

一個指標的評價原則應(yīng)該傾向于選擇那些采用最先進算法得到的檢測結(jié)果而不是那些沒有考慮圖像內(nèi)容的隨機結(jié)果（例如中心高斯圖）。如下圖7所示。

圖7

元度量3：參考GT隨機替換

原來指標認定為檢測結(jié)果較好的模型，在參考的Ground-truth替換為錯誤的Ground-truth時，分數(shù)應(yīng)該降低。如圖8所示。

圖8

元度量4：輕微標注錯誤

評價指標應(yīng)該具有魯棒性，一個好的評價指標不應(yīng)對GT邊界輕微的手工標注誤差敏感。如圖9所示

圖9

元度量5：人工排序

人作為高級靈長類動物，擅長捕捉對象的結(jié)構(gòu)，因此前景圖檢測的評價指標的排序結(jié)果，應(yīng)該和人的主觀排序具有高度一致性。我們通過收集45個不同年齡，學(xué)歷，性別，專業(yè)背景的受試者的排序結(jié)果進一步證明了提出的評價指標與人的評價具有高度的一致性(最高可達77%)。下圖10所示為用戶調(diào)研的手機平臺。

圖10

實驗結(jié)果

為了公平的比較，指標首先在公開的一個前景圖檢測數(shù)據(jù)集ASD[3]上對4個元度量進行評測。評測結(jié)果顯示我們的結(jié)果取得了最佳性能：

除了在基準數(shù)據(jù)集上進行評測外，還在另外4個具有不同特點的、更具挑戰(zhàn)性數(shù)據(jù)集上進行了廣泛的測試，以驗證指標的穩(wěn)定性、魯棒性。

實驗結(jié)果表明：我們的指標分別在PASCAL, ECSSD, SOD和HKU-IS數(shù)據(jù)集上比排名第二的指標錯誤率降低了67.62%，44.05%,17.81%,69.23%。這清楚地表明新的指標具有更強的魯棒性和穩(wěn)定性。

總結(jié)

該評測指標將很快出現(xiàn)在標準的Opencv庫以及Matlab中，屆時可以直接調(diào)用。

評測指標的代碼計算簡單，僅需對均值、方差進行加減乘除即可，無需閾值256次得到多個精度和召回率，再畫進行繁瑣的插值計算得到AUC曲線。因此，S-measure計算量非常小，在單線程CUP(4GHz)上度量一張圖像僅需要5.3ms.