基于對比度與空間位置特征的顯著性區域檢測

張文杰，熊慶宇

（1.重慶大學 自動化學院，重慶400030；2.重慶大學 軟件學院，重慶401331）

0 引 言

視覺顯著性是神經學、心理學、神經系統和計算機視覺的一個基本問題［1］。視覺顯著性是視覺感知能力的體現，它使被感知對象（或區域）更加突出地顯示出來。同時Gestalt原理指出：人類視覺一般只關注場景中的一個或幾個中心區域，而對于中心區域以外的背景區域關注程度較低。圖像顯著性檢測的主要任務是估計圖像中的這些中心區域，保證中心區域的顯著性高于背景區域的顯著性，其相關檢測技術在基于內容的圖像檢索［2－3］、目標識別［4］、圖 像 分 割［5］等 領 域 都 具 有 廣泛的研究及應用價值。

圖像顯著性檢測方法可以歸結為基于任務驅動、自上向下的算法［6－7］和基于數據驅動、自下而上的方法［8－19］兩類。自上向下的方法重點研究特定某一類的顯著對象，其圖像的顯著特征需要一個較大規模且包含特定對象的數據集通過相關監督式學習算法訓練得到。而自下而上的顯著性檢測方法則主要依據底層的數據信息，不依據特定檢測任務自發提供視覺顯著性信息。本文關注的重點是自下而上圖像顯著性區域檢測。近年來，自下而上的顯著性研究得到了國內外學者的關注。Itti等［8］提出了基于視覺注意機制的顯著性檢測算法。Ma等［9］基于對比度的模糊生長的方法進行圖像顯著性分析。Harel等［10］提出基于圖的顯著性檢測算法，該算法在特征提取過程中使用了Itti算法的特征，并且引入馬爾可夫鏈計算顯著圖。而Hou 等［11］利用光譜余量檢測顯著性。這些算法研究的重點是圖像中的顯著點，因此顯著圖中顯著對象比較模糊。后來，許多學者關注圖像中的顯著對象或區域。Achanta等［12］使用高斯差分方法提取全分辨率的顯著圖，這種方法簡單高效，但是不利于復雜背景下的顯著性對象檢測。Stas等［13］提出了上下文感知的顯著性檢測算法，檢測的顯著性對象邊緣特征比較明顯，并且一致性不高。文獻［14］在Stas算法［13］的基礎上提出一種隨機的視覺顯著性檢測算法，該算法具有較快的運算速度。郭迎春等［15］提出一種基于顏色對比的顯著性區域檢測算法。文獻［16－17］提出一種聯合顯著性（Co－Saliency）檢測方法，檢測一個圖像集中的共同顯著性對象。Xie等［18］用貝葉斯框架提取圖像顯著區域，該算法重點關注檢測效果，并且得到了較好的檢測結果，算法的不足之處是顯著點不在顯著性對象周圍或分散在較大區域時檢測效果欠佳。Cheng 等［19］提出一種基于區域對比度的方法結合區域顏色距離度量與空間距離度量檢測圖像的顯著性，算法效果較好，算法的局限性在于顯著性檢測過程僅利用了對比度特征，對背景復雜圖像檢測結果有待提高。

總體來說，目前圖像顯著性區域檢測研究取得了許多新成果，但是仍然值得進一步研究，如：顯著區域不能被一致突出；顯著圖中顯著值較高的區域不在目標區域，而是集中在變化劇烈的邊緣部分或復雜的背景區域等。本文從Cheng算法（RC11）［19］得到啟發，依據顯著性檢測的先驗知識，提出一種自下而上、數據驅動的圖像顯著性區域檢測算法。同時本文提出一種新的初始化GrabCut算法的方法，將本文得到的顯著圖應用于圖像顯著分割，提取圖像中的顯著對象。

1 顯著性區域檢測算法

本節分析了影響圖像顯著性的兩個重要特征：對比度和空間位置，并利用這些先驗顯著性特征構造顯著性的對比度和位置特征函數。首先利用基于爬山算法的圖像分割方法［20－21］將圖像分割成不同的區域，并提取圖像的前景區域，然后構造區域的對比度特征、空間位置特征函數，同時考慮區域面積因素，計算顯著圖。本文算法流程如圖1所示。

圖1 本文算法流程圖Fig.1 Flow chart of the proposed method

在視覺注意過程中，往往是那些獨特性、不可預測性、稀缺性以及奇異性的對象被引起注意，其他對象以及背景被關注程度較低。本文算法首先考慮去除圖像背景區域干擾，然后在前景區域中檢測圖像的顯著區域（對象）?；诂F有視覺顯著性的研究［22－25］，顯著性區域出現在圖像邊界上的可能性較小。在本文中，利用這一性質，考慮將與圖像4個邊界接觸面積最大的區域設定為背景區域，在圖像的前景區域中利用區域對比度、位置特征計算顯著對象，減少背景對檢測結果的影響。

1.1 區域對比度

對于一幅圖像，人們會更加關注與周圍物體的對比度差異非常大的區域［19，26］。此外，區域空間關系在人類視覺注意方面也起很大作用；相鄰區域的高對比度比相距較遠區域的高對比度更容易導致一個區域引起視覺的注意［19］。對比度較好地反映了視覺顯著性對新異對象的刺激。本文從文獻［19］基于區域對比度方法得到啟發，但與文獻［19］的方法不同，本文計算圖像對比度時忽略背景區域的對比度干擾，構造圖像區域對比度特征函數衡量區域空間距離、顏色距離在檢測顯著性區域時的貢獻。具體而言，在計算兩個區域的對比度時，本文使用區域空間距離作為區域對比度權重，結合區域顏色距離特征構造圖像區域對比度特征函數Ck，使相距較遠的區域對圖像對比度貢獻較小，相距較近的區域貢獻大，其公式如下：

式中：rk、rm分別為圖像中的第k個區域和第m 個區域；Ck為第k 個區域rk的對比度特征函數；Dr（rk，rm）為rk與rm的對比度；dr（rk，rm）為rk與rm之間的歐氏距離，本文使用區域的質心計算區域之間的距離；rk（i）、rm（j）分別為區域rk、rm在RGB顏色空間的顏色向量；nk、nm分別為rk、rm中所包含的顏色總數；n為圖像區域的總數；pk（i）為在圖像區域rk中rk（i）出現的概率；pm（j）為在圖像區域rm中rm（j）出現的概率。

基于區域對比度特征的顯著性檢測結果如圖2（b）列所示?；趨^域對比度的顯著性檢測優點是對于對比度特征突出的圖像能較好地提取顯著性對象，如圖2（b）第一幅圖像花的對比度較突出，可以利用對比度特征提取顯著對象；但是基于對比度的方法在前景區域提取顯著性對象時也會存在一些不足，例如圖2（b）第二幅圖像中前景區域間的對比度特征差別并不明顯，很難分辨人與樹哪個對象顯著性更高。因此，融合多個圖像特征提高算法顯著性檢測能力成為一種行之有效的方法。

圖2 基于區域對比度與空間位置特征的顯著圖Fig.2 Saliency map based on the trait of regional contrast and spatial position

1.2 空間位置

回顧人類視覺注意機制，人類往往轉動視角將感興趣的對象集中在視角中心［27］。同樣，在圖像采集過程中，人們通常將引起注意的對象聚焦在圖像中心。本文將圖像區域位置信息引入到顯著性檢測過程。具體而言，利用區域與圖像中心的距離關系構造空間位置特征函數，使距圖像中心近的區域顯著性高，距中心較遠的區域顯著性低。歸一化的圖像區域的位置特征函數定義如下：

式中：Pi為第i 個區域ri的位置特征函數，Pi∈［0，1］；（xi，yi）為第i個區域的質心坐標；h、w 分別為整幅圖像的高度和寬度。

依據位置特征得到的圖像顯著圖如圖2（c）列所示。由圖2（c）可見，本文構造的位置特征函數在檢測圖像顯著性時發揮了較好的作用。但是，圖像中區域的顯著性與區域對比度、位置等因素有關，僅將該特征用于顯著性檢測存在不足，圖2（c）第一幅圖使用花的位置特征檢測顯著區域就是一個失敗的例子。

1.3 顯著性區域檢測

視覺焦點的深度搜索原理［28］是視點首先被一個較大的區域吸引。對象區域的大小也會影響底層的視覺刺激，因此，本文也將圖像區域面積作為影響圖像顯著性的因素，定義顯著性的權重參數Wi：

式中：Ri為第i個區域的面積。

本文在進行顯著性檢測時，考慮了區域對比度、空間位置、圖像區域面積等因素，但在不同的圖像場景中往往是這些因素中的一個或幾個因素起到主導作用，例如在圖2（a）列中，第一副圖像中花的對比度占主導作用；而第二幅圖像人所在區域空間位置起到關鍵作用。如何結合各種因素是建立適當的顯著性檢測模型的關鍵。本文融合上述特征構建顯著性檢測模型，首先將上述區域對比度特征、空間位置特征以及面積因素相乘檢測圖像的顯著性，即：

該方法實驗結果較好，但是對比度特征沒有較好發揮作用，圖2（c）為一例檢測失敗的例子。對此，本文對該顯著性檢測模型改進，提出對比度加權的圖像區域顯著性檢測算法，其公式如下：

式中：λ為圖像區域對比度增強系數，實驗結果表明，λ＝1.6時能夠得到較好的實驗結果。

對比度加權檢測結果如圖3（d）列所示，能夠較好地反映區域對比度、空間位置、區域面積在顯著性檢測時的作用。同時，該方法也可以較好地排除背景及非顯著區域干擾，獲得較為干凈的背景，從而突出顯著性對象。

圖3 對比度未加權方法檢測失敗示例Fig.3 Failure example for the proposed method based on unweighted contrast

2 實驗結果與分析

實驗給出了基于本文區域對比度特征，本文算法對比度未加權以及對比度加權的檢測結果比較，同時還比較了其他7 種被引用較多的算法（IT98［8］，HA06［10］，AC09［12］，RC11［19］（基于區域對 比 度），HC11［19］（基 于 直 方 圖），RA10［29］，LC06［30］）與本文算法的實驗結果。

本文采用Achanta等［12］提供的公開測試集MSRA－1000驗證算法的性能。該數據集包含1000幅圖片，并且提供人工標注的精確顯著圖（Ground truth，GT）。

本文通過PR（Precision－recall）曲線評估算法的性能。PR 曲線由準確率Pr 和召回率Re 構成：

式中：Sd為算法檢測結果中的顯著對象的面積；Sg為人工標記的顯著對象面積。

實驗1 圖像區域對比度增強系數λ 對實驗結果的影響如圖4所示。本文選用準確率與召回率的調和平均數Fβ為測試λ 變化時對實驗結果的影響。Fβ的計算公式如下：

在計算準確率和召回率時，本實驗將閾值設定為TH：

式中：M 為圖像像素總數。

取系數β2＝0.3，使得正確率的權重高于召回率。Fβ－λ 曲線變化趨勢如圖4所示。當λ＝1.6時，Fβ取得最大值，對比度加權算法得到的檢測結果最佳；當λ＞7時，λ的變化對算法結果影響較小。

圖4 Fβ－λ 曲線Fig.4 Curve of Fβ－λ

圖5 PR 曲線Fig.5 PR curves

實驗2 比較了基于本文對比度特征（Based contrast）的顯著性檢測結果、本文算法對比度未加權（Ours with unweighted contrast）時的檢測結果以及加權后（Ours）的結果。PR 曲線如圖5所示。由圖5可知：采用多特征融合的方法，對比度未加權方法檢測效果較基于對比度的方法提高了算法的準確率。同時，當對比度加權與未加權方法比較時，由于對比度加權原因，在召回率大于0.83時加權算法較未加權方法準確率低，但兩者誤差較小。從算法整體分析，對比度加權方法整體表現較好。

實驗3 比較了目前被引用較多的幾種算法與本文算法的檢測結果，同時給出了基于本文對比度特征的顯著圖（RC＿ours），實驗結果如圖6所示。與RC11相比，本文算法不同之處在于：①本文不僅構建區域對比度特征函數，同時將空間位置特征引入顯著性檢測模型；②本文算法首先去除圖像背景區域的干擾，在前景區域內檢測顯著對象，減小了背景區域對檢測結果的影響，增強了對復雜圖像的顯著性檢測能力。本文算法對較復雜背景的圖像檢測效果較RC11 算法有所提高，結果如圖6（e）和圖6（g）所示。由于忽略了背景信息，本文基于前景區域對比度的顯著性檢測方法會出現較RC11算法不理想的檢測結果（見圖6（f）列第二幅顯著圖），但本文算法融合區域位置信息以及區域面積可以彌補這一不足，使本文算法能較好地抑制圖像非顯著性區域，得到背景干擾較少的顯著圖，如圖6（g）列第二幅顯著圖所示。同時，正如圖6（e）（g）列第一幅顯著圖所示，本文算法對背景較復雜的圖像的檢測結果較RC11算法有改進，在檢測顯著對象時對背景區域及非顯著性對象的顯著性有較強抑制，能較好地突出顯著對象。IT98與HA06算法檢測的重點是圖像中的顯著點，因此顯著圖中的顯著對象較模糊。

圖6 幾種顯著性檢測算法檢測結果比較Fig.6 Visual comparison of previous approaches to our method

圖7 不同算法的PR 曲線比較Fig.7 Comparison of the PR for different algorithms

實驗4 算法PR 曲線比較。在顯著性檢測中，PR 曲線能較好地反映算法的優劣［1，6，12，18－19，29］。圖7 給 出 了 不 同 算 法 的PR 曲線。由圖7可知：與RC11相比，由于忽略了背景信息，本文未加權的檢測方法僅當召回率在［0.6，0.9］之間變化時算法準確率較佳。而本文對比度加權算法與RC11相比較，在召回率小于0.87時有較好的準確率；當召回率大于0.87時，因對比度加權、忽略背景區域對比度等原因，導致準確率較RC11算法相比性能下降，但對于背景較復雜的圖像本文檢測算法改進效果明顯。

3 顯著性分割

本文將提取的顯著圖應用于顯著分割。目前，該領域研究中基于自下而上的顯著區域分割主要有：Ma等［9］通過模糊區域增長方法在顯著圖中找到矩形的顯著區域。Achanta等［29］使用顯著圖為Graph Cuts算法提供前景與背景區域，自動分割顯著對象。Han等［31］用顏色、紋理和邊緣特征構建馬爾科夫隨機場模型，使用顯著圖的種子值來增長顯著性對象區域。Cheng 等［19］使用召回率為95%時的閾值二值化顯著圖為GrabCut提供初始化模板，分割顯著性區域。

本文通過統計顯著圖的直方圖分布，利用雙閾值方法初始化GrabCut［32］模板，改善顯著對象分割效果。GrabCut［32］算法綜合利用紋理及邊界兩種信息，通過高斯混合模型和Graph Cuts［33］進行迭代分割圖像，需要人工交互操作選取矩形區域進行初始化。本文依據顯著圖對GrabCut初始化，避免了人工交互操作，可自動分割圖像顯著對象。由于顯著圖中顯著值的大小反映了圖像對應位置的顯著性：顯著值越大，其顯著性就越高，因此，本文在初始化模板時為克服文獻［19］使用單個閾值的不足，使用直方圖統計顯著圖中顯著值的分布，得到顯著直方圖，設置不同閾值將顯著圖標記為顯著區域、可能的顯著區域、可能的非顯著區域來初始化GrabCut。具體而言，在初始化過程中，本文設定閾值Th1標記直方圖中顯著值最大的區域為顯著性區域。同時，為了使提取的顯著對象較為精確，本文將大于顯著圖均值Th2小于閾值Th1的顯著區域初始化為可能的顯著性區域，把小于顯著均值的部分初始化為可能的非顯著性區域。閾值的選取如圖8所示。定義初始化函數為：

式中：1表示顯著性區域，2表示可能的非顯著性區域，3表示可能的顯著性區域；Smap（x，y）為圖像顯著圖。

為了保證較好地標簽顯著性區域，本文將Th1設定為最大的極小值，確保顯著值的最大區域為顯著對象。如圖8所示，初始化顯著性區域為［Th1，256］。其中Th1描述如下：設L1為直方圖極大值點對應的顯著值ai的集合，ai∈L1，i＝1，…，l1（l1為極大值點個數）；L2為直方圖極小值對應的顯著值bj的集合，bj∈L2，j＝1，…，l2（l2為極小值點的數量）。則Th1需滿足如下條件：Th2＜Th1＜A，對?j，有Th1≥bj，且Th1∈L2。其中，A ＝max｛ai｝為集合L1中的最大值。圖8中hist表示對應Smap（x，y）的統計結果。

圖8 閾值選取示意圖Fig.8 Schematic diagram for threshold selection

初始化之后，本文迭代運行GrabCut來優化顯著性分割結果（在實驗中最多迭代兩次），圖9（b）列給出了RC11算法的分割結果，圖9（c）列給出了本文提出的新的初始化方法的分割結果。

圖9 顯著性分割Fig.9 Saliency segmentation

4 結束語

提出了一種基于對比度、空間位置特征的自下而上、數據驅動的顯著性區域檢測方法。在進行顯著性檢測的過程中，本文提取圖像前景區域，構造的對比度特征函數能較好地計算出不同前景區域對比度對圖像顯著性的貢獻，結合圖像的空間位置特征函數和區域面積能較好地檢測區域顯著性。同時，本文提出一種新的初始化GrabCut算法的方法分割顯著對象，并得到了較好的結果?？傮w而言，本文提出的算法簡單，且進一步提高了顯著性區域檢測結果。由于本文方法采用對比度加權以及忽略背景信息，導致了召回率大于0.9時檢測精度不夠理想，但對于較復雜圖像的檢測，本文算法有了較大改進。因此，本文算法是一種有效的顯著性檢測算法。在將來的研究工作中，將會考慮結合其他圖像顯著性特征，合理整合圖像對比度及背景信息，進一步改善算法的檢測結果。

［1］Jiang H，Wang J，Yuan Z，et al.Salient object detection：a discriminative regional feature integration approach［C］∥IEEE Conference on Computer Vision and Pattern Recognition（CVPR），Portland，2013：2083－2090.

［2］Jian M W，Dong J Y，Ma J.Image retrieval using wavelet－based salient regions［J］.Imaging Science Journal，2011，59（4）：219－231.

［3］李勇，陳賀新，耿曉東，等.基于目標區域定位和特征融合的圖像檢索算法［J］.吉林大學學報：工學版，2008（增刊2）：217－220.Li Yong，Chen He－xin，Geng Xiao－dong，et al.Image retrieval algorithm based on object region location and feature fusion［J］.Journal of Jilin University（Engineering and Technology Edition），2008（Sup.2）：217－220.

［4］Rutishauser U，Walther D，Koch C，et al.Is bottom－up attention useful for object recognition？［C］∥Proceedings of IEEE Conference on Computer Vision and Pattern Recognition，Washington，2004：37－44.

［5］Ko B C，Nam J.Object－of－interest image segmentation based on human attention and semantic region clustering［J］.JOSA A，2006，23（10）：2462－2470.

［6］Yang J，Yang M H.Top－down visual saliency via joint crf and dictionary learning［C］∥IEEE Conference on Computer Vision and Pattern Recognition（CVPR），Providence，2012：2296－2303.

［7］Liu T，Yuan Z，Sun J，et al.Learning to detect a salient object［J］.IEEE Transactions on Pattern Analysis and Machine Intelligence，2011，33（2）：353－367.

［8］Itti L，Koch C，Niebur E.A model of saliencybased visual attention for rapid scene analysis［J］.IEEE Transactions on Pattern Analysis and Machine Intelligence，1998，20（11）：1254－1259.

［9］Ma Y F，Zhang H J.Contrast－based image attention analysis by using fuzzy growing［C］∥Proceedings of the Eleventh ACM International Conference on Multimedia.ACM，New York，2003：374－381.

［10］Harel J，Koch C，Perona P.Graph－based visual saliency［C］∥Advances in Neural Information Processing System，Vancouver，Canada，2007：545－552.

［11］Hou X，Zhang L.Saliency detection：A spectral residual approach［C］∥IEEE Conference on Computer Vision and Pattern Recognition（CVPR），Minneapolis，2007：1－8.

［12］Achanta R，Hemami S，Estrada F，et al.Frequency－tuned salient region detection［C］∥IEEE Conference on Computer Vision and Pattern Recognition（CVPR），Miami，2009：1597－1604.

［13］Stas Goferman，Lihi Zelnik－Manor，Ayellet Tal.Context－aware saliency detection［J］.IEEE Trans Pattern Anal Mach Intell，2012，34（10）：1915－1926.

［14］黃志勇，何發智，蔡賢濤，等.一種隨機的視覺顯著性檢測算法［J］.中國科學：信息 科學，2011，41（7）：863－874.Huang Zhi－yong，He Fa－zhi，Cai Xian－tao，et al.Efficient random saliency map detection［J］.Science China Information Sciences，2011，41（7）：863－874.

［15］郭迎春，袁浩杰，吳鵬.基于Local特征和Regional特征的圖像顯著性檢測［J］.自動化學報，2013，39（8）：1214－1224.Guo Ying－Chun，Yuan Hao－Jie，WU Peng.Image saliency detection based on local and regional features［J］.Acta Automation Sinica，2013，39（8）：1214－1224.

［16］Liu Z，Zou W，Li L，et al.Co－Saliency detection based on hierarchical segmentation［J］.IEEE Signal Processing Letters，2014，21（1）：88－92.

［17］Fu H，Cao X，Tu Z.Cluster－based co－saliency detection［J］.IEEE Transactions on Image Processing：a Publication of the IEEE Signal Processing Society，2013，22（10）：3766－3778.

［18］Xie Y，Lu H，Yang M.Bayesian saliency via low and mid level cues［J］.Transactions on Image Processing，2013，22（5）：1689－1698.

［19］Cheng M M，Zhang G X，Mitra N J，et al.Global contrast based salient region detection［C］∥IEEE Conference on Computer Vision and Pattern Recognition（CVPR），Colorado Springs，2011：409－416.

［20］Achanta R，Estrada F，Wils P，et al.Salient region detection and segmentation［C］∥6th International Conference on Computer Vision System，Santorini，Greece，2008：66－75.

［21］Ohashi T，Aghbari Z，Makinouchi A.Hill－climbing algorithm for efficient color－based image segmentation［C］∥IASTED International Conference on Signal Processing，Pattern Recognition，and Applications，Rhodes，2003：17－22.

［22］Li X，Lu H，Zhang L，et al.Saliency detection via dense and sparse reconstruction［C］∥IEEE International Conference on Computer Vision（ICCV），Sydney，2013：2976－2983.

［23］Yang C，Zhang L，Lu H，et al.Saliency detection via graph－based manifold ranking［C］∥IEEE Conference on Computer Vision and Pattern Recognition（CVPR），Portland，2013：3166－3173.

［24］Lempitsky V，Kohli P，Rother C，et al.Image segmentation with a bounding box prior［C］∥IEEE International Conference on Computer Vision（ICCV），Kyoto，2009：277－284.

［25］Grady L，Jolly M P，Seitz A.Segmentation from a box［C］∥IEEE International Conference on Computer Vision（ICCV），Barcelona，2011：367－374.

［26］Einh?user W，K?nig P.Does luminance－contrast contribute to a saliency map for overt visual attention？［J］.European Journal of Neuroscience，2003，17（5）：1089－1097.

［27］Judd T，Ehinger K，Durand F，et al.Learning to predict where humans look［C］∥IEEE 12th International Conference on Computer Vision，Kyoto，2009：2106－2113.

［28］李茜.圖像的顯著性特征提?。跠］.上海：上海大學通信與信息工程學院，2008.Li Qian.Saliency image feature extraction［D］.Shanghai：School of Communication and Information Engineering，Shanghai University，2008.

［29］Achanta R，Susstrunk S.Saliency detection using maximum symmetric surround［C］∥the 17th IEEE International Conference on Image Processing（ICIP），Hong Kong，2010：2653－2656.

［30］Zhai Y，Shah M.Visual attention detection in video sequences using spatiotemporal cues［C］∥Proceedings of the 14th Annual ACM International Conference on Multimedia.ACM，New York，2006：815－824.

［31］Han J，Ngan K N，Li M，et al.Unsupervised extraction of visual attention objects in color images［J］.IEEE Transactions on Circuits and Systems for Video Technology，2006，16（1）：141－145.

［32］Rother C，Kolmogorov V，Blake A.Grabcut：interactive foreground extraction using iterated graph cuts［C］∥ACM Transactions on Graphics（TOG），ACM，New York，2004：309－314.

［33］Boykov Y Y，Jolly M P.Interactive graph cuts for optimal boundary ＆region segmentation of objects in ND images［C］∥Proceedings of the Eighth IEEE International Conference on Computer Vision，Vancouver，2001：105－112.