一種多圖像前景對應性的融合顯著性檢測算法研究

劉 磊

(四川商務職業學院 科研處，四川 成都 610000)

0 引 言

網絡互聯技術的飛速發展帶來的是大數據環境下朋友圈的擴大，社交過程中每天都會產生大量的圖片數據，如何利用計算機處理信息的高效性來對圖像數據進行處理是現在的主要研究方向[1-2].人類視覺系統在對一幅圖像或是一個場景的信息進行區分時往往會被最明顯的顯著性區域所吸引，從而忽略掉重要性較低的背景，因此利用計算機視覺技術對顯著性區域進行檢測將有助于提高計算機信息處理的效率[3-4].李振強等[5]在2020年提出了利用機器視覺技術對羊骨架進行顯著性檢測，以此來獲取羊骨架各部分特征達到羊骨架自動分割的目的.劉根旺等[6]利用機器視覺中的殘差譜視覺對船只進行顯著性檢測，得到的圖像品質因數達到了0.95.國外學者Trajanovski S等[7]利用機器視覺高光譜成像進行腫瘤顯著性檢測，利用深度學習進行圖像分割，經實驗證明了該技術在醫學圖像處理中的有效性[7].

顯著性檢測為視覺技術進行信息篩選提供了依據，在各個領域都有著重要的研究價值.為了使計算機能夠像人類視覺一樣快速檢測出顯著性區域，提出一種新的融合檢測算法，首先定位凸包中的前景區域，其次利用邊界連續性度量定位區域和邊界的連接強度，以獲得較為準確的顯著圖，然后結合基于背景的顯著圖生成融合顯著圖，最后在標準的數據集上進行實驗來驗證檢測算法的有效性.通過結合前背景的顯著性檢測將有效地提高圖像顯著性檢測的準確率，減少圖像處理時間和工作量.

1 結合前景和背景的多圖像融合顯著性檢測

研究中采用前背景融合來實現多圖像聯合檢測，其操作流程見圖1所示.圖1中顯示，在前背景融合檢測中，首先進行前景區域的定位，其次進行背景目標的檢測，最后將兩者相結合來實現圖像中顯著性目標的定位檢測.

圖1 前背景融合檢測流程圖

1.1 多幅圖像間對應的前景區域定位

融合顯著物體往往會重復出現在多幅圖像的前景區域內，說明多圖像對應的前景區域是融合顯著物體.因此，進行多幅圖像間對應的前景區域定位能夠提高多圖像中的顯著性檢測效率，對圖像的前景區域進行估計提取，采用凸包構建算法進行顯著目標區域的粗略定位[8-9].首先進行凸包前景的提取，提取方式如式(1)所示.

d=‖HIi-Ho‖,i=1,2

(1)

式(1)中的HIi是像素在顏色空間中的平均顏色向量，Ho表示凸包外區域所有像素的平均顏色向量.凸包先驗是圖像顯著性檢測中一種常用的前景先驗方法，凸包先驗中能夠包含大部分的前景部分，但是無法避免地也會保留住小部分背景目標，所以需要從凸包中進一步提取前景[10].利用前景和背景顏色的差異來選擇凸包中的前景會存在一定概率的錯誤率，從而導致最后的顯著性檢測結果不夠理想，除了其背景的顏色差異外，自然圖像中的前景目標和背景存在較為明顯的空間分布差異[11].因此為了能夠從凸包中提取出更加準確的前景信息，采用邊界連續性來選擇更為準確的凸包前景區域.邊界連續性是用來度量圖像邊界和圖像中的一個區域的連接程度，定義為：

(2)

式(2)中的R表示圖像中的一個區域，u代表圖像中的一個像素塊,BD表示圖像邊界處的像素塊結合.

圖像中各區域的邊界連續值的計算分為三個步驟，首先采用SLIC算法將圖像進行分割，把圖像分割成多個超像素，并將其作為基本處理單元節點.假設每一個節點都和其他所有的節點相互連接組成一個全連接圖，將相互連接的超像素點u和v在CIELab顏色空間之間的歐氏距離d(u,v)作為連接邊的權重.采用測地線距離來表示兩節點之間的距離關系，距離關系計算公式為：

(3)

式(3)中min是表示兩節點之間的最短距離，代表了兩節點之間最短路徑的權重之和，并且GD(u,u)=0.其次，計算超像素點所占區域的面積，計算公式為：

(4)

式(4)中的K是超像素的數量，φ表示權重系數.若兩超像素點之間的測地線距離越小，則兩超像素點對彼此的面積貢獻越大，若GD(u,ui)=0，那么S(u,ui)=1，兩超像素點就位于同一個平面區域，超像素點之間的測地線距離越大，那么S(u,ui)就越趨近于0，表明兩者不在同一平面區域.最后一步計算超像素所在區域處于圖像邊界的長度，計算公式為：

(5)

式(5)中的δ(·)是指示函數，當δ=1時，超像素點位于圖像邊界BD，當δ=0時，超像素點不在圖像邊界BD上.最后可以計算出超像素的邊界連續值為;

(6)

式(6)中的LB是超像素所在區域處于圖像邊界的長度，A(·)是超像素點所占區域的面積.以圖像中各區域的邊界連續值為前提進行凸包前景選擇，選擇公式如式(7)所示.

CVf=

(7)

式(7)中的C1和C2是凸包中的超像素經過聚類算法之后的超像素聚，BC(·)是聚類中所有超像素的平均邊界連續值，pi是凸包中超像素，i表示超像素索引，t是設置的閾值.

1.2 前背景融合顯著性檢測方法

為了能夠更好地準確檢測顯著目標，只利用單一的顯著性檢測算法無法得到穩定的顯著檢測效果[12].因此，提出一種結合前景和背景的顯著性檢測算法，在得到前景顯著圖之后，利用背景進行流行排序顯著性檢測，融合前背景的顯著圖得到更為穩定的顯著性檢測結果.

圖像進行自上而下的顯著性檢測時，圖像邊界所包含的背景信息極為重要，圖像邊界作為背景先驗是流行排序顯著性檢測的關鍵[13].但是復雜圖像中的顯著性目標往往是較為分散的，因此針對復雜圖像，可以采用流行排序顯著性檢測，如圖2所示.

圖2 顯著性目標加測示意圖

圖2中黑色表示顯著性目標，灰色表示略微顯著目標，白色表示非顯著性目標.從圖2中可以看出，在顯著性目標檢測中，首先將圖片按照相同比例進行分區，對不同區域內的顯著性目標進行檢測.圖中箭頭所表示的是檢測順序，即對圖像進行自上而下、自左而右的檢測，依次能夠得到不同區域內的顯著性特征.但是流行排序顯著性檢測仍然存在一定問題，當模型對圖像進行流行排序顯著性檢測時，會由于邊界接觸到顯著目標而出現錯誤的高亮顯示，較為嚴重的情況下會完全抑制顯著目標.所以針對以上問題，提出了一種邊界背景改進的方法，利用改進方法進行背景提取主要分為五個步驟：第一步，將圖像外圈的最外一層超像素提取出來，以此為圖像邊界的集合，并且計算出CIELab顏色空間中每個超像素中的像素平均值，像素平均值就是超像素的特征向量.第二步，將邊界超像素的特征向量也就是像素平均值作為輸入，同時將輸入聚類為mi(i=1,…,k)，計算每一類到前景的歐式距離：

di=

D={d1,…,dk}

(8)

(9)

(10)

式(10)中的Q表示的是歸一化參數，將輸出的顯著值歸一化到[0,1]之間，Si表示不同的顯著圖，分別是高亮對應前景區域的圖和提檢測的背景顯著圖，Sm是線性融合之后生成的融合顯著圖，H(·)表示的是一種函數，其函數模型形式為H(x)={x,exp(x),-1/log(x)}.

2 多圖像融合顯著性檢測結果分析

2.1 圖像顯著性檢測效果對比分析

試驗的網絡訓練環境為Ubuntu16.04系統，CPU: Inter Xeon E5-2620以及GPU: NVIDIA TITAN X.選擇顯著性檢測常用的ASD、SED1和SED2三個數據集來進行實驗，ASD數據集相對簡單，其中共有1000張圖像，應用較為廣泛，而SED1和SED2兩個數據集相對復雜，各有100張圖像，圖像的顯著性目標變化較大.通過將前背景線性融合的顯著圖和其他經典算法進行顯著性檢測效果對比，為了更好地比較出融合顯著性檢測的優劣性，同時將近年來檢測效果較好的算法加入比較，顯著性檢測結果的視覺效果比較如圖3所示.

圖3 圖像視覺效果對比

對圖3進行圖像檢測效果分析，結果顯示見圖4所示.

圖4 顯著性檢測效果對比

從圖4中可以看出，研究中的圖像顯著性目標檢測視覺效果對比中，將FT[15]、CA[16]、PCA[17]、RC[18]、SF[19]、GS[20]、HS[21]、LMLC[22]、DSR[23]、GMR[24]和融合算法進行效果比較.圖4(a)是所有算法對圖像顯著性檢測后得到的顯著性目標高亮程度的對比，可以看出，融合算法在顯著性目標檢測中得到的目標高亮度達到了90%以上，顯著高于其余算法，表明融合算法可以清晰地將顯著性目標進行高亮顯示.圖4(b)是檢測得到的顯著性目標各原圖之間的位置重合度比較，可以看出，融合算法具有95%以上的重合度，仍然顯著高于其他算法.圖4(c)是檢測得到的顯著性目標還原度.即目標和原圖相似度，融合算法僅低于LMLC，但是并不顯著.綜上所述，前背景線性融合算法在多圖像顯著性檢測中所得到的顯著性目標明顯，并且目標位置和形狀與原圖具有高相似性.另外，就各個算法在不同數據集中的MAE值和運行時間對比分析，進行客觀評價.在CPU為Intel Core i32.4GHz，4GB內存環境下運行，結果如表1所示.

表1 各算法指標對比

表1顯示，在ASD數據集中，MAE值最大的LMLC算法為0.132，融合顯著性檢測算法的MAE值最小為0.069，明顯優于其他算法.在SED1數據集中，SF算法得出的MAE值最高，達到了0.232，融合顯著性檢測算法的MAE值為0.147，和GMR算法的MAE值相近，且小于其他算法.在SED2數據集中，LMLC算法的MAE值最高，達到了0.262，而融合顯著性檢測算法的MAE值僅為0.143，明顯低于其他算法.算法運行時間最長的是LMLC算法，總共運行時間為338.94s，其次為DSR算法，運行時間為13.12s，二者的運行時間都較長，融合顯著性檢測算法的運行時間與其他算法相近，用時較短僅為0.51s.綜上所述，本次提出的融合顯著性檢測算法在多圖像的顯著目標檢測中具有良好的檢測性能以及較短的運行時間.

2.2 圖像顯著圖融合效果分析

分別將顯著圖Sfg和Sbg利用線性結合的方式加在一起得出最后的融合顯著圖，并在ASD、SED1和SED2三個數據集中通過PR曲線的變化來進行客觀評價融合顯著圖的有效性，三個顯著圖的PR曲線對比如圖5所示.

圖5 顯著性檢測算法的PR曲線

圖5中的Sfg表示的是基于前景得到的顯著圖，Sbg表示的是基于背景得到的顯著圖，Sma表示的是經過線性結合得到的融合顯著圖.圖5(a)是在ASD數據集中的PR檢測曲線，三個顯著圖都是隨著召回率的增加，準確率開始降低，但是Sma在相同召回率下的準確率高于融合前的顯著圖.圖5(b)是在SED1數據集中的PR檢測曲線，可以看出Sma的PR曲線好于其他曲線.圖5(c)是在SED2數據集中的PR檢測曲線，可以看出Sma對應的PR曲線在整體的表現上也同樣優于其他顯著圖，當召回率達到0.8以后，Sma的準確率高于Sbg和Sfg.以上結果表明，當召回率較大時，聯合顯著圖Sma的的準確率更高，說明Sma對背景的抑制效果更好，得到的顯著圖更加穩定，也直接說明通過線性結合的方法實現多圖像的融合顯著性檢測是有效的.最后將不同顯著圖在不同數據集中的MAE值進行對比分析，結果顯示如表2所示.

表2 不同數據集上的MAE值

從表2中可以看出，在ASD數據中Sfg顯著圖的MAE值是0.072，Sbg顯著圖的MAE值是0.073，Sma顯著圖的MAE值是0.069，三個顯著圖在ASD數據集中的MAE值相近，但是Sma的MAE值稍低于其他兩個顯著圖.在SED1數據集中，Sfg的MAE值和Sbg的MAE值相同，同為0.145，低于Sma顯著圖的0.147.在SED2數據集中的Sfg顯著圖的MAE值是0.151，Sbg顯著圖的MAE值是0.154，Sma顯著圖的MAE值是0.143，Sma的MAE明顯低于其他兩個顯著圖.以上結果表明，在不同數據集中,融合顯著圖的MAE值都明顯優于其他單一計算檢測得到的顯著圖，說明將前景和背景顯著圖線性結合得出的融合顯著圖在總體上是有效且具有優勢的.

3 結 語

網絡社交的快速發展，使得從復雜的圖像數據中快速檢測出重要的顯著目標信息變得尤為重要.為了準確提取顯著目標，提出了一種線性結合的融合顯著檢測算法，在前景和背景顯著圖的基礎上融合生成最終的融合顯著圖，通過多種比較方法來分析新算法的有效性和優劣性.通過與其他算法在各個指標上的對比結果分析，融合顯著性檢測算法在視覺效果的表現上更好，背景的抑制較為穩定，并且新算法的MAE值在三個數據集中分別為0.069、0.147和0.143，說明研究提出的算法得到的計算誤差較小，且明顯優于其他算法；對數據集中的多幅圖像平均處理時間為0.51s，從圖像的融合效果進行分析可以看出融合顯著圖的PR曲線在三個數據集中都優于單一檢測的顯著圖.本研究對于圖像的顯著性檢測是在圖像存在顯著目標的前提下進行的，針對不存在顯著目標的圖像進行顯著性檢測算法分析將是下一步的研究方向.