帶邊界項的結構敏感性超像素圖像分割方法研究

張建宇，張榮國，胡 靜，劉小君，王 芳，李曉明

(1.太原科技大學計算機科學與技術學院，太原 030024；2.合肥工業大學機械工程學院，合肥 230009)

Ren等人[1]于2003年提出超像素是具有相似顏色、紋理、亮度等特征的空間上相鄰的像素組成的像素塊。將圖像預處理為具有意義的超像素，可降低圖像后續處理的復雜度，顯著提高了計算效率。超像素分割作為圖像處理的重要預處理步驟，已被廣泛的應用于圖像分割[2]、計算機視覺[3-4]等領域，如：顯著性檢測[5-6]、圖像分割[7-8]、視頻分割[9-10]等。

現存的超像素分割方法很多，其中結構敏感性超像素分割方法有SSS算法[11]和MSLIC算法[12]，MSLIC算法繼承了SLIC算法[13]的所有優點，如簡單高效等，分割速度是SSS算法的十倍左右，并且在結構敏感性圖像分割方面表現的非常好，但是基于歐式距離的RCVT[14]和正方形的搜索框，難以適應多樣圖像，所以在原有的基礎上加入了邊界特征，對單個像素在8領域檢測超像素邊界在真實圖像邊界的度量來進一步的優化提高分割的超像素質量，保證生成超像素更加貼合真實圖像邊界。實驗證明加入邊界項之后的算法生成的超像素在多個測量指標下的表現良好。

1 SLIC方法

2 MSLIC方法

MSLIC擴展了SLIC以計算結構敏感的超像素，同時它繼承了SLIC的所有優點，例如簡單性和高性能。MSLIC使用CIELAB顏色空間，將圖像l中像素p=(u,v)的顏色表示為c(u,v)=(l(u,v),a(u,v),b(u,v))，定義了一個伸縮圖Φ:l→5，將像素映射到包含顏色和空間5維向量的2維流形M[16]中,流型M中兩點間的距離度量為:

(1)

通過平面三角形區域△Φ(p1)Φ(p2)Φ(p3)估算曲面三角形區域Φ(△p1p2p3):

Area(Φ(△p1p2p3))≈

(2)

對于區域Ω?I?2，M上相應區域Φ(Ω)?M的面積取決于Ω的面積和Ω的強度或顏色變化。Ω中顏色的變化越大，Φ(Ω)的面積就越大，反之亦然。在M上計算統一的曲面細分，反映射Φ-1到圖像l中就是結構敏感性超像素。

3 帶邊界項的結構敏感性超像素分割方法

MSLIC在2維流形M和輸出結構敏感的超像素上生成統一的曲面細分。而根據Φ(Ω)的面積大小來衡量是否存在結構敏感性區域。能夠高效快速的生成結構敏感性超像素，而基于顏色和歐氏距離的度量不能很好的保證超像素邊界在真實圖像的邊界上[17]，為進一步保證結構敏感性超像素的邊界更加貼合真實圖像邊緣，故引入了新的測量，以p為中心的8連通領域上計算像素在真實圖像邊界上的可能性，其計算式為：

(3)

其中：R3(x)是以像素p為中心的8連通領域的所有像素的集合，并且pi∈R3(x),|R3(x)|是R3(x)中的像素總數，g(p)是像素p的梯度，γ是變化因子，Gδ是高斯系數。

如果像素p四周的像素pi的強度均勻的區域中，則g(pi)的值小并且與g(p)非常相似。如果像素p在圖像邊界上，則圍繞它的像素的強度沿邊界的正交方向變化極大，并且邊界附近的像素的梯度值大，而其他像素的梯度值小。因此，w(p)變大。w(p)的值越大，對象邊界上的像素p的概率越高。設計了一個邊界項，使超像素的邊緣與圖像中的對象邊界對齊：

(4)

其中：μ1和μ2是參數因子，δ2是ηkp的數學期望，ξ2是圖像中w(p)的平均值。在以像素p為中心的局部窗口中，ηkp是其標簽不等于k的像素數，該像素由該窗口中的像素總數歸一化。ηkp計算為：

(5)

R3(x)′={p|p∈R3(x)}，并且|R3(x)′|是集合R3(x)′中的元素的數量。在某種程度上，ηkp的值表示像素x是否在超像素的邊緣上的概率。等式(5)由兩個項組成，而第二個是每個像素的常數。因為無論像素是在圖像中的物體邊界上還是位于先前的超像素邊緣上，它都可能在下一次迭代中屬于超像素邊緣。 這意味著只要B(p)和ηkp之間的一個值很大，ηkp的值就應該很大。因此，ηkp的公式應該是這兩個部分的總和。邊界項是為了確保超像素的邊緣盡可能好地粘附到圖像中的對象邊界。該算法時間復雜度為O(N)，其中N為像素個數。

4 實驗結果對比分析

對算法進行評估的實驗圖片來自Berkeley標準數據集[18]，為了驗證改進算法的有效性，將其與現存的SLIC算法、LSC算法[19]、SEEDS算法[20]和MSLIC算法進行比較。接下來用召回率[21]、欠分割誤差[21]和緊湊性[22]對算法分割效果進行了評估。實驗表明改進后的分割方法表現良好。

表1 算法步驟及流程Tab.1 The algorithm steps and processes

實驗環境：本算法實驗在windows10，CPU 3.0 GHz，4 GB RAM的計算機上通過visual studio 2015來運行實現，通過使用matlab來進行實驗評估。

①召回率：是測量邊界貼合度的重要評估指標，廣泛的應用于超像素分割來評估分割質量，召回率表示真實分割中邊界的像素被檢測到是否在超像素中。

②欠分割誤差：測量與真實圖像分割重疊的超像素的緊密度分割錯誤描述了真實圖像分割重疊的超像素的緊密度。

③緊湊性：是緊湊性是規則邊界的理想特性，對于給定區域邊界長度，其面積形狀越大，緊湊性越好。

因篇幅所限，本文僅展示兩張分割效果圖1和圖2.兩張原圖是Berkeley數據集中481*321圖像。

圖1 人物圖像分割Fig.1 Character image segmentation

圖2 風景圖像分割Fig.2 Scenery image segmentation

從上看出改進方法的分割表現非常的好，但為了進一步評估算法性能的真實情況，我們使用以上六種評估指標，選取Berkeley數據集中編號為6046的動物圖像在不改變原始參數的情況下，將LSC算法、SEEDS算法、SLIC算法、MSLIC算法和改進算法，每個算法迭代五次生成實驗數據來進行試驗評估。

其中圖3為召回率對比曲線圖，圖4欠分割誤差對比曲線圖，可以從對比曲線圖中看出，改進的方法有著明顯的優勢，改進的方法的各方面表現明顯好于原MSLIC方法，邊界貼合度得到了明顯的提升，證明了改進算法的可行性，加入邊界項度量對生成超像素的表現有著明顯的影響。

圖3 召回率對比曲線圖Fig.3 The comparison of recall

圖4 欠分割誤差對比曲線圖Fig.4 The comparison of under-segmentation errors

圖5為緊湊性分割對比圖，從對比曲線圖可以看出改進的算法緊湊性方面所下降，這是因為加入邊界項度量所導致的，然而對原MSLIC算法進行改進便是為了提高算法的邊界貼合度，以便提高后續圖像處理的準確度，緊湊性的下降同樣在預期之中。

圖5 緊湊性對比曲線圖Fig.5 The comparison of compactness

表2給出Berkeley數據集編號為3063、368037、5096數據的評估結果，將LSC、SEEDS、SLIC、MSLIC和改進算法均預分割200個超像素。給出了欠分割誤差，召回率、緊湊性的具體評估結果。

表2 三種算法在評估指標下的評估結果Tab.2 Evaluation results of five algorithms under evaluation indicators

5 結論

結構敏感性超像素可以生成大小不一的超像素，更加能夠保證生成超像素內部信息一致。在原有的MSLIC算法的基礎上加入邊界項來判別像素是否在真實圖像邊界上的，從而進一步優化生成超像素。實驗對比了LSC算法、SEEDS算法、SLIC算法、MSLIC算法。結構表明改進方法在邊界貼合度和可實現分割準確度上更具有優勢，更加有利于后續圖像處理。雖然算法在運行速度上要低于原算法，但在保證其他性能提高的情況下可以接受。