融合彩色信息和深度信息的GrabCut圖像分割

凌 濱 郭 也 趙永輝 李 超

(東北林業大學機電工程學院 黑龍江 哈爾濱 150036)

0 引 言

圖像分割是根據特定的特征將圖像劃分為若干個區域并且提取目標區域的技術和過程，是圖像處理過程中基礎又重要的步驟之一，圖像分割的效果直接影響后續的特征提取與目標識別等工作。近年來，對二維圖像分割的研究已經趨近成熟。隨著Kinect、RealSense等深度傳感器的出現，有關研究已經逐漸由基于二維的彩色信息、灰度信息、紋理特征等發展到了基于距離、法線、密度等離散點的三維空間模型，這些深度傳感器的出現大大豐富了圖像分割的內容和方法。

Graph Cuts是Boykov等[1]在2001年提出的一種基于圖論的經典圖像分割方法。GrabCut是Rother等[2]在此基礎上所作的改進，其采用迭代的圖割進行迭代分割，通過建立三維高斯混合模型，來對圖像中的顏色信息進行統計，以獲取權重，具有更高的分割精度。該方法雖然降低了用戶交互量，但是迭代時間較長，并且當場景中前景與背景反差較小時，效果較差。Li等[3]提出先利用分水嶺算法對圖像進行預分割，再利用GrabCut算法進行劃分，但是并沒有對圖像中的顏色信息加以利用。胡志立等[4]提出用簡單的線性迭代聚類算法(SLIC)，以超像素來代替像素，有效地提高了GrabCut算法的效率。Qiu等[5]提出了一種改進的局部先驗分布的圖像抓取方法，利用局部先驗分布來改變GrabCut的能量函數以得到分割結果。Cheng等[6]基于緊密度的顯著性計算方法，利用外觀相似和空間分布來進行顯著性檢測。周帥駿等[7]使用多種先驗信息融合的算法得到顯著圖進行檢測。Yang等[8]提出了基于圖論的流形排序算法，該算法考慮到了前景和背景區域對檢測對象的影響，通過基于圖論的流行排序算法對圖像像素或區域中與前景和背景的相似性進行排序，通過前景先驗和背景先驗有效地實現了對圖像的顯著性檢測。

當目標和背景顏色差異較小時，僅利用顏色信息不能準確地分割出物體，深度信息可以描述出物體距離拍照源的遠近，更加準確地區分目標對象和背景，同時利用深度信息和顏色信息可以使分割結果更精確。為了解決GrabCut算法迭代時間長的問題，考慮到SLIC算法花費時間少并且分割的效果較好，本文在構造圖模型時使用SLIC算法將圖像分割做塊狀分割，先定義深度特征，再以超像素為節點構造圖模型，來定義特征向量。同時，為了更準確地解決前景與背景差別較小時分割效率低下的問題，本文利用物體深度信息的同時提出一種基于背景和前景先驗的GrabCut圖像分割方法，從而得到更好的分割效果。

1 GrabCut算法簡介

Graph Cuts算法是一種交互式分割技術，可以將圖像根據目標和背景分割成多個片段。這種算法將圖論思想應用于圖像分割領域，該方法首先將圖像映射為一幅網絡圖，如圖1所示。圖由頂點和邊組成，首先用無向圖表示要分割的圖像，頂點對應于圖像中每個像素，相鄰節點連接成邊，稱為n-link。GrabCut算法在此基礎上，增加除像素外的另外兩個頂點：源點S和匯點T，每個節點分別與這兩個頂點相連，形成的邊稱為t-link，每條邊都有對應的權值，權值能反映出相鄰像素點的關系，也可表示為像素點與背景、前景的相似程度，建立相應的能量函數，最終用最大流/最小割算法來實現圖像分割。

圖1 Graph Cuts算法流程圖

GrabCut采用了高斯顏色混合模型(GMM)代替直方圖來替換單色圖像模型的顏色，并且降低了用戶交互程度，用戶只需要選擇目標區域即可以利用其迭代模式實現分割。

用于分割的Gibbs能量函數為：

E(α,k,θ,z)=U(α,k,θ,z)+V(α,z)

(1)

式中：E為Gibbs能量；U為數據項；V為光滑項。

考慮到GMM模型的顏色，定義數據項U為：

(2)

D(αn,kn,θ,zn)=logp(zn|αn,kn,θ)-logπ(αn,kn)

(3)

式中：p(·)是高斯概率分布；π(·)是混合加權系數。

用平滑項V來表示圖模型邊上的權值，可用RGB空間的歐氏距離求出：

(4)

式中：C為成對相鄰像素對；β為常數項；Rother等[2]經過實驗得到γ=50。

2 改進的GrabCut算法

現有的圖像分割方法中，一般都是從二維角度即顏色信息對目標物體進行分割，本文考慮到了顏色信息與深度信息的互補性，同時提取顏色特征和深度特征，可以有效地提升分割效果。

由于未經處理的深度圖像中深度特征較為粗糙，直接選作為特征會導致結果不準確，因此在本文中先對深度圖像進行預處理，并將深度圖進行優化以計算深度顯著值。在此基礎上利用前景先驗和背景先驗對融合了顏色特征和深度特征的顯著圖進行優化，以獲得更好的分割效果。

2.1 深度圖預處理

本文的彩色圖和深度圖都是由RealSense深度傳感器獲得，由于傳感器性能的限制，獲得的深度圖會受到一些影響。為解決圖像中存在的一些孔洞導致彩色圖圖像和深度圖不能對準的問題，在這里使用形態學開閉運算來優化灰度深度圖。開運算可以祛除小的背景噪點，使目標對象的輪廓光滑；閉運算可以填補輪廓中斷裂的部分。形態學開閉運算是建立在腐蝕和膨脹的基礎上的。由于圖像中存在非規則細節和噪聲干擾，容易產生過分割現象，利用此算法可以有效地避免這個問題。

原理可以簡單地表示為：

A°B=(AΘB)⊕B

(5)

A·B=(A⊕(-B))Θ(-B)

(6)

式中：° 為開運算符；·為閉運算符。

運算后設定初步閾值，對優化后的深度圖進行粗分割。選定較大閾值將圖片背景顏色相對較深的區域除去。經試驗，將參數設為160時可以有效地去除部分相對較深背景信息，并保留相對的前景圖像信息，減少了后續處理的區域，加速了算法的處理時間。

2.2 圖模型的構造

2.2.1 深度特征的選擇

本文利用深度信息作為約束特征來進行排序。從深度圖中提取深度信息代替顏色特征成為相關性，通過文獻[9-10]，將深度特征定為每個像素的深度和表面法線，表面法線由文獻[11]計算。

構造圖模型時，節點是由SLIC分割方法生成的超像素[4]，當在深度圖中直接利用SLIC算法時，由于其測量距離的問題，效果并不好。原方法中圖像的加權距離是根據CIELab的顏色和位置測量的，本節中將加權距離定義為包含深度、法線和空間接近度的距離測量：

(7)

(8)

(9)

式中：dd和dn分別表示像素i和j之間的深度距離和正常差值；dc和ds為使用Nc和Ns測量的歸一化的顏色和空間的原始距離；D是兩個像素之間的最終距離。

利用深度特征來構造圖模型，需要首先構造單層圖G=〈V，E〉，V是節點集合，每個節點都是由SLIC算法生成的超像素，E是加權邊的集合。結合深度線索，將特征向量定義為fc=[c,d,n]T，其中，c、d和n分別代表的是CIELab顏色值、深度值和每個超像素中像素的表面法線的歸一化平均值。兩個節點之間的權重wcij定義如下：

(10)

式中：σCc、σCd、σCn分別是控制權重強度的常數。

2.2.2 基于深度的背景先驗

一般認為分割對象很少接觸背景的邊緣部分，因此可以假設圖像的邊緣為背景[9]。流形排序算法是先后選擇圖像的4個邊界上的節點為背景查詢點，其他邊界上的節點作為未標記的數據。以圖像其中一個邊界為例，選取邊界上的節點作為背景查詢點，這時就可以確定向量y，先選擇圖像上邊界的節點作為種子點來對超像素進行排序：

f*=(D-αW)-1q

(11)

同時，將向量中元素的值歸一化，即可得到以一個邊界的節點為依據的顯著圖：

(12)

SA(i)=St(i)×Sb(i)×Sl(i)×Sr(i)

(13)

式中：St(i)、Sb(i)、Sl(i)、Sr(i)分別表示以上邊界、下邊界、左邊界、右邊界為背景查詢點得到的顯著圖；SA(i)為最后得到的背景先驗顯著圖。

2.2.3 基于深度的前景先驗

目標對象通常在空間分布方面較為緊湊，在特征分布方面較為均勻，與背景區域相反。雖然經過背景先驗可以檢測到目標對象，但是可能會錯誤地選擇節點作為查詢區域。經過本節的前景先驗[13]之后，可以更精確地檢測目標對象。為了完整突出分割對象，在前文流形排序算法構造圖模型的基礎上，以圖像的中心矩為查詢對象，并作為查詢節點進行查詢。查詢區域定義為Y，并使用超像素間的綜合特征來定義連接邊的權重：

(14)

(15)

此時式(15)更換為：

(16)

前景顯著值SB(i)同理。

2.3 深度圖與RGB圖融合和優化

前景先驗和背景先驗各有優點。通過前景先驗可以使目標更具完整度，獲取當前前景先驗顯著圖，通過背景先驗可以有效地突出前景區域，其流程如圖2所示。

圖2 部分算法流程圖

將顯著圖與粗定位后得到的二值圖進行邏輯“與”運算，得到粗分割圖。運算方式為將粗定位二值圖進行圖像遍歷，由于二值圖中灰度等級只有兩種狀態，在遍歷過程中，如果當前像素值為0，則不作處理，如果為255，則獲取該坐標下對應的彩色圖上的點，并映射到粗分割圖中，最終獲得處理后的粗分割圖。

在與深度圖的深度特征進行融合后，即可得到具有綜合特征顯著圖，為后文提升圖像分割效果打下基礎：

S=αSA(i)+SB(i)

(17)

式中：α為RGB和深度顯著圖之間的權重；S是最終的RGB-D顯著圖。

為了得到更好的效果，將前景先驗顯著圖和背景先驗顯著圖融合，利用文獻[14]對圖像超像素的顯著性進行優化，通過優化函數對顯著圖進行優化并獲得最終顯著圖。優化函數為：

(18)

式中:v(i)為每個超像素的顯著值。

2.4 融合深度信息的GrabCut算法

傳統的Grabcut圖像分割算法是基于顏色信息使用混合高斯模型來進行分割，但是當圖像中前景背景差別較小時，對信息的處理能力就會變差，不能得到令人滿意的結果。

本文在預處理過程中，以深度信息指導顯著信息，將顯著性作為約束項來改進能量函數[12]，將能量函數中的數據項改為：

(19)

式中：d為深度信息。同時式(3)變為：

(20)

為了將含有深度信息的約束項融合到原算法的能量函數中，需要算出含有深度信息超像素的自適應權重：

(21)

式中：F、B分別對應前景和背景的GMM；GMMc為顏色的KL距離；GMMd為含有深度的顯著信息的KL距離?？梢钥闯鰴嘀赜深伾畔⒑秃猩疃鹊娘@著信息共同決定。當顏色差別不大時，由顏色決定分割；當顏色差別較大時，由含有深度的顯著信息決定分割。

將深度信息同樣融入能量函數的數據項為：

(22)

則最終的能量函數公式為：

E(α,h,θ,z,d)=∑{D(α,h,θ,d)+βD(α,h,θ,d)}+

{V(α,z)+δV(α,d)}

(23)

本文融合深度信息的GrabCut算法改進流程為：

1) 輸入深度圖像，利用式(5)、式(6)對圖像進行預處理；

2) 選擇深度特征，構造圖模型，對圖像進行超像素分割，由式(14)和式(17)得到基于深度的前景先驗顯著圖SA(i)和基于深度的前景先驗顯著圖SB(i)；

3) 將步驟2中的顯著圖SA(i)和SB(i)根據式(17)和式(18)進行融合并優化；

4) 歸一化顯著圖根據式(19)-式(22)融合到GrabCut算法的能量函數中以初始化GrabCut算法；

5) 迭代運行GrabCut算法；

6) 得到最終的分割圖像。

3 實驗結果與分析

本文算法的實驗平臺為:Ubuntu16.04，Opencv 3.4.0開發庫，CPU i3-4150，RAM 4 GB。首先對實驗中的參數進行說明：粗分割階段，設定的閾值為t=160；初步精分割階段，本文用了SLIC算法，輸入圖像分割為500、m=20。

3.1 實驗分析

本文GrabCut算法的改進思路為：首先對深度圖進行優化，獲得基于深度圖的粗分割圖；參考文獻[16-17]中的方法，使用SLIC算法對粗分割后的圖像進行超像素分割；然后對處理過的圖像應用前景先驗和背景先驗，得到前景先驗顯著圖和背景先驗顯著圖，將二者進行融合；最后用Grabcut算法進行分割。實驗步驟如圖3所示。

圖3 實驗步驟實例

圖3中：(a)為RGB原圖，獲取對應的深度圖后，為了方便提取圖像中的信息，首先將深度圖轉為灰度深度圖(b)，并優化得到(c)；對處理過的深度圖進行粗分割得到(d)；對彩色圖與粗分割后的圖進行融合得到(e)；對融合后的圖進行超像素分割，將圖像分割成塊狀圖(f)，以減少計算時間；對分塊后的(f)分別進行前景先驗和背景先驗，生成前景先驗顯著圖和背景先驗顯著圖，將二者融合并進行優化，結果如(g)所示；最終使用GrabCut算法進行分割得到(h)。

3.2 對比實驗

為了進一步驗證本文算法的性能，分別將本文算法與其他圖像分割算法的分割效果進行對比，本文在公開數據集SUN3D上進行實驗。兩種算法分別來自文獻[2,18]，對比結果如圖4所示。

(a) 原始圖像

(b) 深度圖像

(c) GrabCut算法分割圖

(d) DGC-GrabCut算法分割圖

(e) 本文算法分割圖圖4 不同算法分割結果對比

可以看出：由于原GrabCut算法是基于二維平面的，只利用了圖中的顏色信息，所以當前景與背景顏色相似時，分割效果較差，如顯示屏背景與顯示屏顏色一致，錯誤地將背景劃分為目標對象；圖4(d)中，DGC-GrabCut算法易產生過分割現象，影響分割結果；相較于前兩種算法，本文算法分割的物體輪廓清晰，效果較好。算法分割時間對比如表1所示。

表1 算法運行時間對比 s

雖然本文算法處理時間不占明顯優勢，但是由于本文算法預處理過程較多，使用SLIC算法也減少了整體分割時間，在合理的時間范圍內得到了更準確的分割結果。

4 結 語

本文針對GrabCut算法迭代時間長、前景與背景差別小時分割效率低下的問題，提出了一種融合彩色和深度信息的算法改進。利用深度信息，將圖像進行粗分割，得到的結果再融合彩色信息，對融合后的圖用超像素分割為塊狀圖，提升計算速度的同時也提高了計算精度。當目標物體和背景相差不明顯時，利用前景先驗和背景先驗來解決分割效果差的問題，更加準確地去除背景，從復雜背景中準確地分割出目標物體。