基于幾何約束的改進SURF算法

易業曦，陸 艷，肖業夫，周政雷，劉運毅,2,3+

(1.廣西大學 計算機與電子信息學院，廣西 南寧 530004；2.廣西大學 廣西多媒體通信與網絡技術重點實驗室，廣西 南寧 530004；3.廣西大學 廣西高校多媒體通信與信息處理重點實驗室，廣西 南寧 530004)

0 引 言

在計算機視覺領域，特征提取操作能夠提取圖像的主要特征信息，再通過匹配特征操作可實現對目標的識別。作為圖像匹配的前提，圖像特征的提取會直接影響匹配處理效果[1]。尤其于工業視覺機器人領域，特征點的提取數量與匹配的精度對于后續工業機器人的操作有較大的影響。

對于經典的特征提取與匹配算法如SIFT算法[2]、SURF算法[3]、KAZE算法[4]等都有不少學者進行改進與探索，其中陳天華等[5]通過改進特征點描述算子，重新描述其特征點的方向，結合SIFT和ORB算子的特性，獲得了更強的旋轉與尺度不變性，實現了實時魯棒的匹配效果；桑書娟等[6]將分級聚類模型與最優節點優先方法引入SURF算法中，實現了更高效率與更高精度的圖像篡改識別功能；李鵬等[7]利用計算幾何變換模型來優選特征點，并在KAZE算法基礎上利用空間約束來提高匹配速度和精度，最后采用均方根誤差迭代法剔除錯誤匹配點，實現了具有更強適應性的多遙感影像匹配。

以上文獻中可見學者們主要對幾種經典的圖像進行研究，在理論上對算法進行改進，或者通過結合新的模型來提高特征提取與匹配算法的精度與效率，而針對于某一特定領域如工業領域的改進與研究較少。因此本文結合實際工業現場中的環境與作業需要，對經典的SURF算法進行改進，以期在工業應用中能獲得更好的性能。

1 基于曲線幾何約束的聚類算法過濾規則

在實際工業生產環境上采集到的工件圖像,可能會受現場光線或粉塵、工業機器人的運動干擾以及工作臺背景損耗造成的復雜背景線條的影響,如圖1所示。在使用傳統特征提取與匹配算法操作時,可能會出現提取出錯誤的特征點或者匹配精度下降的情況。為了能夠保證后續提取特征點的準備率與匹配的精度，本文算法從制定過濾規則過濾背景干擾曲線出發。

圖1 工業環境下的工件圖片

1.1 圖像預處理

為了制定適用于工業環境的過濾背景曲線幾何約束規則，首先需要對工業環境下采集到的工件圖像進行預處理，分析其具有的幾何特性。其中處理操作主要為對采集到的圖像進行濾波處理、邊緣檢測、連通域處理、過濾干擾曲線等[8],具體流程如圖2所示。

首先為了減少工業現場光線或粉塵對工件圖像的影響,需要對圖像進行過高斯濾波處理[9],在一定程度上能減少工件圖片中的噪聲影響。

為了分析工件圖像的幾何特性，需要檢測出工件的主要特征曲線。本文首先采用Canny算子[10]進行邊緣檢測處理，其能檢測出整幅圖像的曲線信息。其中為了保留更多的工件圖像曲線信息以便后續處理，將Canny算子的閾值設為0.01，效果如圖3所示。

圖2 基于聚類的曲線過濾規則流程

圖3 Canny邊緣檢測

由Canny算子檢測出的工件曲線圖可知，圖中包括了前景工件的形狀曲線和復雜背景里的干擾曲線，兩種曲線相互交錯連接。如果按照一定的規則過濾曲線，在過濾了背景曲線的同時也會過濾一部分工件曲線。為了避免此情況，采用提取圖像連通域后打斷連通域分叉的方法對圖像進行處理，將粘連到一起的曲線分隔開，其處理效果如圖4所示。

圖4 連通域打斷分叉

仔細觀察可發現，通過預處理后圖像中的曲線在曲線長度、曲線所圍周長、曲線所圍面積這3個幾何特性上有較大的差異。背景曲線與工件曲線在幾何特性上的差異為后續過濾規則的制定提供了理論依據。

1.2 根據曲線幾何特性制定過濾規則

為了利用背景曲線與工件曲線在幾何特性上的差異,將差異定量分析。分別依據長度、周長、面積提出了3個幾何約束規則：

(1)基于曲線長度L的約束規則。由于實際采集到的圖像中，目標工件的曲線都具有完整且較長的長度，而復雜背景中的曲線一般都較短，依據適當的長度閾值可以過濾復雜背景中的曲線。因無法直接測量圖像連通域中某一段曲線的長度，本文將每個連通域中像素點的個數N來體現某段曲線的長度L。

(2)基于曲線周長P的約束規則。通過對曲線長度約束后的實驗數據進行分析,該約束規則過濾干擾曲線時不能過濾分布在背景中長度相同，但具有不同彎曲程度的曲線。為了處理該情況，本文通過將包圍某一段曲線的最小矩形的周長近似看成該段曲線的周長。預先設定周長閾值，便可過濾具有特定周長和彎曲的干擾曲線。一段曲線的周長具體由該曲線上的點的最大值與最小值確定，其計算公式如式(1)所示

P=(max(X)-min(X)+max(Y)-min(Y))×2

(1)

其中，X，Y分別為曲線上的點的橫坐標與縱坐標。

(3)基于曲線面積S的約束規則。由于存在當包圍某段曲線的最小矩形的周長相等時，其包圍某段曲線的最小矩形的面積不相等的情況。為了進一步過濾此種情況下的干擾曲線，利用包圍某段曲線的最小矩形的面積作為一個度量過濾曲線，可增加干擾曲線與工件曲線的區分度。一段曲線的面積具體由該曲線上的點的最大值與最小值確定，其計算如式(2)所示

S=(max(X)-min(X))×(max(Y)-min(Y))

(2)

分別使用以上3個過濾規則過濾干擾曲線的效果如圖5所示，其中每個規則的閾值由其規則直方圖確定。

圖5 3種過濾規則效果

1.3 基于聚類的曲線過濾規則

由于使用上述過濾規則過濾背景中的干擾曲線以及工件形狀上的干擾曲線需要根據每個工件圖片的直方圖確定閾值，為了提高在工業應用時的自適應能力，采用無監督學習的K_Means聚類算法[11]與幾何約束過濾規則結合，實現曲線的分類處理，達到自適應過濾干擾曲線的目的。

K_Means聚類主要是依據相似性原則，按所有數據的相似程度將每個數據劃分至對應的類別，即相似程度高的數據能聚集到同一類中，而相似程度低的數據會劃分到不同的類中。對比其它分類方法，K_Means聚類算法為無監督過程，不需要具有先驗知識的數據集參與計算，只需要依據工業現場處理的工件圖像選取合適的聚類中心初始點個數，便能完成曲線分類與過濾操作?；诰垲惖那€過濾規則流程如圖6所示。

圖6 基于聚類的曲線過濾規則流程

考慮到本文算法的主要對象為實際工業環境下采集到的工件圖像，其中包括目標工件曲線與背景干擾曲線，應當將聚類算法的中心初始點設為2。即將所有干擾曲線分為兩大類，一類是目標工件形狀曲線，另一類是背景干擾曲線和工件上的干擾曲線。但通過具體實驗結果可知，此方法可能過多過濾了全圖的曲線，如一部分與背景干擾曲線相似的工件形狀曲線也會被聚類算法劃分到干擾曲線的分類中，可能存在錯誤過濾工件形狀曲線的情況，造成工件形狀曲線的信息缺失。

因此需要通過實驗，確定符合工件圖片的聚類中心初始點個數。實驗效果如圖7所示(其中k為初始中心點個數)。

圖7 聚類算法處理結果

通過對比不同初始中心點個數的效果可知：

(1)初始中心點個數k=1時，圖像曲線只分為一類，不做處理，保持原圖曲線；

(2)初始中心點個數k=2時，圖像曲線分為兩類,即主體工件曲線類與干擾曲線類。由圖7(b)知，通過過濾最弱曲線類，即過濾干擾曲線類，干擾曲線能完全過濾，但因干擾曲線類中包含大部分的工件曲線，部分主體工件曲線也被過濾了；

(3)初始中心點個數k=3時，圖像曲線會被分為3類，即主體工件曲線類、過渡曲線類、干擾曲線類。其中過渡類曲線包含的是曲線幾何特性處于工件曲線與干擾曲線之間的類別。過濾最弱類后，仍然有部分主體工件曲線被錯誤過濾了，因此初始中心點個數為3時也無法準確地過濾干擾曲線；

(4)初始中心點個數k=4時，圖像曲線會被分為4類，即主體工件曲線類、兩個過渡曲線類、干擾曲線類。由結果可知，通過此分類進行過濾曲線，圖像中仍存在一部分干擾曲線，但是主體工件曲線能夠完整保留下來，并不會被錯誤過濾；

綜合以上4種情況，為了保留完整的主體工件曲線，選擇初始中心點個數為4。并可通過多次進行此聚類算法，進一步過濾干擾曲線，得到不含干擾曲線的完整的工件形狀曲線圖，如圖8所示。該基于幾何約束的聚類算法過濾規則簡化了處理過程，更適用于實際的工業應用。

圖8 多次基于曲線特性聚類處理效果

2 基于幾何約束的改進SURF算法

2.1 SURF算法的Hessian矩陣跡處理

SURF算法相較于其它經典匹配算法，具有耗時更短，精度更高等優勢，其核心是Hessian矩陣[12]，又稱為海森矩陣。利用Hessian矩陣可優化多元函數求極值。在SURF算法中，圖像中的每一個像素點都可以通過計算得出對應的Hessian矩陣行列式，根據該行列式的取值正負判斷是否極值點，再分類極值點可得到近似值圖像。Hessian矩陣主要由函數和偏導數兩部分組成。假設一個點的函數值為f(x，y)，則該點的Hessian矩陣為

(3)

在圖像處理中，設圖像中一個像素點為x=(x，y)，則該點x在尺度σ中的Hessian矩陣為

(4)

其中，Lxx(x,σ)是像素點在圖像I的x方向的二階導數，同理Lxy(x,σ)、Lxy(x,σ)、Lyy(x,σ)也是在對應方向上的導數二階導數。

為了保證特征點的尺度不變性[13]，需要預先對原圖像進行高斯濾波處理操作后再構造對應Hessian矩陣，其計算公式如下

L(x,t)=G(t)×I(x,t)

(5)

其中，L(x,t)是在不同解析度下的圖像?？捎酶咚购薌(t)和圖像函數I(x,t)在圖像點x的卷積來表示，其中常用高斯核G(t)公式為

(6)

通過以上處理可以近似計算出圖像的每個像素點的近似Hessian矩陣。原SURF算法中采用的是Hessian矩陣的行列式值來表示單個像素點的信息，在本文算法中，改為采用Hessian矩陣的跡。矩陣的跡為矩陣對角線元素之和，其包含了該點基本的幾何特性信息。通過改變圖像的高斯模板大小處理得到不同尺度的近似值圖，其中Hessian矩陣跡進行處理后具有更明顯的幾何特性，如圖9所示。

圖9 不同尺度的原圖與Hessian矩陣跡

2.2 對Hessian矩陣跡的連通域應用幾何約束應用規則

利用基于聚類與幾何約束的曲線規律規則同時對不同尺度原圖及Hessian矩陣跡的處理效果實際過濾分析，處理效果如圖10所示。

圖10 對不同尺度的原圖和矩陣跡處理效果

對相同尺度的原圖和Hessian跡處理，Hessian矩陣跡能夠保留更為完整和精確的目標工件曲線，且背景中不存在干擾曲線。而對比不同尺度的原圖和不同尺度的Hessian矩陣處理效果，可知在第0尺度能夠保留豐富的特征信息。綜上，考慮使用第0尺度的Hessian矩陣跡進行后續處理操作。

2.3 基于幾何約束的改進SURF算法

為了更好地把SURF算法應用于對實際作業環境中工件的特征提取與匹配，通過提出的基于幾何約束的過濾干擾曲線規則，結合對不同尺度的Hessian矩陣跡的處理，對原SURF算法進行了相關改進及補充。改進后的SURF算法主要流程如圖11所示。

圖11 SURF算法流程

本文主要針對原SURF算法進行了以下改進：

(1)修改原始SURF算法中對基礎特征點的提取規則，同時提高提取極大點的閾值，使該算法能提取更多待過濾的特征點；

(2)通過本文提出的基于幾何約束的曲線過濾規則對圖像Hessian跡進行處理，提取得到目標工件的形狀曲線，并與提取出的特征點進行校驗。通過校驗與篩選得到具有幾何特征信息的點，即分布在目標工件形狀曲線上的點作為匹配特征點進行后續匹配操作。

3 實驗與對比

首先分別利用原SURF算法與改進后的SURF算法對工業現場作業過程中采集到的圖像進行特征提取與匹配，初步驗證改進后SURF算法的表現。實驗效果對比如圖12、圖13所示。

圖12 實際提取特征點效果對比

圖13 實際匹配效果對比

根劇實際特征點提取與匹配效果對比可知，原SURF算法主要提取的特征點位于工件的拐角、棱角、頂點處，且提取了一部分位于雜亂背景中的特征點，并不能體現工件的幾何特征信息。而改進后的SURF算法不會提取到復雜背景中的錯誤特征點，且對比原算法能提取更多位于工件上的特征點。這些特征點都分布在工件的幾何邊緣處，經匹配后能體現工件更豐富的幾何曲線特性。

由于無法對工件圖片進行客觀評價，為充分驗證所提算法的有效性，采用牛津大學經典圖像匹配數據庫中Bikes、Leuven、Ubc、Graffi這4組圖像進行實驗。4組圖像分別對應的是圖像模糊、拍攝角度、光照變化、JPEG壓縮比變化。同時利用原SURF算法和改進SURF算法對4組圖像進行處理，實驗效果與數據如圖14與表1所示。

圖14 實驗效果對比

表1 實驗數據對比

由4組圖像的整體處理效果與數據可知：①改進后的SURF算法能夠大幅度增加基準圖特征點數、待匹配圖特征點數和匹配特征點數。且利用基于幾何約束的曲線過濾規則提取的特征點分布在前景幾何邊緣上，能夠更好地表示圖像中目標曲線的線性特征，以便進行后續匹配。②在匹配過程的特征點大量增加的前提下，改進后SURF算法的匹配準確率相對于原SURF算法在4組圖像上皆有明顯提升。同時利用檢索特征點的PR(precision recall)曲線對實驗結果進行統計分析，其對應計算公式如下

(7)

(8)

其中，TP為檢測到的正確特征點個數，FP為檢測出的錯誤特征點個數，FN為錯誤排除的特征點個數。其中數據庫中的Leuven圖像PR曲線如圖15所示。

圖15 Leuven圖像PR曲線

圖15中橫坐標為精確率P，縱坐標為召回率R，結合PR曲線圖與表1數據，可知本算法在沒有降低原算法特征點檢索效率的基礎上提高了匹配精度，并且能在實際工業作業環境中，大量提取實際工件圖像上分布在幾何邊緣的特征點，為接下來的匹配工作提供更豐富和更準確的圖像信息。

4 結束語

本文提出了一種基于幾何約束的改進SURF算法，通過分析分布在工件圖像中前景與背景中曲線幾何特性的差異，并針對前景工件曲線的幾何特性制定相應的過濾規則，同時在SURF算法中Hessian矩陣跡進行優化處理和應用過濾規則，得到目標的形狀曲線圖，進一步使得在圖像的邊緣區域或主要幾何區域獲得密集的特征點進行匹配。在實驗過程中，在處理實際工廠環境中采集到的圖像時，改進后SURF能比原SURF算法提取到更多的有效特征點數，得到更高的匹配準確率。結果表明，本文算法在處理實際工業環境下的工件圖片方面是有效的。在今后的研究中，仍需進一步優化并提升算法的性能與自適應性，以期能夠應用于更復雜的工業環境中。