局部遮擋條件下的普通工件定位檢測

余振軍，孫 林，賈坤昊，孫 洋

(山東科技大學 測繪科學與工程學院，山東 青島 266590)

0 引 言

目標定位檢測作為圖像處理的關鍵技術，一直是模式識別的熱點問題。目前，大致分為以下思路：一種是傳統計算機視覺檢測方法，一種是基于深度學習的目標定位檢測方法。傳統方法中，通常利用目標的輪廓信息構建形狀描述子，通過形狀描述子間的相似度實現目標的匹配與定位。形狀上下文[1,2]是近年來目標定位識別的主流算法，能夠對輪廓信息進行很好的描述，對非線性的形變具有很好的識別效果，但是，形狀上下文算法是利用極坐標切線來保證旋轉不變性的，容易受到噪聲干擾；吳曉雨等[3]利用采樣點個數最多的角度區域進行對比，找到目標的旋轉角度，并采用減枝的方法加快匹配；馮祥衛等[4]利用高斯窗函數代替傳統形狀上下文中的Bins，增加算法的抗噪能力；張桂梅等[5]利用內距離代替歐氏距離對目標進行描述，對非剛性變化有較強的魯棒性；另外，利用輪廓幾何特征之間的相似度進行匹配也是研究的熱點[6]，張桂梅等[7]利用輪廓分割點構建局部小波描述子，實現目標被局部遮擋或缺失情況下的識別；王斌[8]利用輪廓的全局和局部層次結構特征構建形狀特征集，利用兩個特征集實現目標識別，此外，輪廓的周長、面積、曲率、凹凸性、拱高函數也廣泛應用于目標的定位識別中[9]，但是，當目標被局部遮擋時，大部分算法性能受到限制，無法準確對遮擋情況下的目標進行精確定位。

基于深度學習的目標定位檢測與識別成為主流方法，此類算法比較知名的有R-CNN[10]、Fast-R-CNN[11]、Faster-R-CNN[12]、YOLOv3[13]、SSD[14]，這些算法相對于傳統的方法，精度高，對遮擋、噪聲、光照有較強的魯棒性，但是訓練時所需要的空間大、檢測效率低、定位精度依賴于訓練模型的精確度，極大限制了其應用，因此，使用傳統的方法研究目標在局部遮擋條件下的定位具有十分重要的意義，所以，提出了局部遮擋條件下的普通工件定位檢測算法，該算法具體步驟包括：①圖像預處理；②輪廓角點檢測；③構建幾何哈希表；④目標匹配；⑤目標定位。

1 圖像預處理

使用工業相機采集圖像時，受周圍生產環境的影響，圖像中包含大量噪聲，嚴重影響到算法結果，因此，采用高斯濾波算法去除圖像中的噪聲點，同時對圖像進行直方圖均衡化，增強背景和目標對比度，并采用大津法(OTSU)和形態學處理算法對圖像進行二值化，對工件進行分割?；诜指顖D像，采用輪廓追蹤算法提取圖像中的輪廓信息。

2 輪廓角點檢測

為了提高算法的魯棒性，需要對輪廓進行多邊形近似，使用輪廓角點特征近似描述目標輪廓。由于Douglas-Peucker算法[15]采用了一種計算點到直線的最大距離來尋找輪廓角點的方法，能對輪廓形狀進行有效近似，因此采用該算法對輪廓進行多邊形近似，提取輪廓角點特征。算法步驟如圖1所示。

圖1 Douglas-Peucker算法

對于閉合輪廓，首先選擇輪廓中距離最遠的兩個點為起始點P1(x1,y1)和P2(x2,y2)建立一條直線，利用式(1)計算輪廓上任意一點P3(x3,y3)到該直線的距離d，找到距離直線距離最大(大于固定閾值)的輪廓點P3(x3,y3)，然后對P1P3、P2P3進行上述相同的操作，最終結果如圖1(c)所示

(1)

通過上述方法可有效提取出輪廓角點。

3 構建幾何哈希表(hash table)

哈希表，又稱作散列表，是根據關鍵碼值可直接訪問的數據結構，使用哈希表可極大提高目標查詢效率。為了提高在線過程中目標的匹配效率，在離線過程中，使用輪廓角點構建關鍵碼值，計算形狀描述子構建模板信息，利用幾何哈希表存儲所有的模板信息。

3.1 關鍵碼值計算

基于提取的輪廓角點特征，選擇3個輪廓角點構建三角形，利用其幾何元素(兩邊及其夾角)構建關鍵碼值，示意圖如圖2所示

F=[L1,L2,?1]

(2)

式中：L1為最大邊長，L2為最小邊長，?1為兩邊夾角。

3.2 構建形狀描述子

為了使構建的形狀描述子具有平移、旋轉不變性，利用輪廓角點特征建立局部坐標系，計算輪廓點在局部坐標系下的坐標構建形狀描述子，原理如圖2所示。

圖2 構建直角坐標系

由于相鄰輪廓點在局部坐標系中的坐標差異很小，且輪廓點個數多，在匹配過程中可能出現一對多的情況，為了解決該問題以及降低離線構建hash表過程的復雜度，設計以一定的步長對模板輪廓進行重采樣，使用式(3)計算采樣后的輪廓點坐標，構建形狀描述子

(3)

式中：Xi、Yi、Xj、Yj是直角坐標系的基底信息，α、β是輪廓點Pr(Xr,Yr)在局部坐標系的坐標。

重復以上過程，記錄由輪廓角點計算的所有的關鍵碼值和形狀描述子構建幾何哈希表，完成離線模板模型的學習過程，結果見表1。

表1 幾何哈希表

表1中，F表示關鍵碼值，(xmN,ymN)表示第m個輪廓點在第N個局部坐標系中的坐標。

4 目標匹配

為了使算法對局部遮擋情況下的定位有較高的魯棒性，設計在線過程中，任意選擇3個實測角點特征構建實測關鍵碼值，計算實測描述子信息，利用該碼值對hash表中的模型進行地址查詢，獲取關鍵碼值在hash表中的地址，利用投票機制和實測描述子對該地址下的模板描述子進行投票，若投票得分大于固定閾值，則實現匹配，否則，重新選擇3個輪廓角點重復以上過程，若由實測角點構建的所有關鍵碼值在哈希表中都不存在對應的碼值，說明該目標不是待檢測的目標。

4.1 地址查詢

假設實測關鍵碼值為Fj=[L1j,L2j,?1j]，哈希表中關鍵碼值為Fi=[L1i,L2i,?1i]，采用式(4)計算碼值間的最佳相似度，利用相似度進行地址查詢

(4)

由于存在計算誤差，當最佳相似度小于固定閾值(本文設置為0.5)時，說明哈希表中存在與實測碼值對應的關鍵碼值，獲取該碼值在哈希表中的地址索引i。

4.2 投 票

根據獲取的地址索引i，對Fi對應的形狀描述子進行投票。利用式(5)計算模板形狀描述子中的每個元素與實測形狀描述符號元素的相似度，若相似度小于固定閾值(本文設計為1)，則這兩個點是匹配點。以上過程實現了模板輪廓和實測輪廓的粗匹配

(5)

式中：(xmi,ymi)是第m個輪廓點在第i個坐標系中的坐標，(Xj,Yj)是實測描述子第j個點在當前直角坐標系下的坐標。

為了有效顯示投票結果，體現實測目標的遮擋情況，本文設計投票得分函數對其進行定量描述，利用得分函數顯示匹配的結果，其函數如式(6)所示

(6)

式中：Num是匹配的個數，iSumNum是模板輪廓重采樣后輪廓點個數。

得分函數值的大小近似地顯示了實測目標被遮擋的程度以及模板輪廓和實測輪廓的匹配程度，當得分函數值大于固定閾值(本文設計為0.4)時，說明目標存在，匹配成功。

5 目標定位

為實現待檢測工件的精確定位，需要根據獲得的匹配點計算模板輪廓和實測輪廓之間的幾何變換模型?；诘玫降妮喞ヅ潼c，利用最小二乘原理[16-18]和Turkey權重函數，通過迭代計算仿射變換參數；利用得到的模型參數對模板原始輪廓點進行仿射變換以實現目標的精確定位。

5.1 Turkey權重函數

Turkey權重函數是一種根據距離大小分配權重的函數，函數定義為

(7)

式中：δi為某點到模型的距離；τ為消波因子，表示用戶所設定的距離。

由式(7)可知，差值過大的點則完全被忽略，差值越小則權重越大，由此將匹配誤差較大的點對的影響降低到最低，差值過大的點是根據消波因子進行劃分的，因此消波因子的選取對差值過大的點有較好的魯棒性， 其大小設置為

τ=2*σδ

(8)

為了得到對離群值而言魯棒的標準偏差， 一般情況下

(9)

5.2 基于Turkey權重函數求解仿射變換模型

假設模板輪廓點集為P={Pi|i=1,2,3,…,n}，實測輪廓點集為Q={Qi|i=1,2,3,…,n}；Pi和Qi為匹配的輪廓點對，這兩個點集存在仿射變換，基本原理如式(10)所示

(10)

式中：a11、a12、a21、a22、Δx、Δy為模型參數。

為了計算點集Pi、Qi之間最佳的仿射變換模型參數，需要將匹配的誤差平方和最小化,即

(11)

然而，由于不用輪廓點的匹配結果對模型參數的影響不同，為了提高匹配精度高的點對模型參數的貢獻率，降低匹配精度低的點對模型參數的影響，引入了Turkey權重信息，根據不同匹配點的匹配誤差賦予不同的權重，則模型的匹配誤差平方公式和為式(12)

(12)

式(12)中

(13)

為了使得ε(X)的值最小化，獲得參數X的最優解，根據極限原理，令偏導數為零

(14)

經整理和計算可得下面的等式：AX=B，其中

(15)

O3*3=C3*3=0

(16)

(17)

(18)

式(18)中,xi、yi是點集P中Pi的坐標，Xi、Yi是點集Q中Qi的坐標。

經計算，當模擬數據不全為0時，行列式|A3*3|≠0，因此

(19)

由于|A|不為零，所以矩陣A是可逆矩陣，便可獲得幾何變換模型參數X=A-1B的值。

在首次擬合時，并沒有可利用的輪廓點對的匹配誤差，因此，認為所有輪廓匹配點對模型參數的影響相同，權重均為1，從而獲得近似的幾何變換模型；基于該變換模型計算輪廓匹配點對的匹配誤差。在每次迭代完成后，都需要根據輪廓點對的匹配誤差更新權重。為了加速算法收斂速度，根據輪廓點對的權重信息和誤差信息，將權重為零且誤差大于固定閾值(本文設計為1)的匹配點剔除，實現精匹配，同時根據式(20)計算相鄰兩次迭代的均方差，給定閾值ε，當|dk+1-dk|<ε時迭代終止

(20)

通過上述原理便可獲得模板輪廓和實測輪廓間最佳的幾何變換模型。

基于得到的仿射變換模型，利用式(10)對原始的模板輪廓點坐標進行幾何變換，實現目標精確定位。

6 實驗結果

6.1 Turkey權重函數分析

為了驗證Turkey權重函數可以有效地降低匹配較大的點對模型精度的影響，提高擬合結果精度。設計采用基于Turkey權重函數的最小二乘擬合算法和最小二乘擬合算法對已有的直線擬合數據和圓擬合數據進行直線和圓擬合，通過擬合結果對比，體現Turkey權重函數在模型擬合方面的優越性。結果如圖3、圖4所示。

圖3 直線擬合結果對比

圖4 圓擬合結果對比

圖3、圖4結果表明，基于Turkey權重函數的最小二乘擬合結果明顯優于最小二乘的擬合結果，因此，利用基于Turkey權重函數參與模型擬合，可充分考慮不同擬合數據對模型精度的影響，根據擬合數據對模型的貢獻率賦予不同的權重，提高模型擬合精度。

6.2 基于Turkey權重函數求解仿射變換模型方法原理可行性分析

為了驗證基于Turkey權重函求解仿射變換模型方法原理的有效性，設計模擬點集A(250個點)，對點集A中的點進行角度旋轉、平移、尺度變換并加入隨機誤差構造點集B，利用本文算法和RANSAC[19]算法計算點集A、B之間的仿射變換模型，通過兩種算法結果對比以及對參數的迭代變化進行深入分析，驗證算法的可行性和有效性。其實驗結果如圖5所示，參數的迭代變化如圖6所示。

圖5 仿射變換模型算法對比

圖5是求解仿射變換模型算法結果對比圖，從圖中可以看出，兩種算法均可正確的計算出點集間的仿射變換參數。圖6顯示了點集中匹配的輪廓點個數和均方差的迭代變化，可以看出，隨著迭代次數增加，點集中適應度較差的點對被有效剔除，模型精度迅速提高，模型收斂速度加快；當點集中的匹配點不再發生變化時(迭代次數為5時)，模型精度變化幅度降低，逐漸收斂。同時，表2顯示了兩種算法的擬合結果，結果顯示，在發生平移，旋轉時，本文算法性能優于RANSAC算法。

圖6 參數迭代變化過程

表2 算法擬合結果對比

6.3 基于Turkey權重函數求解仿射變換模型方法時間可行性分析

為了驗證基于Turkey權重函數求解仿射變換模型方法的高效性，設計當迭代次數為15且保證迭代結果收斂時，利用該方法分別對不同大小的匹配點集進行模型計算，統計計算各個點集的仿射變換模型參數所用的時間，通過統計的時間結果對比驗證該方法的高效性。結果如圖7所示。

結果顯示，計算仿射變換模型所消耗的時間隨著點集個數的增加緩慢增加、其效率受點集個數影響較小，且所用時間均在毫秒內，因此，該方法可以高效的計算仿射變換模型，滿足實際需求。

6.4 目標定位檢測

表3中：a11、a12、a21、a22、Δx、Δy是模型參數；Num是粗匹配的輪廓點個數;iNum是精匹配的輪廓點個數；Score是精匹配后的得分函數；ε(X)是模型精度。

為了驗證算法的有效性，分別對兩種普通工件進行定位識別。一種是具有規則幾何形狀的工件，如圖8中的模板1所示，一種是具有不規則幾何形狀的工件，如圖8中的模板2所示。通過對實測圖像中的每個輪廓進行輪廓角點特征提取，構建實測關鍵碼值和實測形狀描述子，利用投票機制對hash表中的模板信息進行投票，實現目標匹配；基于匹配的輪廓點對，利用Turkey權重函數和最小二乘平方差原理計算匹配點對間的仿射變換模型，實現目標的精確定位。實驗結果如圖8所示，結果表明，當工件被局部遮擋且發生不同角度旋轉、平移變化時，均能實現目標精確定位。同時，表3數據顯示，在粗匹配過程中，可獲取大量匹配正確的輪廓點，經過精匹配，剔除少量匹配誤差較大的點；其匹配得分函數值可近似表達目標的遮擋程度，得分值越小，工件被遮擋越嚴重，實驗精度表明，本文算法可獲得精確的幾何變換模型，實現目標的精確定位。

圖7 時間統計結果

為了進一步說明算法的有效性，對多幅圖像中不同遮擋情況下的工件進行識別，實驗結果如圖9、圖10所示，結果表明，本文算法可實現目標在不同遮擋情況下的目標定位。

表3 實驗結果統計

圖8 普通工件定位結果

圖9 規則工件定位結果

圖10 不規則工件定位結果

7 結束語

為了有效解決普通工件在遮擋情況下，且發生任意角度旋轉、平移時能精確定位，提出了局部遮擋條件下的普通工件定位檢測算法，該算法在離線過程中，利用輪廓角點特征計算關鍵碼值和形狀描述子構建hash表，在線過程中，利用投票機制實現工件粗匹配，基于Turkey權重函數和最小二乘平方差原理求解模板輪廓和實測輪廓間的仿射變換模型，實現精匹配，進而實現目標精確定位。實驗結果表明，本文算法在目標被局部遮擋，且發生平移、旋轉時，能實現目標的精確定位，充分顯示本文算法的優越性；但是該算法的時間復雜度取決于多邊形擬合的結果和遮擋情況，當擬合得到的分割點越多、遮擋越嚴重， 則算法的執行效率越低，同時對實測輪廓進行多邊形擬合時必須獲取至少3個可以匹配正確的分割點才能實現目標的匹配，這是該算法的不足。