基于機器視覺的木窗雙端銑削加工尺寸測量方法

任長清,張佳林,楊春梅,宋文龍,吳哲

(東北林業大學機電工程學院,哈爾濱 150040)

歐式木窗作為節能木窗的主要類型之一,由于結構簡單、性能出眾,是目前歐洲和國內木窗的主要形態。銑削加工是歐式木窗生產加工中關鍵的一環,有單端銑削和雙端銑削兩種加工方式,單端銑削工藝需將木窗加工4次,而雙端銑削工藝只需加工2次。目前木窗的加工過程可實現自動化,在組線工程納入連續加工生產線能得到更高的產能,但最終成品驗收仍需要人工進行檢測。人工測量尺寸存在著精度低、效率低、耗費人力等問題,易受外部環境及個人心理等影響,其精確性和重復性無法保障[1]。為了提高檢測精度及效率,實現無人化,需要在歐式木窗窗扇外形連續加工生產線加入尺寸在線檢測系統。

隨著科技的進步,視覺檢測技術如今可以代替許多的人工檢測項目,各種自動化設備及檢測技術正逐步取代原有的人工操作及檢測項目,極大地改善了人工方式存在的各種問題[2]。機器視覺可以對尺寸實現非接觸式測量,速度快且精度高[3]。撒瑩瑩等[4]公開了一種基于機器視覺的大尺寸板材在線測量系統,利用三維位移傳感器獲取板材點云數據,隨后對數據處理得到板材尺寸,但此方法需板材靜止,由傳感器移動掃描板材,且部署復雜,難以滿足生產線在線檢測。潘屾等[5]針對大尺寸板材,通過采集板材左右兩幀圖像,利用Harris角點檢測對兩幅圖像進行拼接得到完整圖像,然后通過圖像處理計算出尺寸,但該方法需要工件特征點足夠多,且拼接精度受特征點影響較大。趙志偉等[6]公開了一種基于參考點的矩形板材尺寸測量方法,通過布置一組位置關系確定的參考點,將圖像中參考點及板材角點坐標提取出來,通過兩者相對位置關系計算出板材尺寸,但該方法對于較大尺寸板材在線檢測難以部署,且仍需板材靜止捕獲圖像。

筆者以雙端銑削后的歐式木窗為研究對象,提出一種基于機器視覺的木窗尺寸測量方案,通過將采集的木窗圖像完成圖像預處理,并在Canny算子檢測出的木窗輪廓基礎上,利用優化的Zernike矩亞像素檢測算法獲取精確輪廓[7],最后通過擬合輪廓計算出木窗精確尺寸,達到了對木窗尺寸的精確測量,提高測量效率及準確性。

1 木窗圖像采集裝置硬件組成

1.1 木窗圖像采集裝置硬件選型及整體結構

對于一個圖像采集系統,其核心硬件為相機、鏡頭及光源[8]。針對生產線中歐式木窗圖像的在線采集,提出木窗圖像采集裝置方案結構,如圖1所示,主要包括輥筒傳送線、固定支架及相機調節裝置等。

圖1 木窗圖像采集裝置Fig. 1 Wooden window image acquisition device program diagram

考慮到歐式木窗尺寸變化范圍較大,采用傳送線傳送方式,且安裝尺寸有限,故采取3臺線陣相機采集圖像,最后將采集的圖像進行拼接以完成木窗圖像采集。該生產線中木窗最大尺寸為2 100 mm,參考GB/T 29498—2013《木門窗》,結合企業實際需求及機械結構條件,尺寸精度要求≤0.2 mm。

線陣相機選型需要確定分辨率(Rf)及行頻(fH),其公式如下:

(1)

式中:WD為相機所拍攝最大視場;dpixel為每個像素代表的物理尺寸;V為測量目標相對相機運動速度;da,pixel為實際精度。由于最大尺寸為2 100 mm,且由3臺相機共同完成圖像采集,考慮余量及視場重合,取WD為740 mm;測量要求精度為0.2 mm,根據奈奎斯特采樣定理,取dpixel為0.1 mm,代入式(1)可得Rf為7 400,故選相機分辨率為8 K。

由相機分辨率得da,pixel約為0.09 mm,目標相對運動速度V可取1 000 mm/s,代入式(1)并向上取整可知,選型時fH應大于12 kHz。

綜上,本系統相機選擇DALSA公司的8K彩色線陣相機LA-CC-08K05B。參考相機參數及工作距離,本系統鏡頭為華?？萍嫉木€陣鏡頭F60-4040-M72,其焦距為40 mm,光源采用樂視的白色線性光源LTS-3LINL2800。

1.2 圖像采集裝置運行流程

將木窗置于輥筒傳送線上,當木窗觸發圖像采集啟動傳感器上升沿后,3臺線陣相機開始同時采集圖像,直至木窗觸發圖像采集結束傳感器下降沿,結束圖像采集并將圖像傳輸至計算機中完成圖像拼接,進一步地將完整圖像輸送進測量算法中完成對木窗的尺寸測量,圖像采集裝置運行流程如圖2所示。

圖2 圖像采集裝置運行流程Fig. 2 Image acquisition device operation flow chart

2 視覺尺寸測量原理

2.1 尺寸測量原理

基于視覺的尺寸檢測是一種非接觸的測量手段,屬于相對測量法,其利用倍率標定、識別提取邊緣和圖像比例換算來推算出目標物體的實際尺寸大小[9]。

依據相機成像原理,其可簡化成小孔成像模型,如圖3所示。其中,直線O′O″為光心,abcd為實際物體ABCD通過相機感光片所成的圖像。

圖3 小孔成像模型Fig. 3 Small hole imaging model

借助成像模型可將三維世界中的一點通過小孔O投影至相機二維成像平面,其原理如式(2)所示,其中(u,v)為像素坐標系,(x,y)為圖像坐標系,(Xc,Yc,Zc)為相機坐標系,(Xw,Yw,Zw)為世界坐標系。

(2)

在像素坐標系中,abcd任意兩點之間的距離單位為像素,因此,為了求得實際物體ABCD任意兩點間的實際物理距離,首先應獲取像素坐標與實際坐標之間的比例關系,即像素當量。通過標定的手段能夠得到每個像素所代表的物理尺寸,此方法應保證與測量實際物體時拍攝條件相同,如圖4所示,為像素當量標定示意圖。假設已知KM實際物理長度為S,通過對圖像處理計算得到NK′之間的像素個數為W個,則像素當量P為:

P=W/S

(3)

式中,P的單位為mm/pixel。

圖4 像素當量標定示意圖Fig. 4 Pixel equivalent calibration schematic

在得到像素當量P后,經過對獲取圖像的分析處理,可得abcd任意兩點間的像素個數,通過比例換算即可得到對應的實際距離。假設圖像中ab兩點之間的像素個數為Wab,則AB間實際物理距離為:

LAB=P·Wab

(4)

2.2 木窗透視矯正

由相機成像原理可知,對于具有一定厚度的木窗,其在成像時會產生透視效應,導致測量時出現誤差。

木窗透視矯正原理見圖5。根據透視效應及透視矯正原理圖,木窗在CCD像平面所成像會呈現外框放大,內框出現木窗內壁及上、下邊緣。即對于厚度為h的木窗,其外框實際在像平面所成像ab為物平面1的AB點,對于內框在像平面會呈現兩條邊緣cd及c′d′,其在物平面1的真實木窗內框邊緣CD應為像平面最內側邊緣cd。若依據標準理論模型計算,則其外框結果會偏大,對于內框,在計算像平面的cd邊緣時,則其結果理論上不受影響。

圖5 透視矯正原理Fig. 5 Perspective correction principle diagram

因此,為了保證測量精度,需要對木窗成像時所產生的透視效應進行透視矯正以消除誤差。本研究提出一種物平面提升法,以消除透視效應帶來的誤差。假設將相機實際成像的物平面1提升到物平面2上進行成像,則此時木窗厚度理論上應為0,其在CCD像平面所成像應為真實木窗邊緣,且在成像模型上不會產生誤差,其中木窗外框A′B′在像平面成像為ab,木窗內框C′D′在像平面成像為c′d′。

通過相機標定及相機物理參數可得相機焦距f、感光芯片像元尺寸μ及相機在標定板平面的像素當量P,設相機在物平面2的像素當量為P′,在物平面1的像素當量為P″,相機像距為v,離物平面1的高度為H,標定板厚度為t,則由幾何關系及成像公式可得:

(5)

由式(5)可得v、H、P′及P″為:

(6)

設木窗內、外框分別在物平面1、2所成像的像素長度為Scd和Sab,因此矯正后的木窗真實外框長度M及內框長度m為:

(7)

同理,對于木窗內、外框對角線物理尺寸,在得到內、外框邊緣所成像的角點坐標后,通過比例換算即可得到矯正后對角線尺寸。

3 尺寸測量方法

3.1 圖像預處理

通過圖像預處理能夠有效減少采集圖像中的噪聲、背景干擾等無效信息,簡化圖像數據,增強圖像特征信息,以此方便后續相關處理[10]。其包含灰度化、平滑處理、圖像增強、閾值分割、形態學處理、圖像矯正及輪廓分割等。由于獲取的圖像為RGB彩色圖像,對其應用灰度化處理能夠簡化圖像矩陣,提升運算效率。通過加權平均法按比例將圖像進行灰度化,如式(8)所示:

Gray(i,j)=0.299B(i,j)+0.587G(i,j)+ 0.114R(i,j)

(8)

式中:(i,j)為圖像中像素點坐標;B(i,j)、G(i,j)及R(i,j)分別為藍色、綠色及紅色通道中像素點的亮度值。

在圖像采集過程中,由于光線、曝光等內外部因素,所成圖像不可避免含有噪聲干擾,影響圖像分割及邊緣提取[11],故本研究采取中值濾波進行平滑去噪處理。為了增強圖像特征信息,采用卷積核銳化對圖像邊緣信息增強,突出邊緣輪廓。進一步地,通過多閾值Otsu分割法,將圖像特征信息與背景分割出來,其原理如式(9)所示:

(9)

式中:T1、T2為分割閾值;f(x,y)為原圖中任一點坐標的像素值;g(x,y)為輸出圖像對應坐標的像素值。

通過得到的多閾值分割結果,對其進行相應的位運算處理,以此完成圖像分割。由于木材紋理等影響,二值化圖像會存在空洞、斷點等細小對象,通過形態學處理可以有效消除這種影響,得到更為清晰的輪廓特征圖。由于木窗圖像可能存在傾斜角度,不利于后續輪廓擬合處理,因此還需通過仿射變換進行中心旋轉,對圖像進行矯正。

由矯正后圖像可知有內外2個矩形輪廓,為了方便后續處理,對輪廓進行相關填充操作及位運算操作,將其分割為兩個保留單個輪廓的二值圖。在對木窗圖像采集時,相機曝光時間為30 000 μs,增益為10,光源照度為800 lux,在進行閾值分割時T1及T2的值分別為89及188。圖像預處理過程見圖6。

圖6 圖像預處理過程Fig. 6 Image pre-processing process

3.2 基于改進Zernike矩亞像素邊緣提取

關于圖像的像素級邊緣提取,常見的有Sobel算子、Canny算子、Roberts算子及Laplacian算子等[12]。本研究采用Canny算子完成像素級輪廓檢測,其對內外輪廓檢測結果如圖7所示,從圖7可以看出,其邊緣輪廓清晰且連續性好。

圖7 Canny算子邊緣檢測結果Fig. 7 Canny operator edge detection results

對于亞像素邊緣提取主要有3種方法,即插值法、擬合法及矩方法[13]。矩方法中的Zernike矩亞像素邊緣檢測因其具備旋轉不變性且不受圖像尺度影響,對圖像噪聲不敏感,因此被廣泛使用[14]。本研究基于一種優化的Zernike矩亞像素邊緣提取算法獲得圖像亞像素輪廓。

一幅連續圖像f(x,y)的二維Zernike矩定義如式(10)所示:

(10)

圖像f(x,y)在離散條件下的Zernike矩如式(11)所示:

(11)

圖8 理想邊緣階躍模型Fig. 8 Ideal edge step model

Zernike矩理想邊緣階躍模型如圖8所示。其中,單位圓上的直線L代表圖像理想邊緣,L兩邊的灰度值為h及h+k,k是灰度階躍值,l是原點到邊界的垂直距離,θ為l與x軸之間夾角[15]。

依據Zernike矩的旋轉不變特性,若旋轉角度為θ[16],則一幅圖像旋轉后與旋轉前的Zernike矩關系如式(12)所示。

Z′nm=Znme-pmθ

(12)

由Zernike矩的旋轉前后不變性及定義可得:

(13)

由式(13)可得理想邊緣的各參數如下所示:

(14)

式中,Im[Z11]及Re[Z11]分別表示Z11的虛部及實部。

對于利用N×N大小的模板進行邊緣檢測,由于存在模板放大效應,因此還需對亞像素坐標進一步修正,最終求得的亞像素坐標位置為:

(15)

式中:(xs,ys)為亞像素坐標;(x,y)為單位圓圓心坐標。

在實際應用中,圖像由于受光源、背景等影響,單閾值分割可能會將某些背景錯判為邊緣,從而干擾后期的輪廓提取精度[18]。因此,本研究采取多閾值Otsu分割法,獲取圖像最佳分割閾值,并自動得到最佳階躍閾值kt的值。

由于傳統的Zernike矩亞像素檢測算法只考慮低階矩,可能導致邊緣定位不準確或漏檢,因此引入高階矩Z31和Z40以提高邊緣檢測的精度及魯棒性。由于引入了高階矩,因此令距離l=(l1+l2)/2,l1和l2分別為原點到低階次和高階次邊緣的垂直距離,其計算公式如下:

(16)

綜上所述,采用改進的Zernike矩亞像素輪廓提取算法獲得圖像亞像素輪廓點坐標,其步驟如下:

1)利用Canny算子檢測到的粗定位輪廓,將每個像素點與7×7的模板實行卷積運算,分別得到Z00、Z11、Z20、Z31及Z40,進一步可得Z′00、Z′11、Z′20、Z′31及Z′40。

2)將上步得到的值代入式(14)及式(16)可得每個像素點的l1、l2、k及θ。

3)應用多閾值Otsu分割法獲取圖像最佳分割閾值,記此時閾值為最優閾值,并作為階躍閾值kt。

5)根據上面得到的分割閾值及距離閾值,判定每個像素點參數值是否符合k≥kt且|l1-l2|≤lt。若符合則利用式(15)計算出亞像素坐標并保存,若不符合則剔除該點。

本研究對內外兩個輪廓的亞像素輪廓檢測結果如圖9所示,圖9a為整體亞像素邊緣檢測結果,圖9b為局部亞像素邊緣,其中白塊為Canny檢測的像素級邊緣結果,白塊中“*”為亞像素級邊緣。

圖9 亞像素邊緣檢測結果Fig. 9 Sub-pixel edge detection results

3.3 最小二乘法結合RANSAC算法擬合

在利用改進的Zernike矩亞像素算法獲取木窗的精確邊緣位置后,利用最小二乘法結合RANSAC算法對木窗邊緣進行擬合,其次求出擬合輪廓頂點,從而計算出木窗尺寸參數。

通過將亞像素輪廓分割為4個部分,并對每部分擬合為一條直線,最后求出4條直線的4個交點,以此完成輪廓的擬合,主要包含數據劃分處理及擬合兩個部分。

對于數據劃分處理,首先求出輪廓上邊緣、右邊緣、下邊緣及左邊緣的4個邊界極值Ymax、Xmax、Xmin、Ymin,并以此求出輪廓中點坐標(Xm,Ym),隨后將亞像素輪廓點集S按照式(17)粗劃分為對應的四部分輪廓點集。

(17)

進一步求出每部分輪廓點集x或y方向的眾數,分別為M1_y、M2_x、M3_y和M4_x,設偏差閾值為c,最后利用式(18)將粗劃分點集精篩為待擬合點集,以此完成數據劃分處理。

(18)

對于擬合處理,首先采用RANSAC算法對每部分待擬合點集進行迭代篩選,剔除點集內的異常值,得到最優內點點集。

在得到最優內點點集后,利用最小二乘法完成直線擬合。設直線方程為:

y=kx+b

(19)

式中:k為直線斜率;b為截距。已知亞像素輪廓坐標為(xs,ys),設最優內點點集A有m組數據點(xi,yi),i=1,2,…,m,由式(19)及最小二乘法原理可知,要得到最優直線方程的參數k、b,應使得函數F(k,b)取最小值。

(20)

式中:(xi,yi)為第i個亞像素點;m為輪廓點集的亞像素點個數。由極值原理可知,對該式求k和b的偏導并分別使其為零,即可得到極值點,如下式所示:

(21)

求解式(21)即可得到最優擬合直線的參數k和b,進一步擬合出邊緣直線。最小二乘法結合RANSAC算法擬合邊緣輪廓流程見圖10。

圖10 最小二乘法結合RANSAC算法擬合邊緣流程Fig. 10 Least squares combined with RANSAC algorithm fitting the edge flow chart

對一個完整的亞像素邊緣輪廓執行上述操作,即可獲得4條擬合直線。進一步求出4條直線的4個交點,并作為4個頂點,依次連接便可得到擬合的輪廓。同理,可得到另一個亞像素輪廓的擬合輪廓。利用本研究方法擬合木窗邊緣輪廓的過程見圖11,其中圖11a為內外框輪廓邊緣篩選,圖11b為擬合輪廓結果及局部放大圖,且直線上的 “*” 為亞像素邊緣點。

圖11 木窗邊緣輪廓擬合過程Fig. 11 Wooden window edge profile fitting process

3.4 尺寸計算

在擬合出木窗輪廓后,即可提取擬合輪廓的角點坐標。設木窗外輪廓的4個頂點分別為A、B、C、D,內輪廓對應4個頂點為a、b、c、d,由兩點間距離公式可知,若外輪廓上兩個頂點A、B坐標分別為A(XA,YA)、B(XB,YB),最終標定的像素當量為P,則實際物理距離LAB為:

(22)

因此,在確定擬合輪廓的角點位置及坐標后,即可由式(22)得到木窗的邊框尺寸及對角線尺寸。

4 結果與分析

4.1 測量系統標定

現有檢測方式需要人工測量木窗邊框尺寸及對角線尺寸,本研究依照檢測內容搭建試驗臺,主要由支架、600萬像素的?？低暶骊囅鄼C、定焦鏡頭及白色LED環形光源等組成,尺寸檢測實驗平臺見圖12。

圖12 尺寸檢測實驗平臺Fig. 12 Dimensional testing laboratory platform

由于測量系統實物未完成,本研究采用面陣相機進行等效實驗對尺寸檢測算法進行驗證。首先根據計算得到的理論相機每像素物理尺寸精度da,pixel,利用已有相機的分辨率,在保證與理論計算所得到的da,pixel值相同情況下,計算得到現有相機需要的視野大小及工作高度,最后通過調節保證相機位置的固定。

為完成木窗的尺寸測量,需先對相機完成標定,以確定像素當量P,本研究采用棋盤格實現相機標定。在實驗條件相同情況下,采集棋盤格圖像,根據角點坐標計算不同行、不同列相鄰兩格子的像素長度,并與已知的物理長度做比值,經過多次標定,取平均值作為標定的像素當量。

由于標定板存在厚度t,所以該標定結果應為實際物平面加上標定板厚度t所在平面的像素當量,因此應當對其進行修正,以得到實際物平面像素當量P。經計算,最終確定像素當量P=0.097 866 7 mm/pixel。

4.2 測量結果分析

實驗材料為厚度規格相同的松木材質矩形木窗,其尺寸規格分別為100,200和250 mm 3種。為驗證測量方法對不同尺寸木窗的檢測精度,利用精度為0.01 mm的世達電子游標卡尺對不同尺寸木窗的測量內容進行多次人工測量,最后取平均值作為真實尺寸。對不同規格木窗的不同尺寸進行測量,與真實尺寸的對比如表1所示。

由表1可知,絕對誤差范圍在±0.12 mm之內,相對誤差在±0.1%之內,實驗證明本研究測量方法滿足檢測精度要求。

表1 測量結果Table 1 Measurement results

表1 測量結果Table 1 Measurement results

測量編號測量內容人工測量/mm算法測量/mm絕對誤差/mm相對誤差/%1木窗1外框99.6599.62-0.03-0.032木窗1內框59.8559.890.040.073木窗1外框對角線140.02140.120.100.074木窗1內框對角線84.8384.910.080.095木窗2外框198.79198.860.070.046木窗2內框119.73119.67-0.06-0.057木窗2外框對角線281.73281.62-0.11-0.048木窗2內框對角線169.72169.790.070.049木窗3外框248.87248.78-0.09-0.0410木窗3內框149.55149.50-0.05-0.0311木窗3外框對角線353.03353.120.090.0312木窗3內框對角線212.04212.110.070.03

5 結 論

針對傳統木窗雙端銑削加工中人工測量尺寸存在的精度低、效率低等問題,提出一種基于機器視覺的木窗雙端銑削加工尺寸測量方法,具體如下:

1)對于木窗厚度引起的透視投影誤差,提出一種物平面提升法,利用投影幾何關系求出木窗上表面所在平面像素當量,進而求出木窗真實尺寸,但此種方法只適用于厚度相同的不同規格木窗。

2)基于OpenCV對木窗圖像完成圖像預處理及Canny邊緣檢測,獲得木窗像素級輪廓,進一步地通過改進的Zernike矩亞像素提取算法得到木窗亞像素輪廓,以此提高檢測精度。

3)基于RANSAC算法及最小二乘法對亞像素點實現擬合,得到擬合邊緣角點坐標,并完成測量。由于該擬合方法需要對每條邊進行直線擬合,最后求出交點得到擬合輪廓,過程較為復雜,后續可考慮建立四邊形參數方程,應用最小二乘法完成擬合,提高擬合效率。

4)通過實驗表明,與人工測量方式相比,本研究所提方法能夠提高測量效率及精度,且相對誤差在±0.1%以內,精度可以滿足測量需求,具有較強的穩定性與適應性。