基于視覺的芯片位姿測量方法研究*

冉 迪,王 寧,李松珍,王 丹,韓 志,王曉鳳

(1.沈陽城市建設學院機械工程學院,沈陽 110167;2.沈陽工業大學a.機械工程學院;b.工程實訓中心,沈陽 110870)

0 引言

隨著半導體技術和電子產業的高速發展,使得芯片逐漸向著高密度、小尺寸、低成本的方向發展,而對芯片貼裝的精度和質量的要求也隨之提高[1-3]。芯片在貼裝過程中由于各種因素的影響會造成芯片移位的問題,使芯片位置不夠準確,影響芯片后續的工藝,使得芯片封裝的成品率無法得到保證[4-5]。目前,國內外芯片貼裝工藝中的檢測和定位任務主要通過計算機視覺系統完成,其主要原理是利用機器視覺技術模擬人眼的功能,獲取圖像中的有效信息,并對信息進行加工處理,從而實現芯片的識別和定位,以達到提高生產線自動化程度和生產效率的目的[6-8]。我國隨著半導體行業的崛起,對芯片定位的相關研究也快速發展,但與國外研究水平相比尚存在一定的差距[9-12]。

在貼裝過程中,亟待解決的關鍵問題是如何在保證識別率的基礎上,實現目標芯片的精確定位。目前,識別芯片圖像特征的主要方法包括點模式匹配法和模板匹配法[13]。點模式匹配法可將滿足一定位置關系的兩幅圖像中的點進行匹配,從而實現芯片的識別和定位,但該方法計算量較大,需要進一步優化[14]。模板匹配法魯棒性好,但對噪聲較為敏感,需要建立模板圖像,且對于角度計算的精度較低[15]。針對上述問題,本文通過對亞像素邊緣定位算法進行改進,并對邊緣異常點進行校正,從而提高芯片圖像的定位精度,采用最小二乘法分別對校正后邊緣進行擬合,實現芯片的位姿測量,為后續芯片封裝過程中的糾偏提供依據。

1 芯片圖像邊緣定位

1.1 邊緣定位原理

芯片圖像中包括前景和背景區域,芯片定位的本質就是高精度的確定芯片邊緣,即提取前景與背景區域的分界。Sigmoid函數作為神經網絡常用的激活函數,也可作為邏輯回歸的預測函數,可有效解決前景與背景分離的二分類問題,實現圖像邊緣的定位[16]。

圖像預處理的目的主要是盡可能地消除圖像中的無關信息,使真實信息能夠更容易地被檢測出來,其主要包括去噪和增強兩部分,其中圖像去噪部分可使用高斯濾波降低圖像中的椒鹽噪聲對邊緣的影響;圖像增強部分則是通過對去噪后的圖像進行高頻區域對比度增強,以達到提高邊緣提取精度的目的。

對于獲取的芯片圖像,首先需要進行圖像去噪、增強等預處理,其目的是盡可能地消除圖像采集過程中的噪聲干擾,方便邊緣特征的提取,為下一步的識別定位奠定基礎。而形態學閉操作則是在保持原有位置和形狀不變的前提下,采用先膨脹后腐蝕的手段對圖像進行處理,將兩個具有細微聯系的圖塊連接在一起。針對圖像中邊緣不連續的情況,采用一定尺寸的核進行形態學閉處理,得到圖像的初始輪廓,進而確定圖像的像素級邊緣[17]。在此基礎上,將圖像中灰度值以歸一化的形式展現出來,該灰度值可視為該像素點為背景的概率,利用Sigmoid函數可準確定位圖像邊緣。

Sigmoid函數又稱為S函數,它是一個閾值函數,其特征為連續、光滑且嚴格單調[18],可表示為:

(1)

對應的函數圖像如圖1所示。

圖1 Sigmoid函數曲線

根據圖像邊緣特征,建立邊界模型為:

(2)

式中:θT=[θ0,θ1,θ2,θ3,…,θn]為回歸系數。

即:

(3)

假設yi為觀測值,則表示輸出結果的概率為:

(4)

所以綜合概率為:

P=(fθ(Xi))yi(1-fθ(Xi))1-yi

(5)

根據最大似然估計得到所有樣本概率之積為:

(6)

則其損失函數為:

(7)

式中:Xi是第i個樣本的自變量矩陣,yi是與其對應的實際概率,當損失函數最小時,得到最佳回歸系數θT。

理論上,邊緣模型可以是任意曲線模型,但考慮到芯片大多數為圓形和方形,因此本文僅構建圓和直線兩種邊緣模型。當已知邊緣形狀為直線或圓時,直接利用Sigmoid函數求解模型,一次性統計出邊緣位置。

直線邊界模型為:

z=θTX=θ0+θ1x1+θ2x2

(8)

圓邊界模型為:

(9)

式中:x1、x2分別表示像素點的橫、縱坐標。提取邊緣時,將邊緣模型代入式(3)中,當其損失函數(7)最小時,可得最佳回歸系數θT,將該系數代回邊緣模型,即可實現亞像素邊緣的定位。

1.2 邊緣異常點校正

對圖像進行預處理之后,可減小隨機誤差對邊緣定位精度的影響,但由于芯片表面受到外界雜質污染等造成的圖像幾何失真無法消除,因此對于提取的亞像素邊緣,需要進行邊緣異常點校正。

理論上,邊緣法向的灰度值應符合高斯分布規律,但由于異常點的存在,則會導致灰度分布曲線在一定范圍內產生異常突變,影響定位精度,如圖2所示。

圖2 邊緣灰度值異常突變

為了減小異常點對定位精度的影響,對采集的圖像進行校正,包括像素位置以及像素灰度值的校正。由于異常點的灰度值變化表現為局部曲線區域的突變,并存在一個突出比較大的波峰點,則可通過波峰定位函數找到異常波峰所在區域,根據該波峰點位置提取區域圖像,從而確定異常點坐標,在此基礎上,利用插值方法將波峰點及相鄰兩個波谷點之間的所有異常像素點進行替換,從而實現異常校正的目的。

2 芯片圖像位置擬合

2.1 芯片定位盤中心位置檢測

芯片定位盤作為放置芯片的基準平臺,如圖3所示,要求其檢測時位于視野中央位置。因此在檢測芯片前,需要先對芯片定位盤中心進行定位,具體方法為:

圖3 芯片定位盤

(1)對于采集的定位盤圖像,采用高斯濾波對圖像進行預處理;

(2)對預處理之后的芯片定位盤圖像進行先膨脹后腐蝕的形態學閉操作,從而得到連續的圖像輪廓,在此基礎上,采用Sobel算法提取圖像中的粗邊緣;

(3)根據提取的芯片定位盤粗邊緣,利用Sigmoid函數實現亞像素邊緣的定位,并對邊緣異常點進行校正,在此基礎上,采用最小二乘法對亞像素邊緣數據進行圓擬合,確定定位盤的粗中心位置;

之前就聽我媽說過，這家人成分是很微妙的。家里男人是鄂州搞房地產的，經常不在家。兒子和我一個小學，馬上要上初中。而現在和孩子在家里的是他的后媽。

(4)由于提取的定位盤亞像素邊緣包含多個同心圓,則根據定位盤粗中心位置,通過連通域將不同圓上的亞像素數據進行分類,并分別進行擬合,確定各個圓的中心位置;

(5)以高斯分布為依據,從內向為外設置權重,得到精確的芯片定位盤中心坐標,并將該中心與圖像中心進行比較,確定定位盤在視野中的位置偏差,以便對芯片定位盤位置進行調整。

2.2 芯片位姿檢測

芯片具有不同的系列,各系列的芯片其大小及樣式均不相同,為了準確獲取芯片的相關信息,則需要對獲取的芯片圖像進行處理分析,確定視野范圍內的芯片個數以及距離圖像中心最近的芯片位姿,其位姿主要包括芯片中心坐標及偏轉角度,具體方法為:

(1)對于獲取的芯片圖像進行預處理及形態學閉操作,并通過Sobel算法提取圖像中的粗邊緣;

(2)在粗邊緣的基礎上,利用Sigmoid函數實現亞像素邊緣的定位,并對邊緣異常點進行校正;

(3)根據已知的芯片尺寸信息確定圖像中的連通域,并對該連通域進行計數,得到圖像中的芯片個數,并求出各芯片連通域的重心所在位置;

(4)通過重心坐標將芯片邊緣劃分為4個區域,并采用最小二乘法對每個區域內的亞像素邊緣進行擬合,直線邊緣數學模型可表示為:

αx+βy+γ=0

(10)

4個區域內的亞像素邊緣對應芯片的4條直線邊緣斜率為k1、k2、k3、k4,求4條直線的交點坐標A1、A2、A3、A4及芯片偏轉角度θ,則芯片中心位置坐標為:

(11)

(12)

(5)將所有芯片的中心位置與圖像中心位置進行比較,得到兩者之間的偏差值,則可確定距離視野中央最近的芯片。

3 實驗結果及分析

實驗采用分辨率為2448×2050 pixel的工業相機、畸變率<0.1%雙遠心鏡頭、LED藍光平行光源和數字控制器等搭建視覺測量系統,如圖4所示,實現芯片相關圖像的采集,并利用MATLAB編寫程序進行相關實驗。

圖4 芯片視覺測量系統

3.1 芯片定位盤中心檢測實驗

芯片定位盤如圖3所示。采用本文所述方法對芯片定位盤圖像進行處理的結果分別如圖5所示。

(a) 預處理完成定位盤圖像 (b) 定位盤像素級邊緣

由圖5可以看出,采用本文所述方法處理芯片定位盤圖像,可以實現芯片定位盤亞像素邊緣的精確定位,但由于存在多個圓,需要對同一圓上的亞像素邊緣進行分類和異常點處理,在此基礎上,采用加權的方式進行最小二乘圓擬合,最終確定芯片定位盤的中心坐標為(688.9,518.8) pixel,程序運行時間約為0.2 s,而芯片定位盤的實際中心坐標為(689,519) pixel,兩者之間的誤差約為0.2 pixel,說明該方法的中心定位精度較高,可以用于芯片檢測過程中,為芯片定位盤調整提供依據。

3.2 芯片位姿檢測實驗

檢測的芯片種類及分布情況如圖6所示,即單次采集1個完整芯片、單次采集多個芯片且鋪滿視野、單次采集多個芯片但未鋪滿視野。

(a) 視野內單個芯片 (b) 視野內鋪滿多個芯片

采用本文方法對圖6芯片進行處理,結果如圖7～圖9所示?？梢钥闯鲈摲椒ň哂幸欢ǖ聂敯粜?能夠提取不同狀態下芯片的亞像素邊緣并對異常點進行校正,準確實現各芯片的位姿測量。

(a) 預處理完成芯片圖像 (b)芯片像素級邊緣

(a) 預處理完成芯片圖像 (b)芯片像素級邊緣

(a) 預處理完成芯片圖像 (b) 芯片像素級邊緣

圖10為芯片邊緣某異常點校正前后的灰度值變化情況,由該圖可以看出校正后的邊緣法向灰度值符合高斯分布,可進一步提高亞像素定位精度。

(a) 某異常點灰度值分布 (b) 某異常點校正后灰度值分布

為了進一步驗證本文方法的有效性及精度,將本文方法與基于膨脹和Facet算法[19]提取的芯片中心位置和偏轉角度進行比較,結果如表1所示。從表1可以看出,文中所提方法與基于膨脹和Facet算法確定的芯片位姿基本一致,驗證了該方法的有效性及精度,兩者芯片中心位置誤差在0.3 pixel左右,偏轉角度誤差在0.003°以內。在運算速度方面,兩者相差不大,本文方法用時約為0.4 s,可以滿足實時需求。

表1 芯片中心位置及偏轉角度提取結果

從上述實驗結果可以看出,采用本文提出的方法能夠有效、準確地實現芯片定位盤及各種芯片的檢測,最終得到視野范圍內芯片定位盤及芯片的位姿信息,為后續芯片的調整提供依據。

4 結論

為了提高芯片貼裝精度,本文提出一種基于視覺的芯片位姿測量方法。該方法在進行圖像預處理后,采用Sobel算子提取芯片的像素級邊緣,利用Sigmoid函數對像素級邊緣進行分類,通過回歸系數準確定位亞像素邊緣,并對亞像素邊緣中的異常點進行校正,在此基礎上,采用最小二乘法對芯片的四條邊緣分別進行擬合,從而確定芯片中心位置及芯片偏轉角度。通過實驗可以證明,本文所提方法切實有效,定位精度高,且運行速度較快,滿足實際生產中的貼裝要求,具有很高的使用價值,下一步考慮將該方法推廣到芯片檢測的應用當中。