基于深度學習的螺紋鋼焊牌機器人3D視覺計數和定位方法*

吳立華，白 潔，康國坡，黃冠成

（1.廣東開放大學（廣東理工職業學院），廣州 510091；2.廣東工業大學機電工程學院，廣州 510006）

0 引言

棒材廠軋制的鋼棒在經過打捆和稱重后，需對成品鋼捆焊上具有相關產品信息的標牌以供入庫和外銷，該操作一直以來都由人工完成，極易出現錯焊、漏焊和掉牌等問題，且作業環境惡劣而復雜，存在極大的安全隱患。目前在國內一些棒材廠所實施的自動焊牌系統基本只能通過機器人完成單一的焊牌作業流程，存在以下問題：無法適用多種型號自動識別定位；無法完成焊接標牌區域凸起30 mm 的檢測，導致螺紋鋼損壞標牌的焊接質量問題、兩捆螺紋鋼靠近時無法區分和數量識別錯誤，無法令當前焊接的螺紋鋼單支端面平整導致焊釘無法充分接觸螺紋鋼而引起運輸過程脫落的焊接質量問題；沒有與產線和計量系統進行有效的交互，無法真正實現全自動化和無人化[1-3]。

螺紋鋼焊掛標的自主作業對于生產效率的提升非常重要。對于多品種螺紋鋼端面的計數和焊接標牌，已有的方案不能滿足實時性需求；對于螺紋鋼機器人焊掛標，當前的方案不能實現對目標的識別、定位及作業過程的自動編程；對于復雜光照環境和螺紋鋼品種多變情況下的螺紋鋼棒材智能計數，已有方案不能實現非結構化環境的三維重構和三維點云快速高精度匹配。因此，迫切需要開發和應用基于深度學習的螺紋鋼焊牌機器人3D視覺計數和定位方法，以提高生產效率和市場競爭力。

目前關于棒材識別的方法是通過模糊圓周模糊模板匹配尋找棒材截面[4]，另一種是通過圖像分割、圖像濾波、圖像數字形態學處理等傳統圖像處理方法識別篩選[5-10]。但是，這兩種方法對于不規則的棒材截面不能做到適應。本文針對當前螺紋鋼棒材的識別和定位的通用性和魯棒性問題，提出使用深度學習算法在二維RGB圖像中識別螺紋鋼棒材，然后在三維點云圖中定位棒材中心坐標的方法。

1 總體算法框架

如圖2 所示，由于螺紋鋼存在截面形狀不標準、發藍、發黑，長短不一等問題，無法用傳統的視覺定位方法識別計數，本文提出基于Faster-RCNN 的視覺方法識別計數核驗和焊接位置定位[11-15]。

圖2 螺紋鋼截面示意

算法框架如圖3 所示。首先對圖片進行標注，生成對應的標注數據文件，記錄每個螺紋鋼在圖片的起點坐標和長寬，然后通過數據增強：隨機旋轉、翻轉、噪點、模糊、顏色變換等生成更多的樣本數據。棒材原圖如圖2（b）所示，經過數據增強后如圖4所示。

圖4 經過數據增強

其次，將樣本數據按照訓練集95%和測試集5%進行劃分，訓練集經過共享卷積特征網絡提取目標特征并進行訓練，生成模型文件，識別結果的流程是使用候選區域生成網絡RPN（Region Proposal Network）生成目標的候選框，再通過聚類算法篩選出候選目標的區域，對候選區域特征進行池化處理生成相同尺寸的圖片，最后經過Softmax分類器篩選最優目標，并輸出目標類別和位置。

本文使用了Faster RCNN 網絡結構，如圖5所示，其步驟如下。

圖5 Faster RCNN網絡結構

（1）特征提取網絡（Conv layers）

其輸入為一張圖片，輸出為一張圖片的特征，即feature map。通過一組conv+relu+pooling 層提取圖像的feature map，用于后續的RPN網絡和全連接層。

（2）區域候選網絡（Region proposal Network）

其輸入為第一步中的feature map，輸出為多個興趣區域（ROI）。輸出的每個興趣區域具體表示為1 個概率值（用于判斷anchor 是前景還是背景）和4 個坐標值，概率值表示該興趣區域有物體的概率，這個概率是通過Softmax 對每個區域進行二分類得到的；坐標值是預測的物體的位置，在進行訓練時會用這個坐標與真實的坐標進行回歸計算，使測試時預測的物體位置更加準確。

（3）興趣域池化（ROI pooling）

這一層以RPN 網絡輸出的興趣區域和Conv layers 輸出的feature map 為輸入，將兩者進行綜合后得到固定大小的區域特征圖（proposal feature map）并輸出到后面的全連接網絡中進行分類。

（4）分類和回歸（Classification and Regression）

其輸入為上一層得到的proposal feature map，輸出為興趣區域中物體所屬的類別以及物體在圖像中的精確位置。這一層通過Softmax對圖像進行分類，并通過邊框回歸修正物體的精確位置。

2 手眼標定

本文使用Intel RealSense L515 三維相機，安裝在工業機器人末端，如圖6所示。

圖6 坐標系關系

baseHtool 表示為工具坐標系大機器人基坐標系的轉換關系，可由機器人系統中獲??；toolHcam 表示相機坐標系到工具坐標系的轉換關系，這個轉換關系在機器人移動的過程中是不變的，但為未知的變量；calHcam 表示標定板坐標系到機器人基坐標系的轉換關系，只要標定板與機器人基坐標系相對位置不變，該矩陣就不變[16-17]。由此可得：

聯合上面3個公式，則有：

機器人移動到位置2后：

baseHcal不變，則有：

式中：baseHtoo（l1）=A1；baseHtoo（l2）=A2；toolHcam（1）=X；calHcam（1）=B1；calHcam（2）=B2。

由此：

3 圖像拼接

單次拍照和多次拍照的區別如圖7 所示。由于裁剪長度誤差和捆扎動作導致偏移，使得螺紋鋼棒材端面不平整，最大誤差約有50 mm，因此如果相機一次拍整捆棒材，遠離相機中心的螺紋鋼可能被遮擋，導致計數不準確，所以本文在采集圖像步驟加入了拼接環節，由機器人帶動相機在4×3 的位置點共12 個拍照點對整捆螺紋鋼拍照，然后再進行圖像拼接，圖像拼接流程如下。

圖7 單次拍照和多次拍照的區別

（1）特征提取和匹配。在拼接圖像之前，首先使用改進的SURF 方法提取并匹配圖像的特征點。SURF 通過海森矩陣檢測特征點，選擇行列式值極大或極小的點。為了在尺度上保持不變，SURF使用不同σ值的行列式值來檢測特征點。在特征點的圓形鄰域內，統計60°扇形內所有點的水平、垂直haar 小波特征總和，并以此作為該特征點的主方向。與以往的方法不同，本文還選取一個4×4 的矩形區域塊，但這個區域的方向是沿著特征點的主方向。每個子區域統計25個像素的水平方向和垂直方向的haar 小波特征。通過計算兩個特征點間的歐氏距離來確定匹配度，同時考慮Hessian矩陣跡的正負號，排除對比度變化方向相反的特征點[18-20]。

經過手眼標定后，將圖像上的每個坐標轉換到機器人坐標系上，獲得每個像素點的物理坐標。利用機器人實際位置計算兩張圖像之間的中心位置關系，將其加入surf判定條件，可以提高拼接精度和穩定性。

（2）計算圖像變換。特征匹配后，可以通過計算圖像間的變換矩陣，經過仿射變換和透視變換，將兩張圖像對齊。這個變換矩陣描述了如何將一個圖像上的點映射到另一個圖像上的對應點。

（3）圖像拼接。一旦得到了圖像間的變換矩陣，就可以將兩張圖像拼接成一張更大的圖像。在拼接時，可以通過像素融合算法來平滑處理圖像之間的過渡區域，使拼接結果看起來更自然。

經過以上拼接步驟后，在端面不平整的情況下，實現了圖像的無遮擋重構，效果如圖8所示。

圖8 圖像拼接效果

4 實驗驗證

系統結構如圖9 所示。三維相機、補光燈和焊槍集成在保護箱內并安裝在埃夫特20 kg工業機器人末端。機器人提前取牌，當螺紋鋼棒材到位后，三維相機采集圖像，并通過上述算法識別棒材，計算棒材的支數和中心棒材的焊接坐標，焊接坐標誤差要求在±5 mm以內。

圖9 硬件結構

圖像識別結果如圖10所示。經過Faster R-CNN 算法識別后，可準確統計出棒材的數量并輸出每個棒材的中心位置，圖中綠色點表示最佳焊牌位置。

圖10 圖像識別結果

分別對25、28、32 共3 種直徑規格的棒材進行100次計數和焊接成功率統計，結果如表1所示。

表1 測試統計結果

由于部分棒材長短差異較大，導致短棒材被長棒材幾乎完全遮擋，計數無法達到100%準確率，但整體而言，本文算法計數準確率可達99%以上，焊接準確率能達到100%。

5 結束語

針對螺紋鋼棒材在識別和機器人定位焊牌工序的問題，提出基于Faster R-CNN 框架的深度學習算法識別螺紋鋼，再通過三維點云處理定位中心棒材三維位置，實現螺紋鋼計數和定位焊牌功能，搭建硬件環境，并進行實驗驗證。結果表明：本文所提方法可以完成整捆螺紋鋼棒材的準確識別計數和機器人定位焊牌，焊牌位置準確，焊接質量穩固，驗證了該方法具有較強的通用性和魯棒性；由于不同型號的棒材截面特征相似度高，相比于傳統圖像算法，本文方法更具有廣泛的適用性，可降低對技術人員調試水平的要求，能廣泛應用于螺紋鋼棒材生產企業的焊接工位，減輕人工識別99%以上的工作量，提高企業效益。