基于振動點云補償鍛件尺寸在線測量系統研究

卞紹順，單德彬，張彬，郭卜瑞，徐文臣，徐佳煒

技術創新

基于振動點云補償鍛件尺寸在線測量系統研究

卞紹順1,2，單德彬1，張彬2，郭卜瑞1，徐文臣1，徐佳煒1

（1.哈爾濱工業大學 金屬精密熱加工國家級重點實驗室，哈爾濱 150001；2.連云港杰瑞自動化有限公司，江蘇 連云港 222006）

針對高溫鍛造生產線檢測任務中機械振動造成鍛件熱態尺寸測量誤差較大的問題，提出基于加速度傳感器的振動點云補償方法。振動點云補償方法是在激光相機中內置加速度傳感器獲取振動信號，在檢測出相機振動的加速度后，通過二次積分求解出相機在3個方向上的位移量，并通過旋轉矩陣變換得到對應點的坐標值，從而對相機振動帶來的點云偏差進行補償和校正。在完成對點云偏差的修正之后，利用Halcon中的模板匹配算法對鍛件點云進行匹配。搭建了具有加熱、鐓粗、預鍛等工序的汽車輪轂機器人自動化鍛造生產線，根據鍛造工藝要求，使用所研制方法對高溫鍛件產品進行了關鍵尺寸的在線測量。經補償后，鍛件點云尺寸平均測量誤差由±0.9 mm降低至±0.1 mm，標準差由0.52 mm降低至0.056 mm。采用二氧化硅氣凝膠隔層降噪、增加防振結構件及隔熱恒溫等措施，使用藍紫線激光3D相機，并通過基于加速度傳感器的振動點云補償算法，可以滿足鍛造自動化生產線的在線檢測要求，能夠提高鍛造生產線高溫鍛件尺寸的檢測精度、降低尺寸檢測的不穩定性。

熱態尺寸檢測；點云振動補償；模板匹配算法；鍛造生產線；在線檢測

自動化鍛造生產線的鍛件熱態尺寸檢測一直是行業難點[1-3]，由于鍛造環境下的強烈振動，普通視覺對紅熱狀態鍛件的檢測精度難以滿足工藝檢測需求，目前大多由人工采用標準檢測工裝或游標卡尺等物理接觸方法進行測量[4-6]。隨著測量技術的發展，基于機器視覺的非接觸三維測量方法已成為對鍛件進行表面三維數據獲取的首選方法，并且結合工業機器人能夠實現鍛造自動生產線中的在線熱態檢測[7-9]。

目前，鍛件三維測量設備主要有激光雷達、雙目結構光相機和線激光3D相機[10-12]。激光雷達的優勢是可在較遠的距離進行測量，從而避免鍛件附近高溫、振動等惡劣環境影響，但所獲得的數據存在稀疏、精度較差、測量視圖局限等缺點[13]。劉玉松等[14]為了實現高效率的數字化測量，將Metrascan和激光雷達相融合，通過將激光雷達坐標系變成基準轉換坐標系，提升了Metrascan掃描儀精度。潘鑫等[15]分析了待測距離、入射角、材料屬性等因素對激光雷達測量精度的影響，通過信噪比的變化規律提高了復材型面的測量精度。雙目結構光相機具有標定與激光器無關、可單獨替換等優點。雷沖等[16]利用雙目結構光相機對光學元件粗精磨表面進行了測量，大大縮短了加工過程。但由于雙目結構光相機成本較高，且在場景缺乏特征時性能會下降，在應用上受到很大的局限。線激光3D相機測量裝置通常由線激光器和相機組成，通過向被測物投影激光線條，單次測量獲取一條線的三維數據，需要機構帶動相機或工件移動，該測量裝置具有結構簡單、精度高、穩定性好等優點[17-19]。因此，采用線激光3D相機作為鍛件點云的采集裝置有助于實現鍛件尺寸的現場快速檢測。

然而，在鍛造工廠的環境中，存在由鍛壓機工作產生的環境振動，沖擊發生時，距鍛壓機一定距離的測量設備受到低頻、大振幅振動的影響，并且振動衰減快[20-21]。由于鍛造工廠鍛壓機眾多，振動來源復雜，難以預測和防止，使得鍛件尺寸在線精確檢測難度較大[22-24]。因此，文中提出基于加速度傳感器的鍛件三維點云數據補償算法，用于鍛件點云數據的補償校正，最后利用模板匹配算法對鍛件點云進行匹配，達到了自動化鍛造的在線熱態檢測要求。

1 算法設計

面向鍛造環境下的鍛件在線檢測算法流程如圖1所示，所提出的算法主要包括3個階段：基于加速度傳感器的鍛件三維點云數據補償；基于表面模板匹配的鍛件檢測；鍛件尺寸測量。具體算法過程如下。

1）基于加速度傳感器的鍛件三維點云數據補償：讀取鍛件點云數據，利用加速度傳感器獲取振動偏移量；將振動傳感器坐標系下得到的偏移量變換到世界坐標系下；將世界坐標系下求得的點云偏移量寫入對應的點云數據，進行補償。

2）基于表面模板匹配的鍛件檢測：對鍛件表面點云均勻采樣；創建鍛件全局模型描述；創建哈希表；選取檢測參考點；相似性評估；最小二乘優化。

3）鍛件尺寸測量：擬合3層平面；點云補償；提取輪廓；擬合圓；多次多方位采樣；得到測量結果。

1.1 基于加速度傳感器的鍛件三維點云數據補償

鍛造現場的振動來源主要是壓機工作所帶來的環境振動，自動化產線的壓機按照穩定的節拍進行有節奏的動作，產生的振動信號趨向于穩態信號。本研究在激光相機中內置加速度傳感器，獲取鍛造環境下的振動信號，由振動加速度進行頻域二次積分求振動位移，通過標定確定世界坐標系，并構建臨時坐標系，在檢測出相機振動的加速度后，通過二次積分求解出相機在3個方向上的位移量，并通過旋轉矩陣變換得到對應點的坐標值，從而對相機振動帶來的點云偏差進行補償，主要步驟如下。

式中：為采集數據量；、均為非負整數。

進而有

最后是對待測工件進行掃描，得到點云信息，并利用世界坐標系下的偏移量對點云進行補償，找出振動時相機記錄的幀所對應的點云數據，將WCS下的L、L、L寫入對應的點云數據，進行補償。

1.2 基于表面模板匹配的鍛件檢測

采用基于表面模板匹配的方法來進行鍛件檢測，主要包括鍛件點云全局模型創建、鍛件檢測參考點選擇、最小二乘法位姿優化等步驟。首先創建鍛件全局模型描述，然后通過霍夫投票的方式獲得鍛件檢測參考點，最后采用ICP算法對所選取的鍛件檢測參考點進行匹配并通過最小二乘法完成鍛件位姿優化。

1.2.1 點對特征模型及存儲方式

創建全局模型可以采用鍛件的CAD模型，或者通過線激光3D相機采集標準鍛件，并通過三維重構算法得到三維數據。由于鍛造現場實際工況較為復雜，不同模具生產的鍛件與CAD的鍛件圖有一定偏差，并考慮到生產中的模具磨損，往往需要在較穩定的現場來采集標準的鍛件點云模型?？紤]模板內存使用、算法執行時間及識別穩定性，使用固定數量（300～5 000）的點對物體表面進行均勻采樣。

對全局模型的描述采用點對的模式，每個點對包含表面兩點及其對應的法向量，法向量的提取方法是：某點周圍的數據點擬合成一個平面，將該平面的法向量作為該點的法向量。

1.2.2 鍛件檢測參考點選擇

圖3 點對模型及特征值的存儲方式

圖4 鍛件參考點投票過程

1.2.3 最小二乘法位姿優化

由于參考點選擇受到采樣精度的影響，投票計數獲得的鍛件位姿準確性是有限的。為保證精度，采用最小二乘法對鍛件位姿進行優化，并在迭代最近點（ICP）算法的框架內進行。當已知初始位姿足夠準確時，ICP算法可以對齊兩個點云（模板點云和采集點云），算法包括兩步：首先，針對第一片點云中的每個點，在第二片點云中確定出最近的點；然后，計算使得所有對應點之間距離平方和最小的位姿。

當位姿達到預設精度或最大迭代次數時，迭代過程將停止。圖5為鍛件點云補償前后位姿對比圖，可以看出，補償后的鍛件點云圖更加完整。

圖5 鍛件點云補償前后位姿對比

2 實驗設置

實驗是基于輪轂鍛造自動化生產線進行的，整個產線如圖6所示，包括中頻爐、鐓粗壓機、初鍛壓機、終鍛壓機、沖孔機、切邊機、檢測臺、下料輸送機和10臺機器人。為了滿足輪轂鍛件全方位、多尺寸的柔性定制化檢測需求，采用機器人帶動檢測裝置進行鍛件的4次掃描檢測流程，即先掃描上表面，然后左右兩個側面，最后通過另外一臺機器人翻轉工件，再掃描底部表面，圖7是其中2次掃描的動作圖片。

圖6 輪轂鍛造自動化生產線布置

圖7 現場測試環境

由于鍛造現場環境復雜多變，鍛造設備工作時產生的振動是影響鍛件檢測精度的重要因素，除了在軟件算法上對振動造成的點云數據偏差進行補償校正外，還采用二氧化硅氣凝膠隔層進行噪聲屏蔽，并在硬件結構上采用鎖緊螺母和防松墊片進行器件的固定安裝，從而緩沖器件的振動。此外，金屬鍛件溫度高，對外熱輻射強烈，使得檢測設備始終工作在高溫高熱的環境下，嚴重影響設備的使用性能。為保證設備能正常穩定運行，對檢測設備采用以下幾種措施進行高溫防護，如圖8所示，在裝置外層加裝金屬薄板反射層，內層設置隔熱夾層，在光學窗口外部安裝熱輻射濾光片，盡可能阻擋高溫高熱進入到檢測裝置內部；此外，采用半導體制冷、散熱片及風扇使裝置內部形成恒溫，加快熱對流，使得內部相機及激光器等器件產生的熱量能盡快排出到裝置外。

圖8 檢測裝置振動及隔熱的物理防護

輪轂鍛件是汽車連接輪轂和車體的關鍵部件，為保證輪轂鍛件的品質，主要測量尺寸如圖9所示，可分為徑向尺寸和軸向尺寸。由于坯料溫度、壓機速度等工藝參數的異常變化，常造成直徑三套筒外徑、芯軸外徑偏離公差范圍，所以這些尺寸是輪轂鍛件檢測的關鍵數據。

圖9 輪轂鍛件徑向及軸向尺寸檢測內容

3 實驗結果分析

經過搭建的實驗環境獲得點云數據后，進行振動帶來的點云補償效果測試分析。圖10為點云補償前后的對比示意圖，圖中鍛件正面指的是圖9中輪轂鍛件的上半部分，鍛件反面指的是輪轂鍛件的下半部分。圖10a為產生振動時掃描得到的點云，可以明顯看出，點云圖像存在較多噪點和重影，振動對點云掃描結果產生了較大影響。圖10b為經過振動傳感器補償得到的點云，可以看出，噪點和重影明顯減少，有效抑制了鍛造現場振動對檢測掃描點云結果的影響。對于鍛件的正面和反面，首先需要基于掃描的數據高度變化得到3層數據，并分別擬合3層平面，依據點到面的距離剔除噪點，并采用基于加速度傳感器的鍛件三維點云補償方法對振動造成的點云誤差進行修正。在鍛件點云修正完成的基礎上分別得到3層平面對應的鍛件輪廓數據，并擬合圓，得到鍛件尺寸信息。最后，計算不同平面之間的距離，多次多方位采樣并求取平均值，作為最終檢測得到的鍛件尺寸值。

圖11為鍛件各掃描面點云測量關鍵步驟處理圖。圖11a—c分別為鍛件正面、反面和側面點云的測量關鍵步驟處理圖，其中，第1行是基于掃描的數據高度變化獲取的3層鍛件點云原始數據；第2行是噪點剔除和點云補償后得到的結果；第3行是進行邊緣提取和圓形擬合后得到的結果；第4行是最終尺寸測量結果。

圖10 點云補償前后對比示意圖

圖11 鍛件各掃描面點云測量關鍵步驟處理圖

表1為鍛件上表面直徑3的多次測量結果，可以發現，補償前測量數據波動較大，且有時和理論值出現很大偏差，對12次未補償前的實驗測量結果求得標準差為0.52。經過補償后，測量數據波動明顯降低，標準差僅為0.056，和理論值誤差僅有±0.1 mm。由此可以看出，點云補償對鍛件尺寸的測量精度有很大的提升。表2為點云補償后鍛件各掃描面尺寸測量結果統計。由表2可知，鍛件的各尺寸測量誤差能夠控制在±0.1 mm，滿足輪轂鍛件在線熱態檢測的工藝需求。

表1 直徑3測量結果統計

Tab.1 Measurement results of diameter 3

表2 點云補償后鍛件各掃描面尺寸測量結果統計

Tab.2 Measurement results of each scanning surface of the forging after point cloud compensation

4 結論

通過在激光相機中增設相機防振模塊，利用加速度傳感器捕獲相機水平移動過程中產生的振動信號，并通過坐標變換計算得到相機振動造成的點云偏移量，從而對其進行補償，有效抑制了相機振動對鍛件在線測量結果的影響?；谛Ｕ蟮狞c云數據，尺寸平均測量誤差由±0.9 mm降低至±0.1 mm，標準差由0.52 mm降低至0.056 mm，該檢測實驗結果表明，鍛件點云經補償后，能有效提高尺寸測量精度，從而降低人工檢測的勞動強度，為鍛造產線穩定可靠地運行提供了技術支撐。

[1] HAWRYLUK M, ZIEMBA J, SADOWSKI P. A Review of Current and New Measurement Techniques Used in Hot Die Forging Processes[J]. Measurement and Control, 2017, 50(3): 74-86.

[2] HAWRYLUK M, ZIEMBA J. Possibilities of Application Measurement Techniques in Hot Die Forging Processes[J]. Measurement, 2017, 110: 284-295.

[3] ZHANG Yu-cun, HAN Jun-xia, FU Xian-bin, et al. Measurement and Control Technology of the Size for Large Hot Forgings[J]. Measurement, 2014, 49: 52-59.

[4] 高浩波, 王保升, 左健民, 等. 大型環件熱態幾何參數在線檢測方法綜述[J]. 機械設計與制造工程, 2019, 48(1): 93-96.

GAO Hao-bo, WANG Bao-sheng, ZUO Jian-min, et al. A Review of Online Detection Method for Thermal Geometric Parameters of Large Rings[J]. Machine Design and Manufacturing Engineering, 2019, 48(1): 93-96.

[5] SHEN Jiu-li, XING Ting-ting, ZHANG Chuan-bao. Cavity Detection Method of Hot State Axle Forging Based on Laser Technology[J]. Optik, 2022, 257: 168782.

[6] DWORKIN S B, NYE T J. Image Processing for Machine Vision Measurement of Hot Formed Parts[J]. Journal of Materials Processing Technology, 2006, 174(1/2/3): 1-6.

[7] SHEN Jiu-li, XING Ting-ting. Detection Technology of Void Temperature Field Inside Hot Hull Forgings[J]. Journal of Coastal Research, 2020, 103(S1): 397.

[8] ZHANG Yu-cun, ZHANG Lei-qiang, FU Xian-bin. Detection Analysis of Interior Void for Hot Axial Forging Based on the Interior Temperature Field[J]. Applied Thermal Engineering, 2016, 93: 43-49.

[9] ZHANG Yu-cun, MIAO Shu, FU Xian-bin, et al. Online Measuring Method of Radial Section Line for Ring Forgings[J]. The International Journal of Advanced Manufacturing Technology, 2019, 101(9): 3035-3046.

[10] NELLUMS R O, HABBIT R D, HEYING M R, et al. 3D Scannerless LADAR for Orbiter Inspection[C]// Spaceborne Sensors III, SPIE Proceedings. Orlando (Kissimmee): FL. SPIE, 2006, 6220: 147-163.

[11] WU Zhi-chao, WEI Xiao-xin, SONG Li-mei, et al. Solution for Vision Occlusion Based on Binocular Line-Structured Light[J]. Optoelectronics Letters, 2021, 17(7): 432-437.

[12] LEE J, SHIN H, LEE S. Development of a Wide Area 3D Scanning System with a Rotating Line Laser[J]. Sensors (Basel, Switzerland), 2021, 21(11): 3885.

[13] 韓利亞. 熱成形件在線自動化三維測量技術研究[D]. 武漢: 華中科技大學, 2019: 1-5.

HAN Li-ya. Research on Automated 3D Measurement for Online Inspection of Hot Forming Parts[D]. Wuhan: Huazhong University of Science and Technology, 2019: 1-5.

[14] 劉玉松, 王志海, 劉琦, 等. 基于Metrascan與激光雷達融合的飛機外形數字化測量方法研究[J]. 現代制造工程, 2019(2): 36-40, 47.

LIU Yu-song, WANG Zhi-hai, LIU Qi, et al. Research on Aircraft Profile Digital Measurement Based on Fusion of Metrascan and Laser Radar[J]. Modern Manufacturing Engineering, 2019(2): 36-40, 47.

[15] 潘鑫, 張俐, 何凱. 激光雷達復材型面測量精度分析方法[J]. 北京航空航天大學學報, 2020, 46(7): 1398-1404.

PAN Xin, ZHANG Li, HE Kai. Method of Accuracy Analysis for Composite Material Surface Measurement by Lidar[J]. Journal of Beijing University of Aeronautics and Astronautics, 2020, 46(7): 1398-1404.

[16] 雷沖, 劉元坤. 一種基于雙目結構光的光學元件精磨表面面形測量方法[J]. 光學與光電技術, 2022, 20(1): 14-20.

LEI Chong, LIU Yuan-kun. A Method for Measuring the Surface Shape of Dynomizing Optical Element Based on Binocular Structured Light 3D Measurement[J]. Optics ＆ Optoelectronic Technology, 2022, 20(1): 14-20.

[17] 安宗權, 王勻. 基于線激光與模板匹配的工件表面平坦度測量[J]. 控制工程, 2018, 25(2): 341-345.

AN Zong-quan, WANG Yun. Surface Flatness Measurement of Workpiece Based on Line Laser and Template Matching[J]. Control Engineering of China, 2018, 25(2): 341-345.

[18] HAN Li-ya, CHENG Xu, LI Zhong-wei, et al. A Robot-Driven 3D Shape Measurement System for Automatic Quality Inspection of Thermal Objects on a Forging Production Line[J]. Sensors (Basel, Switzerland), 2018, 18(12): E4368.

[19] HE Jun, GAO Feng, WU Sheng-fu, et al. Measure Dimension of Rotating Large Hot Steel Shell Using Pulse Laser on PRRR Robot[J]. Measurement, 2012, 45(7): 1814-1823.

[20] 廖勇, 黃薇, 張瑞菊, 等. 2 050 mm熱軋產線設備智能運維技術的應用[J]. 寶鋼技術, 2019(6): 31-37.

LIAO Yong, HUANG Wei, ZHANG Rui-ju, et al. Application of Intelligent Operation and Maintenance Technology in 2 050 mm Hot Rolling Equipment[J]. Baosteel Technology, 2019(6): 31-37.

[21] 劉文廣, 馮婷, 史青, 等. 鍛造操作機行走系統液壓沖擊振動及定位控制[J]. 鍛壓技術, 2019, 44(12): 99-103, 121.

LIU Wen-guang, FENG Ting, SHI Qing, et al. Hydraulic Shock Vibration and Positioning Control for Forging Manipulator Walking System[J]. Forging ＆ Stamping Technology, 2019, 44(12): 99-103, 121.

[22] 滕昊, 韓軍, 汪滿新, 等. 基于振動特征的自動換刀裝置到位精度狀態診斷[J]. 組合機床與自動化加工技術, 2021(5): 86-91, 95.

TENG Hao, HAN Jun, WANG Man-xin, et al. State Diagnosis of Automatic Tool Changer Positioning Accuracy Based on Vibration Characteristics[J]. Modular Machine Tool ＆ Automatic Manufacturing Technique, 2021(5): 86-91, 95.

[23] WANG Q, He F. A Review of Developments in the Forging of Connecting Rods in China[J]. Journal of Materials Processing Technology, 2004, 151(1-3): 192-195.

[24] JI Yuan-long, SUN Shu-wen, LIU Zhi-feng, et al. Design and Development of Management and Control System for Intelligent Die Forging Production Line[C]// 2020 3rd World Conference on Mechanical Engineering and Intelligent Manufacturing (WCMEIM). Shanghai, China: IEEE, 2020: 230-233.

[25] TOMBARI F, DI STEFANO L. Object Recognition in 3D Scenes with Occlusions and Clutter by Hough Voting[C]//2010 Fourth Pacific-Rim Symposium on Image and Video Technology. Singapore: IEEE, 2010: 349-355.

Online Measuring System of Forging Dimension Based on Vibration Point Cloud Compensation

BIAN Shao-shun1,2, SHAN De-bin1, ZHANG Bin2, GUO Bu-rui1, XU Wen-chen1, XU Jia-wei1

(1.National Key Laboratory for Precision Hot Processing of Metals, Harbin Institute of Technology, Harbin 150001, China; 2.Jari Automation Co., Ltd., Jiangsu Lianyungang 222006, China)

The work aims to propose a vibration-point cloud-compensation method based on the acceleration sensor to solve the large forging thermal dimensional measuring error in detection task caused by the mechanical vibration in the high-temperature forging production line. First, the vibration signal was obtained through the built-in acceleration sensor in the laser camera. After the acceleration of the camera vibration was detected, the displacement of the camera in three directions was solved by secondary integration. Subsequently, the coordinate value of the corresponding point was obtained by the rotation matrix transformation so as to compensate and correct the point cloud deviation caused by the camera vibration. Finally, the forging point cloud was matched with the template matching algorithm in Halcon. The automatic forging production line of automobile wheel hub robot with heating, upsetting and preforging processes was built, and the key dimensions of high-temperature forging products were measured online with the developed method. After the forging point cloud was compensated, the average measurement error of dimensions was reduced from ±0.9 mm to ±0.1 mm, and the standard deviation was reduced from 0.52 mm to 0.056 mm. Through the vibration point cloud compensation method based on the acceleration sensor , as well as silica aerogel insulation, vibration structural parts, heat insulation and constant temperature, blue violet laser 3D camera and other measures, the online detection requirements of automatic forging production line can be met, the dimensional detection accuracy of high temperature forgings in the forging production line can be improved, and the instability of dimensional detection can be reduced.

thermal dimension detection; point cloud vibration compensation; template matching algorithm; forging production line; online detection

10.3969/j.issn.1674-6457.2023.01.023

TB92

A

1674-6457(2023)01-0190-09

2022–05–13

2022-05-13

國家重點研發計劃（2018YFB1309100）

National Key Research and Development Program of China (2018YFB1309100)

卞紹順（1985—），男，碩士，高級工程師，主要研究方向為智能化鍛造。

BIAN Shao-shun (1985-), Male, Master, Senior engineer, Research focus: intelligent forging.

徐文臣（1976—），男，博士，教授，主要研究方向為精密塑性成形技術及智能化。

XU Wen-chen (1976-), Male, Doctor, Professor, Research focus: precision plastic forming technology and intelligence.

卞紹順, 單德彬, 張彬, 等. 基于振動點云補償鍛件尺寸在線測量系統研究[J]. 精密成形工程, 2023, 15(1): 190-198.

BIAN Shao-shun, SHAN De-bin, Zhang Bin, et al. Online Measuring System of Forging Dimension Based on Vibration Point Cloud Compensation[J]. Journal of Netshape Forming Engineering, 2023, 15(1): 190-198.