多尺度信息融合的船舶外板檢測三維標志點識別方法

劉玉奇，黃博曉，李 占，王英華

(中國船舶集團有限公司綜合技術經濟研究院 船舶質量與可靠性研究中心，北京 100081)

0 引言

船舶建造領域船體外形、殼體、艙形的三維數字化測量對提高裝備制造精度和效率具有重要意義[1-3]。船舶外板的數字化檢測是船體加工制造的關鍵環節，其檢測效率、檢測成本和檢測精度直接影響船舶建造質量與可靠性水平。

標志點識別是數字化檢測中常用的被測點三維坐標獲取方法[4-5]。通過識別三維標志點的空間坐標獲取被測空間點的位置信息，可用于三維場景匹配或測量數據比對，有效實現三維自動化測量。船舶外板的數字化檢測需要將外板實測點云數據與模型點云數據進行比對，而二者坐標系不統一，因此需要借助實測外板點云部分坐標點的位置信息與模型點云進行匹配，實現對外板成形精度的測量。

目前國內外在標志點識別技術領域已有諸多研究成果。國外在靶標識別方面具有較高的技術積累，如徠卡、高幕等公司的三維測量設備具有較好的靶標識別性能，并長期應用于復雜工業應用場景[6-8]。國內有學者采用編碼標志點獲取測量物體的位置，從而通過匹配點集實現自由曲面的高精度拼接[9]。王曼等人開展了基于形態學的編碼標志點識別，通過圖像形態學運算提取標志點區域邊界，然后利用標志點特征準確識別標志點，但當背景較復雜時識別效果不佳[10]。鄭守住等人通過訓練特征模型，并利用算子和邊緣檢測算法提取圓形標志點，最后擬合獲取標志點中心位置，實現了自動、快速識別標志點并提取中心坐標[11]。李洋等人研究了一種適用于復雜工業應用場景的靶標檢測方法，通過圖像處理進行邊緣和弧段分割篩選，然后借助弧段匹配和邊緣弧段聚類提取靶標特征，最后利用擬合方法進行去偽實現對靶標的快速搜索和識別[12]。阮利鋒等人提出一種基于雙目視覺的三維目標識別方法，通過二值化處理，對原始圖像進行分割，然后利用目標灰度與背景灰度之間的差異設定灰度閾值提取標志物，最后通過邊界搜索和判別有效識別和定位標志點[13]。曾接賢等人為解決戶外測量時的標志點識別問題，提出了一種利用標志點顏色和大小信息進行識別的方法，通過二值化處理和形狀篩選、橢圓擬合以及中心定位等計算有效識別和定位標志點的位置信息，并成功應用到戶外基于圖像的視覺測量中[14]。初廣麗等人設計了一種線段和圓環圖案的靶標，通過去噪、邊緣檢測算法、邊緣特征判別等方法實現了靶標的精準識別，具有對噪聲、光照、旋轉不敏感的優點[15]。

本研究針對船舶外板數字化檢測領域的三維標志點識別問題開展研究，首先對三維標志點識別影響因素開展分析，給出了三維標志點的設計方案，同時提出了針對該三維標志點的識別流程，給出了各識別步驟的方法，同時對識別出的三維標志點的中心坐標進行定位，最后通過試驗驗證了該標志點識別和定位方法的有效性。

1 三維標志點識別影響因素分析

光照、成像相對角度、成像距離等因素對三維標志點識別產生影響，接下來將對船舶外板檢測的三維標志點識別各影響因素展開分析。

1.1 光照因素影響

室內燈光全亮下采集的標志點灰度值230以上。關燈后，灰度值下降。當光照度較弱時，可通過補光措施，但需均勻補光，避免發生鏡面反射。

存在自然環境光干擾下，如斜側太陽光照可導致部分區域灰度值增大，當光照較強時對標志點識別會產生影響。

1.2 成像角度

在一定成像角度下可能存在鏡面反射，會導致發生鏡面發射的區域灰度值很高甚至達到最高值。應調整成像的曝光時間并避免強光直射外板表面，以免影響標志點識別。

不同的外板具有不同曲率特征，曲率較大時，通常成像偏轉角度較大，采集的標志點圖像變形越大，圓形通常表現為橢圓形，且在圖像上標志點的點云數據量降低。經試驗觀察，1 m曲率半徑下可以采集到標志點中心存在的孔洞特征。0.5 m曲率半徑下，標志點尺寸相對較小且拍攝高度超過2 m則可能導致邊緣可能會缺失，且中間的孔洞區域半徑減小，影響識別。

1.3 成像距離

成像距離越遠，標志點相對尺寸越小，有效點越少。在不同成像距離下，可根據三維成像的深度信息選取標志點識別的參數，以適應成像尺寸的變化。

2 船舶外板檢測用三維標志點結構設計

船舶外板檢測需要借助三維標志點結構對外板上的某些參考點進行坐標定位。通過獲取到參考點的坐標為后續測量提供位置參考信息。因此需要對三維標志點的結構進行設計，具備定位船舶外板表面上定位點的功能，且能利用點云和灰度信息進行可靠識別。

2.1 定位結構設計

為了對外板上某些參考點位置進行定位，獲取到該點的點云坐標，需要借助定位結構將該參考點位置和三維標志點的結構對準。通過識別出三維標志點的上表面中心坐標位置，確定該參考點的坐標位置。圖1表面有3個三角結構，3個三角形指向的交叉點為下表面的中心。

圖1 三維標志點定位結構設計

2.2 標志點外形結構設計

為保證標志點能夠被穩定可靠地識別和定位，結合船舶外板的尺寸和表面特征，設計了標志點結構，如圖2所示。

圖2 三維標志點外形結構圖

標志點的上表面為中空圓環，外圓直徑50 mm。為方便工人手持，側面設計了側切面，方便抓取。底部外表面尺寸逐漸減小，減少標志點下表面與鋼板之間的接觸面積。由于船舶鋼板通常尺寸較大，相對于標志點下表面尺寸，局部曲率變化很小，因此三維標志點的下表面為平面。標志點高度30 mm。

3 三維標志點識別方案

三維標志點識別主要通過獲取到的標志點灰度和三維結構等多尺度信息對標志點進行識別，從而得到該結構的位置信息，進而得到標志點對應定位位置的坐標。

首先分析成像視場內灰度特征。測量視場下包含船舶外板、標志點和地面等物體信息。船舶外板的灰度值覆蓋范圍廣，由于船舶外板表面的反射率范圍寬，導致成像得到的外板表面的灰度值的取值范圍廣。標志點由于表面發射率高，因此成像得到的灰度值相比周邊的外板表面灰度值高。此外地面通常反射率較低，成像灰度值也較低。因此利用灰度域尺度信息可以對外板、標志點和地面等物體進行區分。

此外，通過分析視場內物體三維尺度特征可知，地面通常為平面或帶有孔洞的平面，鋼板擺放在地面上，鋼板表面曲率變化相對小，標志點擺放在外板表面，突出30 mm高度。由于外板表面的相對平滑，無褶皺或凹凸不平結構，因此標志點與鋼板表面具有相對穩定的高度差。因此標志點與周邊鋼板存在30 mm高度差可作為識別標志點的Z軸空間尺度信息。

標志點結構的三維成像數據具有多個可識別特征，如比上表面的三維點云邊界呈圓形或橢圓形，且直徑接近50 mm，可作為XY軸空間尺度信息。利用標志點上表面與鋼板的高度差30 mm，結合標志點本身的灰度值相比鋼板表面高，可以將標志點從背景環境中逐步篩選出來。同時三維標志點的外部結構特征與被測外板表面參考點的坐標具有對應關系，可通過識別標志點上表面結構的三維信息，解算出對應外板表面某定位點的三維坐標。

三維標志點識別方案主要包含以下步驟：1)點云XYZ數據、灰度數據、標志點結構尺寸信息；2)對整個視場點云進行篩選，粗識別出包含標志點的區域；3)對粗識別出的標志點區域進行篩選進一步定位標志點位置；4)借助標志點多尺度信息，利用深度圖對標志點的信息進行核驗；5)計算標志帶內的圓心坐標；6)計算標志點上表面圓心投影到鋼板表面的坐標。三維標志點識別總體方案如圖3所示。

圖3 三維標志點識別總體方案圖

4 三維標志點識別方法

船舶外板形面測量需要獲取到外板表面的某些點坐標，借助設計的標志點結構，在三維成像視場內首先獲取到三維標志點的位置信息，然后間接計算得到外板表面定位點的三維坐標。識別三維標志點采用了多步驟逐步篩選的策略，首先經過粗識別，剔除一些明顯不滿足標志點特征的區域，然后進一步篩選，利用標志點的局部灰度特點將更多非標志點區域去除。然后借助三維尺寸信息，進一步篩選出符合所設計三維標志點結構信息的數據。通過對特征的進一步計算和識別，綜合判別出符合標志點特征的數據。之后計算標志點的上表面中心坐標，然后再利用結構尺寸計算出外板表面定位點的三維坐標。

4.1 標志點粗識別

首先，對采集的灰度圖進行閾值分割，計算灰度圖灰度均值 H1和大于均值的灰度圖的灰度均值H2。進行加權得到灰度閾值。利用整個灰度圖中絕大部分的灰度值比標志點的灰度值低的特點，粗識別出帶有標志點的區域。

灰度閾值的選取對標志點粗識別的效果至關重要，取值太小會混入太多非標志點，太大可能會造成標志點的丟失。

最佳閾值的選取受環境光照度、曲率、成像距離的影響。

1)成像距離越遠，圖像整體灰度值降低，最佳閾值相對降低。

2)環境光照度較大時，整體灰度值最大，最佳閾值相對增大，環境光照度較小時，整體灰度值減小，最佳閾值相對減小。

3)曲率較大時，標志點區域受光照角度影響相對較小，且成像角度小采集到該區域的信號相對弱，可能會導致靠近邊緣的點灰度值相對變小，如果取灰度閾值較小，會導致標志點靠近邊緣一側的點云數據丟失，進而使得采集的標志點三維尺寸信息存在缺失。

針對以上影響因素，采用自適應調整灰度閾值的方法，根據成像距離，整體的灰度值等關鍵影像參數的值，計算灰度分割閾值[16-18]。

經過該步驟處理后，得到了標志點區域，但仍混雜有其他區域未被剔除。其他區域包括：由于光強增大導致灰度值與標志點區域灰度相近的區域。

4.2 標志點區域精確提取

利用局部區域范圍內標志點上表面的灰度值高的特點，將灰度圖分為M*N塊。在每一塊中進行灰度閾值分割。各灰度區塊之間設置交叉區域。M和N的取值參考標志點的尺寸信息，取值太大或太小均無法有效利用標志點與局部周邊之間的灰度差異特征，從而影響精確提取的效果。

正常光照條件下，基于標志點與周邊物體的灰度差，可以將標志點提取出，但仍可能有一些區域未被去除，例如由于鏡面反射導致的高灰度值區域，由于鏡面區域與其周邊區域同樣存在高灰度差，因此該步驟無法被去除。

4.3 深度圖驗證

由于灰度圖只利用了二維的灰度信息，未能將標志點與其他物體完全區分開，因此可以利用三維坐標信息，對標志點進行進一步篩選。根據以上灰度分割的結果，借助三維的深度信息將各灰度圖中不相鄰的區域分割到獨立的集合中，以便于下一步特征判別。利用深度數據進行聚類運算，可得到多個獨立的集合[19-21]。

首先依據空間信息將現有點劃分到不同的集合，劃分的依據是判斷某一點與現有集合中點的距離是否小于標志點的最大尺寸。若滿足該條件則劃歸到相應集合(不止一個標志點)。若不滿足，則新建集合，將該點劃分到該新建集合中。依次劃分直至所有點被劃分。得到n個可能為標志點的集合。

最大尺寸閾值的設定受標志點尺寸和不同拍攝高度、鋼板曲率影響。高度可通過點云數據大致估計。標志點尺寸固定、已知，曲率隨現場加工進度變化，難以估量，但應給出可測的曲率范圍，使得該曲率范圍內變化不大。

當散點太多時，分割出的集合會大大增加，因此需要在劃分集合前去除散點。提出一種去除點云中離散點噪聲的策略如下：對篩選出的點，判斷其周邊±11行列內范圍內存在的點數若大于150(該值為經驗值，可根據具體試驗環境條件更改)，則該點是標志點一部分。

經過該步驟后，進一步剔除了非標志點區域，但仍然可能混雜有其他由于光照等因素導致灰度與標志點灰度相近的區域。

4.4 特征識別

結合標志點的幾何尺度信息如標志點上表面圓形的尺寸、上表面點云數量、圓形特征、周長、形狀，以及灰度尺度信息等多種尺度特征信息，建立綜合判別剔除其他物體，精確篩選出該三維標志點。具體判別方法如下：

1)有效點數量判別：統計該區域有效點數據，判斷是否滿足數據量區間。(目的是去除數量較少的離散點和數據量較大的區域)

2)尺寸判別：計算所占的行列值，判斷是否滿足行列值區間。

3)對稱性判別：計算四象限內有效點是否>(總點數/6)，判斷是否對稱。

4)周長判別：計算周長，判斷是否滿足閾值。去除其他形狀。

5)形狀判別：根據周長和面積的比例關系，進行圓形判別。

6)計算標志點周邊鄰近的點與標志點中心的Z值之差。統計滿足高度差在20～40之間的數據數量。滿足閾值則認為是標志點。

然后針對多個判別條件，采用綜合評判準則進行判定[22-24]。綜合判別的準則采用滿足整體判別最優的策略，避免由于某一特征丟失導致判別失效。若綜合判別的結果置信度大于80%即可認為是標志點，若數量大于實際的標志點數量，則進一步借助模型中標志點相互之間的距離信息為判別依據做進一步篩選判別。

4.5 坐標提取

判別出標志點后，將標志點上表面數據提取出來，并對標志點上表面數據進行填充，并作橢圓擬合，計算擬合后的圓心坐標，得到上表面圓心中心點對應的三維坐標[23-27]。同時，提取標志點上表面點云數據擬合上表面的平面，得到上表面法向量。將標志點及鄰近50 mm距離區域內點云進行旋轉平移，旋轉平移到法向量與Z軸平行的零點位置。

然后，將上表面圓心坐標沿著法向量朝Z值增大的方向平移30 mm。得到對應外板表面上某點的三維坐標值。

5 標志帶識別和定位精度測試與分析

為驗證標志點識別方法的有效性，對標志點識別的準確率和精度開展試驗測試，將標志點擺放在外板上進行測試，分別統計標志點識別的準確率和定位的精度[28-29]。

5.1 測試環境構建

為驗證標志點識別的準確性和定位的精度，在實驗室環境下搭建了標志點識別測試系統，系統由船舶外板模擬裝置、標志點、成像系統和工控機組成，標志點測試環境如圖4所示。船舶外板模擬裝置為圓弧鐵板用于模擬成形船舶外板。在外板參考定位點上擺放了標志點。三維成像系統由上朝下采集點云數據，工控機系統自動進行標志點識別，輸出識別結果。

圖4 標志點識別方法測試環境

標志點的擺放如圖5所示，將標志點中心對準外板模擬裝置上參考點。在外板模擬裝置的不同位置擺放了多個標志點，充分測試在不同角度、高度下標志點識別的準確性。

圖5 標志點擺放

5.2 實驗參數

試驗采用的算法參數如下：有效點參數取值范圍設置為[150，500]。周長范圍設置為[80，150]，這里周長為灰度中標志點邊緣所占據的像素數量。高度差范圍[20，40]。將尺度信息加權后計算得到一個綜合分值，該分值為標志點的綜合評判值，當大于90時認為滿足絕大部分標志點特征，因此判定為標志點。

5.3 實驗結果

在開展的測試實驗中，擺放多個位置，并進行重復檢測，得到500個標志點測試結果，準確識別出標志點的數量為494個。識別準確率為98.8%。部分標志點的定位精度數據如表1所示。視場中單個標志點和存在多個標志點識別的時間差異小，1 024×1 280分辨率的三維視場下識別標志點所消耗的時間為15 s。

表1 標志帶定位精度測試結果 mm

識別錯誤情況分析：未能正確識別的標志點均是由于標志點偏離成像設備視場中心太遠。當標志點與數據采集設備之間的偏轉角度越大，受視角因素影響，灰度圖中標志點變形越大。此外三維點云數據在視場邊緣的測量精度相對中間視場位置測量精度差。因此標志點在視場邊緣，各尺度特征易受視場角因素影響產生變形或信息丟失，導致不能正確識別的情況。

定位精度分析：定位誤差是由標志點識別的坐標與標志點實際坐標之差計算得到的，而標志點實際坐標的獲取方法如下：在外板表面定位點上表貼一個薄紙片，該紙片的中心點為黑點，并將黑點與定位點對齊，在成像系統采集灰度圖并獲取到該黑點的像素值，由像素值找到對應的三維坐標值。將獲取到的三維坐標作為該定位點的實際坐標值。然后擺放標志點，利用標志點識別算法得到該點三維坐標值，并與定位點實際坐標計算均方差，求得定位得到的坐標點的誤差。

由表1所示，所提出方法識別出的坐標和真值坐標之間的歐式距離在1～3 mm之間。導致定位誤差的因素是多方面的，首先誤差與深度方向的距離有關，也與標志點偏離中心點的位置有關。距離越遠，成像誤差相對大，獲取到的數據誤差大，則定位精度也會相對變差。偏離中心越遠，成像角度導致標志點的變形大，計算得到的中心位置偏差變大，則定位精度也隨之變大。此外計算標志點中心位置時可能由于標志點部分有效點缺失而導致計算的中心坐標值存在偏差。若偏差n個像素，則精度下降n*L，其中L為一個像素所表示的被測物長度?；谝陨戏治?，成像采集數據的質量直接決定了定位精度的效果。此外，成像設備的精度直接影響定位數據的準確性，因此也對定位精度提高起至關重要的作用。

由以上結果可知，該標志點識別方法可以穩定有效地識別出標志點，此外，在獲取定位點坐標方面也取得了較好的定位精度。

6 結束語

針對船舶外板數字化檢測參考點坐標獲取問題，給出了三維標志點識別的總體方案以及結構設計方法。進一步提出了借助灰度域尺度、Z軸空間尺度和XY軸空間尺度等多尺度信息融合的標志點綜合判別方法，通過標志點粗識別、精確定位、特征識別和坐標提取等方法，實現標志點識別與定位，得到了外板表面參考定位點的三維坐標。進一步通過標志點識別和定位測試實驗，得到識別準確率和定位精度信息，試驗結果表明提出的三維標志點識別方法可以準確地識別出標志點，且具備較好的定位精度，能夠為船舶外板成形檢測提供有效的參考點位坐標信息，滿足船舶外板加工檢測的使用需求。同時也給出了影響定位精度的影響因素分析，后續將針對試驗結果分析進一步改進定位算法的精度，以滿足更高的測量需求。