雙目視覺下紅外遙感艦船圖像三維重構設計研究

趙 金

（鄭州科技學院，河南 鄭州 450000）

0 引 言

艦船圖像三維重構時，過于依賴艦船表面的紋理信息[1]，當艦船表面過于光滑時，目標重構結果[2-3]容易存在數據空洞。目前已有眾多研究學者，針對目標三維重構進行研究[4]。莊蘇鋒等[5]采用水下雙目立體視覺相機采集艦船目標，在匹配采集圖像目標特征的基礎上實現了目標三維重構。石磊等[6]依據圖像中目標的幾何信息和光度信息，選取稀疏度自適應方法，對圖像像素點分類，利用變分模型對圖像去噪，選取稀疏度正交匹配算法實現三維重構。以上方法雖然可以實現目標三維重構，重構時間較短，但是艦船航行環境背景復雜，采集艦船圖像時，極易成為弱、暗目標，無法獲取艦船目標的深度信息。存在三維重構結果丟失過多細節的情況，重構結果分辨率不理想。

為了獲取最佳的艦船圖像三維重構結果，結合雙目視覺相機采集的艦船可見光圖像與艦船紅外遙感圖像，設計艦船圖像三維重構方法。

1 紅外遙感艦船圖像三維重構

1.1 可見光圖像與紅外遙感圖像的點云融合

根據上述過程獲取的可見光圖像提供了豐富的顏色和紋理信息，能夠幫助識別和分類目標。而紅外遙感圖像[7]則能夠探測艦船的熱量輻射，提供了艦船的熱紅外特征，可幫助識別隱蔽或遮擋的目標。因此，將雙目視覺相機采集的艦船可見光圖像與艦船紅外遙感圖像的點云信息融合處理，即將點云融合問題，視為將紅外遙感圖像的點云數據，通過像素坐標系和世界坐標系的相關轉換實現點云數據融合。

用P1與P2分別表示雙目特征點的稀疏點云以及紅外遙感圖像的點云信息，二者分別位于世界坐標系以及圖像像素坐標系。相同像素點在不同坐標系內，其坐標值不同。用分別表示艦船特征點在像素坐標系O1-xyz以及世界坐標系Ow-XYZ的坐標值，轉換像素坐標系與世界坐標系的表達式如下：

式中，k為尺度縮放因子，R為旋轉矩陣，T為平移系數，(X,Y,Z)表示雙目視覺空間中艦船的一點在世界坐標下的齊次坐標。

紅外遙感艦船圖像的像素坐標系與雙目視覺攝像機坐標系內，不存在旋轉關系，取R值為0。轉換如下：

平移變換紅外遙感像素坐標下的艦船點云數據[8]，移動至坐標原點坐標系。利用最小二乘法，求解艦船Z方向的尺度轉換參數。

雙目視覺相機在艦船圖像采集過程中，主像素點位置與理論位置存在一定差異，因此設置平移參數糾正誤差。艦船紅外遙感圖像坐標系與雙目視覺坐標系，在X軸與Y軸的平移參數表達式如下：

式中，(u'0,v'0)表示通過立體標定獲取艦船的真實值，dx與dy分別表示雙目相機像元在X軸與Y軸的尺寸。

通過相機標定獲取X軸與Y軸的焦距值fx與fy。艦船像素點在Z軸的平移參數表達式如下：

綜合式（3）與式（4），獲取紅外遙感圖像的像素坐標系與雙目視覺相機坐標系之間的平移參數T。

選取最小二乘法，獲取滿足轉化誤差最小目標的不同坐標下的尺度轉換因子k，得到最終的可見光圖像與紅外遙感圖像的點云融合表達式如下：

式中，N為特征點數量。

1.2 艦船圖像特征點提取與匹配

為獲取艦船圖像三維重構的最佳匹配效果，結合艦船目標的點狀特征與區域特征，選取艦船目標的質心、質心區域灰度以及艦船區域面積，作為艦船圖像的特征基元。通過艦船圖像中的連通域集合中心，獲取艦船目標質心的幾何中心坐標：

式中，(xi,yi) 與(xo,yo)分別表示相同連通域的像素點坐標以及幾何中心坐標。

計算各連通域內元素灰度之差，獲取艦船質心區域的平均灰度表達式如下：

式中，d()表示相同連通域內的像素點灰度值。艦船質心區域的平均灰度D可反映艦船的整體亮度和顏色特征。艦船通常具有明顯的亮度差異與背景相比，因此利用艦船質心區域的平均灰度可將其作為一個代表性特征點。

利用半全局匹配算法，對所提取的艦船圖像特征點D進行匹配。艦船圖像灰度值的絕對偏差容易受環境影響，半全局匹配算法利用改進的匹配代價函數進行匹配，并計算兩幅圖像的互信息值，令匹配結果更加精準。

艦船圖像互信息的計算公式如下:

式中，EL與ER分別為左圖像與右圖像直方圖的熵，ELR為聯合分布直方圖的熵。

艦船特征點匹配時，對不同方向設置順序性約束，得到艦船圖像特征點匹配結果為：

式中，G表示艦船圖像特征點匹配結果，e(x,y,z)表示艦船圖像的像素點匹配誤差，l表示像素點距離。

1.3 基于三角化曲面的艦船圖像三維重構

在特征點匹配過程中，由于艦船圖像本身的特性、遮擋等因素導致部分特征點缺失或重復。使用三角化曲面算法在缺失或重復特征點的區域進行插值或去除操作，優化艦船圖像三維重構質量。因此，依據艦船圖像特征點匹配結果，采用三角化曲面算法，通過像素點的延伸，連接網格中滿足拓撲正確性和幾何正確性的點，實現艦船圖像三維重構。具體重構過程如下：

1）對于艦船圖像像素點p=1-G，設置固定的半徑，利用KD 樹算法，搜索該像素點在圖像空間內的k鄰域。

2）將該像素點領域內的點，投影至像素點p的曲面切平面。

3）將所獲取的投影點，利用可見性修剪方法修剪處理，將投影結果連接至p點至相鄰點內，組成1 個三角形。

重復以上過程，直至完成艦船點云內全部點的遍歷。完成遍歷后，連接不同點之間的線，所獲取的三角化結果，即最終的艦船三維重構的網格化模型。以所構建的網格化模型為基礎，依據可見光圖像，為網格化模型進行紋理信息的貼圖處理。完成網格化模型的紋理貼圖后，即可獲取最終艦船三維重構結果。

2 實驗分析

為驗證所研究的艦船三維重構方法的重構性能，選取某艦船作為研究對象。

2.1 實驗設置

以目標艦船為測試對象進行實驗，實驗步驟如下：

1）相機標定。使用標定板和角度測量儀標定Stereolab 公司的ZED 雙目立體視覺相機和FLIR 船載熱像儀M400XR，獲取其內外參數。

2）圖像采集。分別利用Stereolab 公司的ZED 雙目立體視覺相機和FLIR 船載熱像儀M400XR，采集目標艦船的可見光圖像與紅外遙感圖像。其中，選取ZED 雙目立體相機采集艦船的可見光圖像。艦船可見光圖像采集結果如圖1 所示。采用FLIR 船載熱像儀M400XR 采集艦船的紅外遙感圖像，采集結果如圖2 所示。

圖1 可見光圖像采集結果Fig. 1 Visible light image acquisition results

圖2 艦船紅外遙感圖像采集結果Fig. 2 Acquisition results of ship infrared remote sensing images

通過圖1、圖2 實驗結果可看出，采用雙目視覺相機采集的艦船可見光圖像，與艦船紅外遙感圖像，分別可體現艦船目標的不同細節。依據不同類型圖像中包含的豐富圖像細節，令艦船三維重構結果更加豐富，避免艦船三維重構結果出現空洞情況。

3）圖像預處理。使用OpenCV 圖像處理軟件進行圖像去噪、校正和對齊等預處理操作。

4）特征點提取和匹配。在預處理后的圖像上提取特征點，并通過半全局匹配算法匹配艦船圖像特征點。

5）三維重建?；谌腔娣椒▽崿F艦船圖像三維重構。

6）重建結果分析和可視化。使用Matlab 軟件對重建結果進行分析和可視化，評估重建效果和準確性。

2.2 結果分析

采用本文方法從艦船圖像中提取特征點，統計艦船特征點匹配結果的三維坐標，驗證本文方法的特征匹配性能，統計結果如表1 所示。

表1 特征點三維坐標匹配結果Tab. 1 Results of three-dimensional coordinate matching of feature points

可看出，采用本文方法可實現所提取特征點的精準匹配。本文方法從艦船可見光圖像與艦船紅外遙感圖像的融合結果中，提取艦船目標特征，并進行特征點的匹配，2 幅圖像的特征點吻合度極高，驗證本文方法的匹配性能。

采用本文方法對艦船三維網格化結果進行貼圖處理，獲取最終的艦船三維重構結果，如圖3 所示。

圖3 艦船三維重構結果Fig. 3 Results of ship 3D reconstruction

由圖3 可看出，采用本文方法有效利用雙目視覺相機采集的可見光圖像，與紅外遙感圖像結合，實現艦船的三維重構。進一步分析圖3 的艦船三維重構結果可知，重構結果未出現細節丟失或空洞情況，豐富度較高，分辨率高，基本可體現艦船圖像中的全部內容。

3 結 語

結合雙目視覺相機采集的艦船可見光圖像與紅外遙感艦船圖像，進行艦船圖像的三維重構。通過可見光圖像與紅外遙感圖像的融合，在艦船目標紋理信息較少時，仍可獲取理想的三維重構結果。實驗結果驗證，該方法有效改善缺少目標紋理，導致重構結果中存在大量空洞的問題，獲取高分辨率的艦船三維重構結果。