單目多視角圖像的美國白蛾三維模型重建系統與試驗*

舒卓，陳立平，陳梅香，張瑞瑞，郭新宇，溫維亮

(1. 西北農林科技大學機械與電子工程學院,陜西楊凌,712100;2. 國家農業智能裝備工程技術研究中心,北京市,100097;3. 國家農業信息化工程技術研究中心/數字植物北京市重點實驗室,北京市,100097)

0 引言

美國白蛾Hyphantriacunea(Drury)危害日益嚴重,是舉世矚目的世界性害蟲,防治工作艱巨。美國白蛾發生信息的獲取是該蟲發生預警和精準防治的重要前提?；跈C器視覺獲取害蟲發生信息是當前的研究熱點,單一基于二維圖像的害蟲識別算法當遇到多種類、多姿態的害蟲時,由于三維蟲體進行二維圖像獲取時造成信息缺失,其識別算法的普適性受到影響,導致害蟲自動識別準確率不高[1-4]。美國白蛾姿態多樣,自動識別難度大,因此,開展美國白蛾的三維重建研究,構建美國白蛾的數字三維模型,為美國白蛾識別研究提供重要基礎數據,對美國白蛾的準確識別、及時防控具有重大意義[5]。

在昆蟲研究上,三維重建技術主要應用于昆蟲局部器官特征的三維形態重建,實現三維形態模擬,以用于分析其三維形態結構特點[6-7],而昆蟲全局形態三維重建處于起步階段。昆蟲局部器官主要采取激光掃描共聚焦顯微鏡(Confocal laser scanning microscope,CLSM)技術、核磁共振(Magnetic resonance imaging,MRI)技術、micro-CT、顯微切片與圖像技術相結合等進行三維重建[8-10]。Chitsaz等[11]研究了基于尼康相機的蜻蜓翅膀三維重建方法,公開數據集有助于對蜻蜓的空氣動力學和結構進行航空分析,研究功能結構的進化,以及昆蟲生態學的研究。在昆蟲全局形態三維重建研究方面,Nguyen等[12]研究了基于單反相機、雙軸轉臺以及三維重建軟件構建昆蟲真彩色3D模型的方法,主要針對鞘翅目蟲體進行三維重建,具有一定的復雜度,對鱗翅目蛾類害蟲的適用性較低。Lau[13]將一對立體圖像進行處理,實現了鞘翅目害蟲的三維重建。Str?bel等[14]基于DISC3D開展了昆蟲數字化研究,獲取的圖像可用于生成顏色紋理化3D模型,可為分類學、系統發育等基于特質的研究開辟新的機會。胡玉婷等[15]基于Flash軟件設計了一套昆蟲三維標本制作系統?；贑LSM、MRI、micro-CT等儀器的昆蟲三維重建存在設備成本高、數據量大、數據處理耗時長、三維重建效率低等問題?；跈C器視覺的昆蟲三維重建具有設備簡單、成本低等特點,與立體視覺系統相比較,單目多視覺系統具有設備小型化、圖像獲取效率高、便攜性等特點,單目多視覺三維重建系統在昆蟲三維重建方面具有較強的優勢。

本文基于微距相機與單片機控制單元研制多視角昆蟲高清圖像樣本采集系統,實現美國白蛾蟲體高質量序列圖像自動化獲取。通過運動結構恢復(Structure from motion,SFM)算法和多視角立體視覺(Multiple view stereo,MVS)算法進行三維模型重建,實現基于單目視覺的美國白蛾蟲體三維模型重建,為病蟲害精準防控識別提供支撐。

1 昆蟲圖像采集系統設計

本文研制了一種昆蟲多視角圖像采集系統,主要包括計算機、單片機、步進電機及其控制器、微距相機、光源、圖像采集臺等重要部件,如圖1所示,其中圖像采集臺包括底座、旋轉軸、滑軌、可更換背景板及可調整位置的相機支架等。

圖1 昆蟲多視角圖像采集系統

微距相機由工業相機加裝微距鏡頭組成,相機選用MER-2000-5GC-P工業相機,相機配備焦距為75 mm的GX-7828-10M的微距鏡頭,微距鏡頭參數見表1。

表1 相機與鏡頭技術參數Tab. 1 Parameters of camera and lens

昆蟲圖像采集光源選擇科視RL100-75環形白色無影光源,步進電機及其控制器分別采用42BYG34-401A型步進電機、TB6560型細分驅動器,步進電機裝在底座上,主軸與轉軸剛性連接。步進電機上安裝帶有針孔的旋轉軸,蟲體樣本用昆蟲針固定于旋轉軸上,固定在旋轉軸上的刻度指針以及底座上相應位置的刻度盤用來顯示圖像采集時昆蟲標本所處的角度位置,便于查詢序列圖像中每張圖像所處的旋轉角。該采集系統工作原理如圖2所示,通過單片機(意法半導體公司STM32F103RET6)控制步進電機的轉動角度及微距相機的快門開關,完成圖像采集與存儲?；谏鲜鱿到y,相機可以上下、前后移動,以調整鏡頭與昆蟲的相對位置,實現不同大小昆蟲樣本的清晰對焦。

圖2 昆蟲多視角圖像采集系統工作原理

美國白蛾成蟲用昆蟲針沿蟲體軀干方向豎直固定。本文制作的美國白蛾樣本如圖3(a)所示,每只美國白蛾采集32張圖片。用1 cm的立方體放置于昆蟲旁,作為昆蟲大小的參照物。采集不同姿態的美國白蛾成蟲10只,并獲取翅膀肩角到頂角的距離、軀干長度形態參數,如圖4所示。

(a) 美國白蛾標本

圖4 美國白蛾形態特征

2 三維模型構建

基于昆蟲圖像采集系統所獲取美國白蛾高質量圖像序列,利用運動結構恢復算法(Structure from motion,SFM)進行三維模型的稀疏重建,利用多視角立體視覺算法(Multiple-view stereo,MVS)進行三維模型稠密重建,對三維點云模型進行網格化、紋理映射、紋理貼圖,實現美國白蛾蟲體的三維重建。最后,基于美國白蛾形態學參數對重建的三維模型進行重建精度評估。

基于美國白蛾蟲體高質量圖像序列樣本集,實現美國白蛾蟲體三維模型的SFM[6]稀疏重建,SFM算法流程如圖5所示。

圖5 SFM算法流程圖

首先利用SIFT(Scale-invariant feature transform,SIFT)算法對圖像樣本集中的每幅美國白蛾圖像進行特征點的提取。利用KNN(K-nearest neighbors,KNN)算法[16]對圖像樣本集中兩張美國白蛾圖像進行特征點匹配,將匹配對最多的兩幅圖像作為美國白蛾三維重建的初始圖像對;利用隨機抽樣一致性[17]算法剔除美國白蛾圖像錯誤匹配,并計算兩幅美國白蛾圖像的基礎矩陣、相機參數和本質矩陣。再對本質矩陣進行分解,得出兩個相機之間的旋轉矩陣和平移向量,還有每一對匹配點的坐標,通過這些已知信息還原匹配點在空間當中的坐標。

設x1和x2分別為兩幅圖像中特征點的歸一化坐標,其關系如式(1)所示[18]。

s2x2=s1Rx1+t

(1)

式中:R——旋轉矩陣;

t——平移向量;

s1、s2——兩個特征點的深度。

(2)

式(2)左側為0,右側可以看成s1的一個方程,可以根據它直接求得s1,接著再求出s2,根據這兩圖像特征點的深度確定空間坐標。最后將三維點三角化并重映射到攝像機得到二維點,計算與最初二維點之間的距離,說明三角化誤差,并利用光束平差法[19]優化相機參數信息和三維點云位置信息。

添加第三幅圖像,計算第三幅圖像與第二幅圖像的匹配點,根據這些匹配點在第三幅圖像中的像素坐標計算其投影矩陣,進而得到新的三維點云;將新得到的三維點云與之前的三維點云進行融合,并利用光束平差法進行優化;添加新圖像,重復上述步驟,循環迭代;最后利用光束平差法進行優化調整,實現美國白蛾蟲體三維模型稀疏重建。利用聚簇分類技術(Clustering views for multi-view stereo,CMVS)[20]對圖像進行聚簇分類以減少密集匹配的工作量如圖6所示;利用面片重構技術(Patch-based multi-view stereo,PMVS)[21]對分類所提取的圖像聚簇進行面片重構操作從而得到具有顏色信息的稠密點云模型。

圖6 聚簇分類算法流程

稠密重建后的美國白蛾點云模型可能會存在部分區域細節缺失或重建失敗,所以需要重新添加這個區域的照片。本文的多視角昆蟲圖像采集系統使得重新添加照片變得更加簡單、快速,添加照片的過程:根據錯誤相機的編號或者需要補充點云信息區域周圍的相機編號,計算需要添加圖像中標本的位置在采集裝置中對應的刻度盤角度,然后控制標本準確、快速地旋轉至該角度,通過滑軌調整相機與標本的拍攝相對位置,采集美國白蛾圖像并將新圖像添加到重建圖像集中進行匹配并生成新的點云。根據匹配結果和重建效果,不斷地返回添加照片,重復稀疏重建和稠密重建的步驟,直至新圖像與重建圖像集有良好的匹配效果、重建模型有更完整的點云信息。最后,對稠密點云模型進行泊松表面重建[22]實現網格化,刪除冗余網格,創建UV紋理映射,進行紋理投影,得到美國白蛾蟲體的三維模型。

3 結果與分析

采用SIFT算法進行特征點的提取,在對美國白蛾的處理中,共獲得375個匹配對,匹配效果如圖7(a)所示。圖7(b)為使用RANSAC算法消除誤匹配后的結果,稀疏重建結果如圖8所示。經過孔洞修補和紋理貼圖后,建立高清紋理的美國白蛾蟲體三維模型如圖9所示。

(a) 粗匹配結果

圖8 美國白蛾稀疏重建結果

(a) 三維模型正面

為驗證本文方法的可行性以及可靠程度,將美國白蛾蟲體實際測量的形態參數數據作為參照值,將美國白蛾的單目多視角圖像三維重建模型作為待評估模型。將待評估模型導入MeshLab軟件,測量待評估模型的肩角到頂角的距離、軀干長度,作為待評估值,并用已知參照物進行美國白蛾肩角到頂角的距離、軀干長度的計算。分別計算待評估值與參照值的絕對誤差、相對誤差、標準誤差、決定系數,以量化參照值和待評估值的吻合程度。

絕對誤差(Absolute error,AE)和相對誤差(Relative error,RE)計算公式如式(3)、式(4)所示。

AE=Pi-Oi

(3)

RE=|AE|/Oi×100%

(4)

式中:Pi——待評估值;

Oi——參照值。

均方根誤差(Root mean square error,RMSE)是用來衡量待評估值同參照值之間的偏差,其計算公式如式(5)所示。

(5)

為了進一步檢驗參照值和待評估值的吻合程度,計算兩組數據的決定系數R2表示一個隨機變量與多個隨機變量關系的數字特征,一般可反映出回歸模式回歸分析所得結果的可靠性。對應的表達式為

(6)

n——參照值或待評估值的比較次數。

理論上本文的美國白蛾蟲體三維重建方法可推廣于多種昆蟲的三維重建,三維模型可以用于蟲體的樣本擴增、種類識別[23]等。本研究測量10只不同姿態的美國白蛾三維信息,與本文提出方法構建的三維信息進行對比分析,評價模型精度?？傮w上,實際測量的肩角到頂角距離的參照值與待評估值之間相對誤差在0.16%～4.08%之間,平均相對誤差為1.79%,相對誤差小于5%,均方根誤差RMSE為0.266 3 mm2,決定系數R2為0.957 9,見表2。說明基于多視角圖像三維重建的待評價模型和基于實際測量的美國白蛾肩角到頂角差距較小。

表2 美國白蛾3D模型肩角到頂角的距離Tab. 2 Distance from the humeral angle to apical angle of H.cunea 3D model

美國白蛾三維模型軀干長度的參照值與待評估值之間的相對誤差范圍為0.38%～2.05%,平均相對誤差為1.27%,相對誤差小于5%,均方根誤差RMSE為0.147 5 mm2,決定系數R2為0.954 7,見表3。說明基于單目多視角圖像重建的美國白蛾三維模型軀干長度的參照值與待評估值之間的誤差小。

表3 美國白蛾3D模型軀干長度Tab. 3 Torso length of H.cunea 3D model

基于多視角圖像三維重建的美國白蛾待評價模型和基于實際測量的肩角到頂角的距離、軀干長度形態參數數據的RE均小于5%,RMSE均在合理范圍內,R2均大于0.95。結果表明,待評估值與參照值的吻合程度比較大,本文所重建的三維模型精度的較高。

4 結論

精準的害蟲三維構建為病蟲害高精度識別提供數據基礎,能為植保病蟲害高質量防控提供支撐。當前基于CLSM、MRI、micro-CT等儀器的昆蟲三維重建存在設備成本高、數據處理耗時長、三維重建效率低等問題?；跈C器視覺的昆蟲三維重建具有設備簡單、成本低等特點。不同視角昆蟲圖像采集是三維重建的基礎,三維模型精度評價是昆蟲高精度三維重建的重要技術保障。本文構建了具有小型化、效率高、便攜性特點的昆蟲圖像獲取系統,利用SFM和MVS算法相結合實現美國白蛾蟲體的三維重建。

1) 采用單目多視角昆蟲圖像樣本采集系統,該系統具有昆蟲樣本精準旋轉、自動觸發拍照的功能,圖像獲取效率高,費用成本低,基于該圖像獲取系統建立了美國白蛾蟲體序列圖像樣本集。

2) 利用SFM與MVS相結合的方法,實現了具有高清紋理特征的美國白蛾蟲體三維模型重建?；趩文慷嘁暯菆D像構建的美國白蛾三維模型翅膀肩角到頂角的距離、蟲體軀干長度的待評估值與參照值的相對誤差小于5%,決定系數均大于0.95,兩個模型之間的形態參數沒有明顯差異。本文所重建的美國白蛾蟲體三維數字模型可在深度學習中進行害蟲樣本擴增,構建害蟲識別數據集,還可用于3D-CNN進行害蟲種類識別。

美國白蛾蟲體小,點云修復難度大。因此,如何更高效地對小型昆蟲進行高精度三維重建是以后將要研究的方向。在今后的研究工作中,擬在顏色、紋理的逼真程度上,對美國白蛾蟲體三維模型進行客觀、定量的重建效果評估,為植保病蟲害防控識別提供支撐。