基于AISI網絡的虛擬場景多視圖三維重建模型研究*

陳金娥

(安徽醫學高等?？茖W校 人事處,安徽 合肥 230601)

多視圖三維模型重建方法近年來被廣泛地應用于醫療診斷、建筑施工、空間設計、場景偵查等領域,具有良好的發展空間。

文獻[1]提出了多層次感知的多視圖三維模型重建方法,采用權值共享和解碼器實現虛擬場景多維度的搭建,但是輸出的三維重建模型結果與實際設計目標偏差過大,結果不可靠,很難滿足精度要求高的用戶需求。文獻[2]采用基于超點圖網絡的三維點云室內場景分割模型方法,利用膠囊卷積網絡,通過三維模型的體素感知原理,實現場景多視圖的模型重建。此方法可以實現簡單的虛擬場景三維重建,但是對于特殊的場景設計,無法做到自適應調整,具有針對性。

為此本文提出基于AISI網絡虛擬場景多視圖三維重建模型研究方法,通過ASIS網絡框架、代價體正則化以及特征感知原理,提高三維重建模型的精準度、完整性和有效性為目的,滿足各個領域的發展需求。

1 ASIS網絡框架原理分析

ASIS網絡框架的工作內容是將三維立體場景根據連接特征,提取主干網絡,再分別切割出語義信息一致的實例[3]?？蚣茉砣鐖D1所示。

圖1 ASIS網絡框架原理圖

1.1 構建代價體

代價體代替傳統多視圖三維重建模型的圖像一致性學習過程,利用視覺特征點,完成空間虛擬場景中實際距離的推斷,降低實際場景與虛擬場景之間的誤差。場景深度平面個數計算公式如式(1)所示:

(1)

其中,M表示虛擬場景深度平面的個數,S表示深度間隔尺度變量,n表示兩個待計算平面角度的間隔相機椎體變量,?表示平面空間中特征通道個數,Li表示圖像數據集合。

本文通過可微分單應性變換方法構建代價體,構建代價體前需要確定虛擬場景搭建需要平面的個數,依次控制模型遍歷計算的范圍[4]。單應性矩陣的優點是通過平面掃描算法識別虛擬空間圖紙內的各類特征點,矩陣計算公式如式(2)所示:

(2)

單應性矩陣掃描方法可以計算三維空間構件之間的距離和,不僅保證掃描精度和準確度,而且掃描范圍大,降低掃描時間,提高虛擬場景深度平面識別效率[5]。掃描實例如圖2所示。

圖2 回歸網絡掃描邊緣框架圖(以門為實例)

1.2 代價體正則化與回歸網絡

代價體正則化與回歸網絡是過濾視圖圖像的噪聲干擾,借助squash函數達到提高網絡信息擬合精確度的需求[6]。squash函數如下:

(3)

其中,Hi表示卷積層的輸入量,Ki表示卷積單元,Ri表示正則化遍歷的步長,t表示樣本數據時間維度,dj表示模量計算尺度;kt表示噪音因子。

將構建的代價體進行正則化分類,將虛擬場景中可以連接的搭建節點進行過濾分類,可以一定程度上減少重建模型的計算量[7]。代價體正則化編碼過程圖如圖3所示。

圖3 代價體正則化編碼過程圖

將轉換的網絡信息利用squash函數進行調用,輸出虛擬場景多視圖重建的邊緣集合,調用映射函數實現一一對應的深度映射關系,避免平面要素丟失,保證虛擬場景重建模型的精準度[8]。映射函數如式(4):

(4)

其中,Fi表示圖像的映射函數,d(p)表示有效的圖像像素集合,Hr表示映射發出端的深度值,l表示像素初始深度的估計值,f(loss)表示損失函數,di(p)1表示訓練元素深度推斷概率體的期望值。

代價體回歸網絡模擬圖如圖4所示。

代價體回歸網絡的特點是數據訓練時間長,對于三維虛擬場景邊界的識別和構建清晰明確,更好的固定模型的參數量和場景邊界,以便生成更加清晰的模型圖像。

圖4 代價體回歸網絡模型圖

2 虛擬場景多視圖三維重建模型設計

2.1 獲取多視圖三維數據

以單個構建為單位,分別遍歷多視圖圖像的各個實例,獲取場景的單元參數。為了保證三維場景的高度還原,本文設定獲取的多視圖三維數據由4個必備參數組成。參數1為三個方向的坐標定位值以及相對位置坐標;參數2為構建的顏色信息;參數3為視圖圖像的語義標簽,用于表示該單元的類別和切分區域;參數4為普通數據,用于后期數據編譯,提取特征參量[9]。四個參數分別從位置、細節、特征三個方面對視圖單元進行定位,使得獲取的數據具有分析意義。網絡框架分割原理圖如圖5所示。

圖5 ASIS網絡框架分割原理圖

2.2 初始三維圖像預處理

對于三維圖像數據的預處理分別兩部分,首要是遍歷多視圖三維數據庫,通過ASIS網絡框架對虛擬場景圖像進行分割,另外是篩選出虛擬場景空間的細節特征、位置特征、顯著特征。

分割模塊的依據是協調三維數據的語義標簽和位置標簽的信息,將每個實例進行分類,然后通過代價體回歸網絡計算,核算出不同實例類別之間的分界線[10]。對于一個構件內的總多實例,采用二層編碼的方式進行記錄,一層記錄所屬構件單元,二層編碼記錄維度內的實例,區分各個點的所屬位置[11]。特征矩陣如式(5):

(5)

構件、實例切割后,對每個區域內的數據進行篩選,通過特征矩陣提取出具有代表意義的特征量,為虛擬場景多視圖架構重建奠定相對位置基礎[12]。

2.3 虛擬場景多視圖并行匹配

虛擬場景的多視圖并行匹配的要素為細節特征、位置特征、顯著特征,只有從多個角度對構建模型進行約束,才可以高度還原虛擬場景的位置[13]。并行匹配原理如圖6所示:

圖6 虛擬場景多視圖并行匹配原理圖

細節體征包括構件的形狀特征、大小特征,細節特征計算公式如下:

(6)

其中,L(X)表示細節特征表達式,w表示批標準化,αCon(X)表示修正線性單元,β表示卷積核尺寸,ConV2表示特征向量。

顯著特征表達式如下:

(7)

其中,G(X)表示顯著特征,L表示全局通道數量,ε(X)表示全局最大池化,b表示突出概率比。

顯著特征的識別是通過全局的池化對輸入數據進行過濾,提前會設定好已經存在體素的特征,利用卷積操作辨認顯著特征與其他特征表現出的體素差異,進行匹配對應即可[14]。

位置特征如式(8):

(8)

位置特征的感知條件是將虛擬場景的三維立體維度進行壓縮,選擇全局平均池化對有效數據進行識別,學習整體數據,輸出獨立架構的尺寸以及相對對象位置[15]。顯著特征識別模擬圖如圖7所示。

圖7 顯著特征識別模擬圖

最后利用權重函數計算三個特征值的平衡點,權重公式如式(9)所示:

(9)

其中,X′表示通道注意力權重,?表示矩陣乘法,⊕表示廣播加法,其他未知數意義同上。

將細節特征、位置特征、顯著特征在虛擬場景的所有通道中進行并行匹配運算,通道的注意力權重趨近于1,則此點位構件的最佳重構位置,完整虛擬場景單獨構件的位置匹配。

2.4 多視圖三維立體視覺重建模型生成

虛擬場景多視圖三維重建模型利用懲罰函數優化場景內的各個構件,輸出搭建的整體,懲罰檢驗函數如式(1)所示:

(10)

其中,D表示懲罰函數,g表示二元交叉熵,τ表示懲罰權重。

懲罰函數是在全局的角度上,對三維空間整體的布局利用懲罰函數進行融合,優化構件之間細節的銜接,保證重建模型的連續性和完整性。

3 實驗分析

3.1 實驗背景及過程

本文選擇對照試驗檢驗本文研究的基于ASIS網絡的虛擬場景多視圖三維重建模型的準確度和完整度,實驗面向的對象是一個復雜的虛擬環境圖像,應用的方法為目前主流的Colmap重建方法、MVSNet重建方法以及本文設計的重建模型方法,對比每種重建模型輸出的效果,檢驗基于ASIS網絡的虛擬場景多視圖三維重建模型構建方法的可行性。

在實驗中分別選擇三種相同配置的電腦用于軟件支持,并提前將重建虛擬環境的圖紙存入電腦中,兩組試驗依次進行,以滿足實驗要求。設置選取了合成圖像數據集ShapeNet的子集,并將數據集劃分為4/5的訓練集與1/5的測試集。網絡以尺寸為224×224的圖像作為輸入并輸出323分辨率的三維空間網格,體素化閾值t設置為0.3。選用Adam優化器進行梯度運算,將其初始學習率設置為0.001,衰減率設置為0.5。

3.2 實驗數據分析

試驗結束后,讀取試驗數據,三種應用方法分別輸出的多視圖三維重建模型圖像如圖8所示:

圖8 重建模型效果對比圖

三種方法都可以實現虛擬場景的搭建,細致觀察傳統方法2構建的模型圖質量差,還原基本的場景后,會存在不明曲線。傳統方法1和本文設計方法的區別直觀不明顯,因此通過提取計算機數據,完整性誤差、準確性誤差、重建整體度的誤差數據匯總圖如圖9所示。

圖9展示了相同虛擬環境圖像在不同方法中構建模型應用輸出結果的完整性、準確性誤差、重建整體度的評價數據。因為本文采用代價體正則計算原理和回歸網絡遍歷方法,解決虛擬場景多視圖模型構建中產生的漏洞,明確虛擬場景空間構造的邊界線,降低完整性誤差和準確性誤差,提高模型重建的高還原度。

圖9 誤差數據匯總圖

根據圖9可以得知,傳統方法1的平均完整性誤差為0.449,平均準確性誤差為0.481,平均重建整體度為0.439。傳統方法2的平均完整性誤差為0.455,平均準確性誤差為0.412,平均重建整體度為0.418。本文研究方法的平均完整性誤差為0.382,平均準確性誤差為0.393,平均重建整體度為0.410。從上述數據可以看出,與兩種傳統方法中性能較優的方法相比,本文方法的完整性誤差降低16%,準確性誤差降低4%,重建整體度提高2%。因此,說明本文方法的優化效果較為明顯。

另外匯總三種方法構建時間,測試結果圖如圖10所示。

圖10 模型構建進度結果圖

觀察圖10,可以清晰的看出本文設計的重建模型方法用時最短,三種模型構建方法整體進度差別主要顯示在場景重現階段,對于數據采集和數據輸出所耗用時間的長短差距不大,穩定在1～2 min之間,但是場景重構階段的時長對于Colmap重建方法的差距較小,與MVSNet重建方法的差距較大,提前10 min完成重建。結合方法模擬重建的精度測試結果,基于AISI網絡虛擬場景多視圖三維重建模型的工作效率高,比傳統方法提高50%,具有可應用性。

綜上所述,本文設計的基于AISI網絡虛擬場景多視圖三維重建模型方法的精準度和工作效率比傳統方法的效果更優,具有良好的精準性和可適配性。

4 結束語

針對數據網絡計算方法準確性低的問題,本文研究了一種基于AISI網絡虛擬場景多視圖三維重建模型研究方法,得出以下結論:

1)利用ASIS網絡框架、數據降噪處理、懲罰函數增強虛擬場景多視圖三維重建模型還原的精準性,達到更高的虛擬場景的重建效果。

2)通過多視圖并行匹配方法,增加重建模型的自適應性功能,提高模型應用的效果和價值。

在接下來的研究中可以側重建模型數據安全的加密處理,進一步加強模型的自適應性,提高虛擬場景模型的匹配度。