基于下采樣的自監督點云去噪方法

侯廣哲, 秦貴和, 梁艷花

(吉林大學 計算機科學與技術學院, 長春 130012)

0 引 言

隨著三維重建技術的發展, 點云越來越容易獲得, 并且廣泛應用于自動駕駛和機器人等領域[1]. 點云在獲取過程中會因為設備的限制、 重建技術匹配模糊等因素被噪聲破壞, 如圖1所示. 從而導致底層結構的不穩定, 嚴重影響下游的理解任務. 早期的點云去噪方法主要依靠復雜的先驗知識. 文獻[2]基于局部平滑擬合點云表面; 文獻[3]利用設定的特殊濾波器, 對點云和噪聲進行分離, 完成去噪; 文獻[4]通過解決稀疏性約束的優化問題重構點云表面法線, 并根據重構法線更新點的坐標位置. 但這些方法都存在算法復雜、 表面過于光滑等問題.

圖1 干凈點云(A)和帶噪點云(B)Fig.1 Clean point cloud (A) and noisy point cloud (B)

近年來, 隨著深度學習方法的不斷發展, 點云去噪方法也得到了不斷改進. 特別是PointNet系列[5]網絡的提出, 使深度神經網絡對點云直接進行處理成為可能. 目前, 已有許多基于深度學習的點云去噪方法. 文獻[6]使用PointNet作為基線, 先將點云分割成小點云塊, 然后對點云塊中心點進行兩階段的去噪, 最后再拼接為一個完整的點云;文獻[7]使用圖卷積網絡提高點云去噪效果; 文獻[8]中方法通過設計一個特殊的采樣網絡, 對點云的底層流形進行重構去噪; 文獻[9]方法將帶噪點云視為底面流形和噪聲分布的卷積之后的分布, 提出對此分布的似然函數使用梯度上升的迭代更新每個點的位置達到去噪效果.

上述方法都采用了Noisy-Clean的訓練方式, 通過有監督學習將損壞的觀測結果映射到未觀察到的干凈版本. 但構造Noisy-Clean的點云配對十分困難: 一方面, 很多方法通過在干凈點云上添加模擬的噪聲生成合成的Noisy-Clean配對, 由于模擬的噪聲與真實環境下的噪聲存在較大差異, 因此在合成數據集上訓練的方法, 在真實數據上的泛化性能通常較差; 另一方面, 采集真實的Noisy-Clean點云對常需要高昂的成本. 為解決上述問題, 本文提出一種僅需要含噪點云即可訓練去噪網絡的方法, 以一個多尺度特征提取網絡作為基線, 用于測試方法的有效性. 同時, 本文設計一個新的點云采樣器, 對點云進行兩次不同的采樣, 在采樣集合沒有交集的情況下, 提取點云的主干, 并使用兩個不同點云在網絡中進行一對一映射. 實驗結果表明, 該方法效果顯著, 尤其是在噪聲強度較低的情況下, 具有與有監督的方法相近的性能.

1 方法設計

1.1 方法原理

本文將干凈點云表示為x,x代表在三維空間中的一個分布, 點云是遵循該分布離散點的集合.同理, 將噪聲分布表示為n, 假設與干凈點云分布相互獨立且均值為0.被噪聲擾動后的點云分布表示為y, 可得

y=x+n.

(1)

在以干凈點云做標簽進行訓練的方法中, 去除噪聲利用深度神經網絡擬合回歸模型, 即優化如下損失:

(2)

其中fθ表示該深度神經網絡.當損失函數為L2損失[10]時可得出式(2)的最小值在y的期望值處獲得.因此, 當使用期望值等于擬合對象的數據去替換此擬合對象時, 深度神經網絡的擬合效果不變.所以如果輸入的數據被含有同樣期望值的任意分布替換, 則式(2)的參數θ不變.基于此, 對一個相同的點云或三維空間的分布, 當輸入和擬合對象被期望為0的不同噪聲擾動時, 不影響網絡的訓練結果.

進一步, 假設一個干凈點云x, 存在另外一個相似點云, 其分布為x+ε,ε表示二者之間極小的坐標差.假設二者都被相互獨立的噪聲擾動的分布為y和z, 則可得[11]:

(3)

其中σz表示z的方差.由式(3)可見, 當ε→0時, 2εEx,y(fθ(y)-x)→0, 此時, 使用(y,z)配對對網絡進行訓練可近似替代使用(y,x)配對訓練.因此, 本文方法關鍵在于如何尋找相應的y和z.為解決該問題, 本文設計一種特殊的采樣器對同一個點云采樣, 從而解決了y與z的擬合對象需要相似的問題.

1.2 采樣器設計

與二維圖像不同, 三維點云采樣存在兩方面的問題: 首先, 相比于二維圖像的像素點位置是固定的, 點云中各點都處于非規則狀態, 雖然都是采樣于物體表面, 但不同物體的物理結構以及噪聲的擾動會對點云采樣造成很大困擾; 其次, 點云特征提取是基于點在三維空間中的坐標位置, 下采樣可能會破壞原有的物理結構, 導致特征信息的缺失.因此, 采樣器的設計算法尤為重要.

為解決上述問題, 本文首先使用最遠點采樣點云的骨干形狀, 盡可能保證物理結構的完整, 該方法在密集點云中更有效.但由于噪聲的擾動, 最遠點采樣會導致噪聲最大的點一定會被采集到, 導致物理結構的變形, 因此, 本文對采樣方法進行改進, 設計流程如圖2所示.

圖2 采樣器設計流程Fig.2 Flow chart of sampler design

算法對同一個帶噪點云多次采樣, 為防止在網絡訓練過程中由于獲得一對一的直接映射關系導致效果下降, 在采樣過程中須遮蓋已被采樣點, 本文使用掩碼完成這項任務.因此, 算法中設置集合Y和T, 集合Y是集合T在集合P中的絕對補集.首先, 初始化采樣點的數量N及拒絕半徑R.其次, 對點云進行歸一化, 標準化點云大小, 使后續的網絡訓練和拒絕采樣能更好發揮作用.然后, 隨機采樣一個初始點加入集合S, 若不是首次采樣, 初始點的選擇一般是距離上次采樣初始點最近的點.選擇完成后, 再次從集合Y中選擇與集合S中所有點距離之和最遠的點pt加入集合S中.但由于噪聲的擾動, 很可能導致點云中出現離群點.因此, 若pt在拒絕半徑的球型范圍內鄰近點數量小于3個時, 可認為pt是一個離群點, 使用與其距離最近的3個點的坐標平均值代替該點, 以保證在出現離群點時盡量恢復至物體附近.當集合S中元素達到N個時, 算法結束.

本文方法在訓練網絡時可采用兩種方式: 對多個點云兩次采樣后配對訓練和只使用一個點云多次采樣完成訓練, 本文使用第一種訓練方式.

1.3 網絡設計

在其他點云去噪網絡中, 由于點云受噪聲影響后會導致坐標偏移使鄰近點發生變化, 對點云的局部特征提取造成困難. 為解決該問題, 本文設計一個多尺度的靜態特征提取網絡, 該網絡包含兩部分: 用于局部特征提取的多尺度融合網絡和用于噪聲點回歸的去噪網絡, 整體結構如圖3所示.

圖3 點云去噪網絡Fig.3 Point cloud denoising network

點云的特征提取關鍵是局部特征的提取, 本文使用K最近鄰(KNN)算法尋找每個點最近的K個鄰居點, 提取每個點的局部特征, 并分別使用3個維度聚合局部特征, 連同輸入拼接在一起得到高維度特征[8]. 整體網絡設計層數與去噪效果成正比, 但考慮到在嵌入式環境下的可能性, 并且在實驗驗證使用同一網絡的情況下, 采用較小參數量的6層結構.

1.4 損失函數

當損失函數為L2損失時, 網絡的輸出能在擬合對象的期望處獲得, 并且當ε→0時, 可以使用配對替換.雖然對同一點云進行采樣, 但采樣位置不同會導致采樣點對應的干凈點云的位置略有不同, 從而會使點云的凸起或尖銳邊緣的位置由于點的數量較少而使該處采樣稀疏, 進而導致該物理結構在去噪過程中丟失.因此, 本文的損失函數增加了一個正則項優化該問題:

(4)

其中y表示采樣前的帶噪點云,z1和z2表示兩次采樣后的點云,g(·)表示采樣器,λ表示參數.在實驗中, 根據最終的實驗效果, 采用參數λ=0.1.

2 實 驗

2.1 實驗數據集

本文在真實點云數據集Paris-rue-Madame[12]上單獨采樣50個不同種類的點云集合, 每個點云集合包含1×104個點. 為進一步增加訓練數據, 本文在數據集ModelNet40[13]和PUNet[14]上選取20個不同種類的點云. 其中在數據集ModelNet40上選取100個點云作為訓練集, 20個點云作為驗證集, 20個點云作為測試集; 數據集PUNet上選取20個點云作為驗證集, 20個點云作為測試集, 并將所有訓練集切割為包含1 024個點的點云集合. 對于各類點云, 本文使用混合噪聲對訓練集進行擾動, 包含了真實噪聲和均值為0的高斯噪聲, 并采用尺寸變化、 空間旋轉等數據增強方式將數據擴充至3×104個點云. 對于驗證集和測試集, 本文使用不同強度的高斯噪聲進行擾動. 為驗證去噪方法在其他環境下的去噪效果, 本文另添加了非0均值的Poisson噪聲, 并且可視化在測試集上的結果.

2.2 實驗環境與參數設置

實驗環境采用Windows10系統, GPU為GTX1080. 實驗使用Adam優化器, 并且設置Adam的學習率衰減為0.001, 平滑常數分別為0.9和0.999. 采取從頭訓練的方式, 網絡訓練迭代300次, 初始學習率為0.001, 并且經過50次迭代后下降至原來的0.5倍, 當網絡在不同噪聲強度下的驗證集效果都達到最佳時提前結束訓練.

2.3 評價指標

為更好地評估本文的去噪方法, 采用評估兩點云之間的距離指標Chamfer Distance (CD)[15]和Point-to-mesh Distance(P2M)[16]. 其中, Chamfer Distance描述了兩個點云S1與S2之間點的最短距離之和:

(5)

而P2M則是點云每個點到采樣底層曲面的最小距離之和. 本文通過比較干凈點云與去噪后點云的CD值和去噪后點云的P2M值衡量方法的去噪效果.

2.4 實驗結果

在添加有混合噪聲的數據集ModelNet40和PUNet上將本文方法與MRPCA(moving robust principal component analysis)[2], GLR(graph Laplacian regularization)[3]和Total Denoising[17]方法進行對比, 結果如圖4所示. 為更好地觀察實驗結果, 本文實驗在可視化時進行了著色處理, 圖4右上角的顏色框從藍到紅依次表示了點到物體表面距離的由近到遠, 當點云無噪聲時, 點云呈現出純藍色狀態. 進一步將本文方法與其他方法做定量比較, 結果列于表1. 其中, 有監督方法是為驗證方法的有效性, 使用干凈點云和帶噪點云配對訓練, 并且沿用了本文網絡做基線得出的結果. 由表1可見, 本文方法在噪聲強度較小時性能優于其他方法, 在噪聲增大時, 也有與有監督方法相近的效果.

表1 點云去噪評價結果

圖4 可視化測試結果Fig.4 Visualisation test results

為驗證自監督方法的泛化性能, 本文在數據集Paris-rue-Madame上也進行了同樣測試, 結果如圖5所示. 由圖5可見, 在真實環境下本文方法有更好的視覺效果.

綜上所述, 針對無噪點云采集困難且使用模擬噪聲在合成數據集上訓練泛化性能較低的問題, 本文提出了一種不需要干凈點云的自監督去噪方法, 該方法可用于單點云或無干凈點云環境下去噪. 首先, 設計了一種減少噪聲擾動的點云采樣器, 對點云多次采樣得出訓練所需的輸入和擬合對象; 然后, 設計了一個輕型多尺度點云去噪網絡, 用于更好地提取點云特征. 本文方法在數據集ModelNet40和PUNet上都取得了與有監督方法相近的效果, 且在噪聲強度較低時, 優勢更明顯.