基于多傳感器融合的越野環境路面信息識別

劉輝，劉聰，韓立金，何鵬，聶士達

（1.北京理工大學 機械與車輛學院，北京 100081；2.北京理工大學 前沿技術研究院，山東，濟南 250307）

越野場景下道路條件復雜且多變，大多為半結構化或非結構化環境如草地、林地、山地等，針對路面信息的精確識別能夠為無人駕駛車規劃與控制提供十分重要的參考信息[1?2].

近年來，通過機器學習對路面進行分類的研究越來越多[3].MOU 等[4]提出了一種使用基于學習的分類器對5 種不同類型的路面（草地、瀝青、礫石、路面和室內）進行分類的方法，并根據分類結果控制車輛的速度；通過將振動傳感器，視覺傳感器和激光傳感器這些不同傳感器的多個分類器分類結果進行組合，得出最終分類結果.QIN 等[5]使用深度神經網絡結構對半主動懸架系統進行路面分類，其網絡結構由稀疏自動編碼器和softmax 分類器組成.YOUSEFZADEH 等[6]建立了車輛七自由度模型，通過仿真得到車輛在隨機路面上的響應，提出基于BP 神經網絡進行道路輪廓估計，通過ADAMS 軟件進行模擬，驗證神經網絡對道路輪廓的估計能力.SOLHMIRZAEI 等[7]使用小波神經網絡進行道路輪廓估計，使用小波基函數作為網絡激活函數，利用Matlab 建立了七自由度車輛動力學模型，訓練得到道路輪廓.王鑫等[8]針對履帶車輛提出了一種利用距離評估技術提取敏感特征向量，采用BP 神經網絡識別路面的方法，搭建了小型履帶車試驗系統對該方法進行驗證，結果表明該方法能夠識別不同的典型路面.王振峰等[9]基于改進距離尺度方法和ANFIS神經網絡，通過懸架系統的振動加速度識別路面等級，進而為懸架的控制提供理論指導依據.QIN 等[10]通過測量車輛簧下振動加速度信號計算路面功率譜密度信息，然后使用隨機森林算法從特定空間頻率下的路面功率譜密度曲線特征點數據中進行學習，從而實現對路面類別的劃分.

此外，對于車輛前方可通行區域檢測技術一直是越野環境感知技術的重點方向[11].GUO 等[12]使用矩形特征顏色直方圖從圖像的像素顏色中提取特征；KüHNL 等[13]在顏色特征的基礎上，加入對于圖像紋理特征的提??；HANISCH 等[14]采用綜合考慮圖像顏色、形狀以及位置特征的特征提取器來對圖像特征進行提取.JUNAID 等[15]提出了一種基于多特征視圖的淺卷積神經網絡（MVS-CNN）.LYU 等[16]提出了一種分布式LSTM 神經網絡，用于處理圖像和特征圖中的行和列.ARDIYANTO 等[17]提出了一種基于編解碼網絡構型的深度殘差合并卷積網絡（RCCNet）.LIU 等[18]基于局部數字高程地圖（digital elevation map，DEM）、霍夫變換及多模型 RANSAC 方法實現了基于二維激光雷達的路沿檢測.

目前，針對越野路面信息識別技術還處于研究初期，存在很多技術難題.文中研究內容為針對越野場景道路環境，設計多傳感器數據融合的越野環境路面信息識別算法，實現車輛對于越野場景下路面類型識別與路面通行區域檢測.首先，構建融合圖像、深度以及簧下加速度信息的越野環境路面類型識別模型.其次，引入遷移學習思想，將越野場景路面類型識別模型中對于路面特征提取的共性知識向通行區域分割模型進行遷移，為模型提供關于越野路面特征的先驗知識，以提高模型檢測效果.

1 越野場景路面類型識別

越野場景路面類型識別算法整體架構采取卷積神經網絡框架，對于來自三個不同傳感器的多模態輸入數據，分別經由不同特征提取通道進行特征提取，并針對不同特征融合任務通過不同特征融合模塊實現多模態特征融合，經卷積層處理后輸入全連接層，得到最終分類結果，算法結構如圖1 所示.

1.1 實驗采集平臺

文中測試數據采集平臺所配備主要環境信息采集傳感器包括1 個32 線激光雷達、1 個單目相機、1組GPS 以及1 個簧下振動加速度傳感器.為了在越野場景下獲取更加全面的路面信息，在車輪軸上加裝1 個簧下振動加速度傳感器，用于獲得路面激勵信息，如圖2 所示.

圖2 實車數據采集平臺Fig.2 Real vehicle data collection platform

1.2 加速度信號特征提取網絡設計

簧下振動加速度信號屬于一維時域信號，反映了路面不平度對于車輛簧下質量所帶來的動力學影響.通過加速度傳感器采集車輛在實際越野場景不同類型路面下勻速行駛時的簧下振動加速度數據，從中能夠獲取重要的路面不平度屬性，提升路面類型識別算法的檢測精度與抗干擾能力.卷積神經網絡對于二維圖像輸入類型問題具有強大的特征提取與處理能力，在一維數據處理問題中，同樣能夠通過神經網絡方法如一維卷積神經網絡、循環神經網絡（RNN）等方式從一維時間序列輸入數據中提取特征.相較于傳統方法通過振動信號計算路面功率譜密度、不平度等信息，從中手動提取特征值并計算識別結果的方法，神經網絡在足夠的樣本訓練下，其強大的學習能力能夠使其端到端地從振動信號輸入中直接進行特征提取并輸出路面識別結果.文中選擇一維卷積方法作為加速度信號特征提取方式，相比于循環神經網絡一維卷積的方式能夠更好地提取信號局部信息關系，并且不過多依賴過去時刻輸入信號，能夠更準確地捕捉當前輸入信號特征.一維卷積計算過程與二維卷積相類似，通過一維卷積核在輸入特征上以滑動的形式計算并得到輸出特征值，如圖3所示.

圖3 一維卷積計算過程Fig.3 One-dimensional convolution computing procedure

基于一維卷積神經網絡的加速度特征提取網絡結果如圖4 所示，原始加速度信號分別經過3 個由一維卷積、批歸一化、ReLU 與池化操作組成的一維卷積模塊進行下采樣特征提取，得到特征長度逐漸減小、通道維數逐漸增加的一維加速度特征.在一維卷積模塊之后，考慮到后續工作中一維加速度信號特征與二維形式的視覺+深度特征在卷積神經網絡中的特征融合過程，再將多通道一維特征以二維卷積的方式進行特征提取得到多通道二維形式的最終輸出特征.

圖4 加速度特征提取網絡結構Fig.4 Acceleration feature extraction network structure

1.3 基于雙線性池化的深度特征融合算法

對于車輛簧下針對加速度特征與圖像+深度融合特征的跨模態特征融合問題，引入基于雙線性池化的特征融合算法對多模態特征進行深度融合，使路面識別模型能夠最大程度接受并綜合來自不同傳感器的有效信息以得到更精準的識別結果.雙線性池化方法采用張量外積（outer product）形式對來自不同模態特征進行融合.張量外積運算并不等同于空間幾何中向量的外積運算，對于兩個大小分別為m×1、n×1 的給定向量u、v，記：

以u?v表示二者張量外積運算，其張量外積運算結果定義大小為m×n的矩陣A，其中，A中的每個元素為通過將u中的所有元素與v中的所有元素相乘得到，這個過程也可以等價于向量u與向量v的轉置相乘.

以圖像特征融合為例，雙線性池化特征融合算法流程為：對于圖像I在l位置的由不同特征提取器所得到的兩個特征fA(l,I)∈RT×M與fB(l,I)∈RT×N，首先通過雙線性操作以外積相乘方式得到融合矩陣如下所示：

式中：fA、fB為不同特征提取器所對應的變換函數；M、N分別為兩個特征的通道數；T為該位置上特征在每個通道所具有的維數.對于卷積神經網絡中通過卷積操作得到的圖像特征，在每個通道上特征圖都是一個二維矩陣，其在特定位置l上的特征值為一個單獨的數，因此對于圖像特征T= 1.

然后，對所有位置的融合特征b進行求和池化操作得到矩陣 ξ(I)：

最后，將矩陣 ξ(I)展平為一維向量x，對x進行矩歸一化操作與L2 歸一化操作后得到最終融合特征z：

由于雙線性池化使用外積的方法對不同特征進行融合，這使得其能夠實現對不同特征的所有參數之間的交互表征，對于不同提取器所得到的特征乃至于不同模態輸入所提取特征間的融合都具有十分優秀的效果.

2 基于遷移學習的路面可通行區域分割

2.1 圖像-深度特征融合模塊

文中所設計深度學習路面可通行區域分割模型中，除了使用圖像數據作為模型輸入之外，還同時考慮了由激光雷達點云數據投影得到的具備環境空間信息的深度圖數據作為模型聯合輸入，從而使模型能夠綜合視覺信息與空間信息對可通行區域做出更準確劃分.為了實現多傳感器信息融合的路面可通行區域分割模型，構建適合圖像與深度數據的有效特征融合方法，文中基于SE 算法中所提出的通道注意力機制，設計考慮多模態特征通道關系的MSE 特征融合模塊.

2.2 路面分割卷積神經網絡模型結構

構建多模態輸入融合的可通行路面區域分割深度學習模型，模型結構參考DenseNet 等網絡模型中密集跳躍式網絡結構的設計思想.路面分割模型以視覺圖像與激光雷達深度圖作為輸入，網絡主體構型與U-Net 網絡相似，由特征提取下采樣與上采樣特征還原兩個主要部分構成，這種構型也被稱作編碼器?解碼器結構.首先通過RGB 圖像編碼器網絡與深度圖像編碼器網絡分別對圖像與深度圖進行特征提取，并利用融合模塊將不同模態特征進行融合；在解碼器網絡上采樣階段，以密集跳躍的網絡連接形式再次融合編碼器中所提取的融合特征并逐漸恢復圖像分辨率，最后通過sigmoid 層得到網絡最終分割結果，網絡模型結構如圖5 所示.

圖5 網絡模型結構Fig.5 Network model structure

2.3 基于域適應遷移學習的可通行區域分割模型

為改善由于越野場景路面分割數據集數據量規模較小所造成網絡難以得到有效訓練的問題，文中通過遷移學習方法將路面類型識別模型通過學習到的特征提取知識向路面分割模型編碼器特征提取網絡共享，使網絡增加對于路面特征提取的先驗知識以輔助路面分割任務.為了實現拉近不同任務領域特征分布距離，使分割網絡學習約束網絡中對于路面信息的共性特征提取知識的目標，在分割網絡中增加表征特征偏移的距離損失項Ldist.損失函數Lseg采用交叉熵損失函數以表示對于輸入樣本(Irgb，Id)的預測分割結果與標簽值之間的差異：

式中：M、N為圖像寬度與高度尺寸；C為像素類別數；Iij為指示函數；pij為網絡sigmoid 函數輸出預測結果.

在此基礎上，增加約束網絡來對網絡特征分布偏移進行約束.以G、M分別表示約束網絡與分割網絡特征提取器網絡通道，對于同一組路面圖像與深度圖輸入樣本(Irgb，Id)，約束網絡與分割網絡分別得到提取特征G(Irgb，Id)、M(Irgb，Id).使用兩個特征圖之間的距離表征其領域偏移損失：

由此，構建遷移模型訓練時的聯合損失函數為

基于域適應遷移學習方法不但可以使模型輸出結果值與樣本標簽值之間的誤差減小，而且能夠減小編碼器網絡輸出特征與約束網絡輸出特征的差異，實現將約束網絡中對于路面數據的共性特征提取知識向編碼器特征提取網絡進行遷移的目的.為了實現拉近不同任務領域特征分布距離，使分割網絡學習約束網絡中對于路面信息的共性特征提取知識的目標，在分割網絡原有的對于標注標簽的損失函數Lseg的基礎上，增加表征特征偏移的距離損失項Ldist.基于域適應遷移學習的路面分割模型結構如圖6所示.

圖6 基于域適應遷移學習的路面分割模型示意圖Fig.6 Schematic diagram of the pavement segmentation model based on domain adaptation transfer learning

3 測試結果與分析

3.1 越野路面類型識別測試

在實車數據采集平臺下，針對內蒙古包頭地區對不同季節、不同時間段越野場景常見類型路面數據進行了采集，路面類型包括土路、草路、雪路、砂石路、涉水土路以及部分水泥路和柏油路段.通過采集數據對樣本所對應真實路面類別進行標注制作了路面類型識別數據集，數據集中各類型樣本數量如表1 所示.其中，將所有數據按照60%、20%、20%的比例分別隨機劃分為訓練集、驗證集以及測試集，模型在訓練過程中將加載訓練集數據進行訓練并通過梯度下降算法更新網絡參數，使模型能夠逐漸學習并減小預測結果相對于訓練集數據實際標簽值之間的誤差.

表1 路面類型識別數據集樣本統計Tab.1 Sample statistics of pavement type identification datum set

為了探究所設計特征融合算法在網絡中的作用，設計消融實驗對模型在采用與不采用特征融合模塊的情況下的檢測性能分別進行測試.保留網絡其他結構與參數設置，以不使用MSE 與雙線性池化融合模塊的基線網絡作為參照，分別對比各融合模塊單獨使用與共同使用使的模型表現.其中，BaseLine 基線網絡選擇最基礎的元素相加與元素相乘方法替代路面類型識別模型中的MSE 與雙線性池化融合模塊對多模態特征進行融合，測試結果如圖7 所示.

圖7 消融實驗測試結果Fig.7 Test results in ablation experiment

從測試結果中能夠看出，相較于原始BaseLine網絡，兩種特征融合模塊分別加入后均能使模型準確率有較明顯提升，在同時使MSE 與MUTAB 雙線性池化特征融合方法時模型準確率最高，證明了所提出的特征融合方法對于多模態特征融合的有效性，相比于元素相加與元素相乘方法能夠更加充分提取與利用不同模態特征間的相關性，使模型能最大程度從多源輸入中獲取有效信息，提升綜合準確率.在模型計算效率方面，由于MSE 模塊的輕量級網絡結構設計，在網絡中加入該模塊所增加額外計算參數量較小，模型的額外計算時間相比于原始模型幾乎沒有明顯增加，能夠在提升特征融合效果的同時保持較高的計算效率；MUTAN 雙線性池化模塊相比于原始雙線性池化算法在參數量方面進行了很大的優化，在測試結果上MUTAN 方法的引入會使模型計算時間小幅度增加，最終的綜合模型相較于原始模型雖然在平均計算時間上有一定增加，但是能夠在較小程度犧牲計算效率的情況下大幅提升模型準確率，能夠基本保證計算實時性，綜合性能最優.

為了驗證文中提出的多傳感器融合模型對復雜越野場景路面類別識別的優越性，文中將融合圖像、激光雷達和簧下振動加速度信息的多傳感器數據融合路面類型識別模型與單獨圖像輸入模型以及圖像+激光雷達深度信息輸入模型進行對比驗證.其中，對比模型只刪去對應數據輸入與特征提取網絡通道，保留網絡其他結構與超參數設置，在同樣的越野場景路面識別數據集下進行訓練與測試，對比測試結果如圖8 所示.

圖8 識別準確率Fig.8 Identification accuracy

從測試結果中可以看出，對于單獨圖像輸入的路面識別模型，其準確率已經能夠達到94%以上，說明對于很大一部分情況下，僅圖像輸入模型已經能完成較好的識別效果.但在對于特定情況如土路、砂石路等場景會出現較大的誤檢率，由于模型只使用圖像作為輸入，無法獲得精確的空間維度信息，對于在圖像特征上表現差異較小的路面類型難以做出準確的區分.融合圖像與激光雷達深度數據的路面識別模型在對各個路面類型的識別準確率上均有全面提升，但在對于水泥路與柏油路、土路與砂石路的區分準確率上仍與文中提出的模型有較大的差距.這是因為激光雷達所得到的深度輸入數據使得模型擁有了感知空間信息的能力，能夠對僅憑圖像難以區分的場景做出更準確的判別，但是受限于激光雷達測量精度與誤差影響，對于部分類型路面的識別仍有較大誤差.文中所提出的融合算法引入了簧下振動加速度傳感器所獲得的垂向加速度數據，有效地解決了這一問題.在越野場景路面類型檢測任務中表現更佳，平均分類準確率達到了98.65%，其中模型對于草路、柏油路以及雪路的檢測精度都達到了99%以上，對于特征較為明顯的雪路識別準確率達到了100%.

3.2 可通行區域識別測試

為了驗證基于遷移學習的越野路面可通行區域識別方法的有效性和優越性，在越野場景數據集下分別對基于域適應遷移學習的路面分割方法與無遷移學習的路面分割方法進行對比驗證，并且進行了單類型路面以及多類型路面的分割測試試驗，如圖9～圖12 所示.測試結果表明采用遷移學習方法能夠較為有效地提高模型在單類分割任務中的準確率，證明了遷移學習方法令模型的下采樣特征提取網絡通道能夠共享分類模型中所學習到的通用特征提取知識，使模型在同一數據下獲得表現效果提升.在多類型路面場景下，通過遷移學習共享信息后模型表現效果也取得顯著提升，對于多類型分割任務可以獲得更高的像素準確率.相比于未使用遷移學習模型的檢測結果，可知文中所提出的方法能夠對可通行區域做出更準確的劃分與類型判別，這說明遷移學習方法能夠有效地實現將大量數據訓練下的分類模型中所學習到的部分路面類別特征提取知識復用到多類型分割模型中，從而減小模型對于路面區域類別誤判概率，提升模型對路面區域檢測精度.

圖9 單類型路面可通行區域分割結果（未使用遷移學習）Fig.9 Division results of access area for single-type pavement (without transfer learning) (without transfer learning)

圖10 單類型路面可通行區域分割結果（使用遷移學習）Fig.10 Results of single type pavement access area division (with transfer learning)

圖11 多類型路面可通行區域分割結果（未用遷移學習）Fig.11 Division results of multi-type pavement accessible areas (without transfer learning)

圖12 多類型路面可通行區域分割結果（使用遷移學習）Fig.12 Segmentation results of multi-type pavement accessible areas (with transfer learning)

4 結 論

文中提出一種基于多傳感器融合的越野環境路面信息識別方法.構建了融合圖像、深度以及加速度信息的多傳感器數據融合越野場景路面類型識別模型，設計基于一維卷積神經網絡的加速度信號特征提取網絡結構，并通過雙線性池化方法以實現多模態特征的有效融合.然后，提出一種基于域適應遷移學習的越野場景可通行區域分割方法，將越野場景路面類型識別模型中對于路面數據特征提取的共性知識向路面分割模型遷移，以實現增強路面分割模型編碼器網絡的特征提取能力，從而提高模型檢測精度與泛化性.在真實越野場景數據集下進行測試驗證，測試結果表明所提出的越野環境路面信息識別方法對于越野路面類型以及可通行區域分割具備較高的識別精度，為后續越野環境下無人駕駛車輛規劃與控制器開發提供環境感知基礎.