基于輕量化網絡的車載雷達目標分類方法

李家強，任夢豪，危雨萱，陳金立

（南京信息工程大學電子與信息工程學院，江蘇南京 210044）

0 引 言

伴隨著時代進步和人類發展，汽車已成為現代人類社會中最重要的交通工具之一，給人類的生活帶來了極大的便利性。然而，交通安全問題始終伴隨著汽車產業的發展，每年發生的交通事故導致了人類生命和財產的巨大損失［1-2］。高級駕駛輔助系統（Advanced Driver Assistance System,ADAS）可以提高駕駛的安全性，人們對ADAS 的需求不斷增加，對傳感器的要求也逐漸提高［3］。

用于ADAS 的主流傳感器主要包括光學傳感器、超聲波傳感器、激光雷達和毫米波雷達等［4-5］，較其他傳感器，毫米波雷達具有全天時全天候的工作特點，成為了ADAS 的核心傳感器。行人、騎行者和汽車是城市和鄉村道路上的主要交通參與者，也是ADAS 系統的重要識別分類目標，對他們進行準確的分類識別可以有效減少交通事故的發生。由于不同的目標具有不同的運動方式，如行人在移動時四肢具有不同的擺動幅度和位置，與運動中的車輛相比具有不同的微動特征，因此微動特征已在許多研究中被用于雷達目標特征的提取及分類［6-9］。此外，文獻［10］采用高分辨雷達實測數據，對兩類目標的多普勒和微多普勒特征進行提取，利用目標的散射強度、速度及步態頻率三類特征實現了車輛與人的分類識別，上述工作通過目標散射強度特征以及多普勒和微多普勒特征實現了行人與車輛的分類，取得了良好的效果，但道路上的主要交通參與者除了行人與車輛還包括了騎行者等，因此，實現多種目標分類至關重要。

近年來，卷積神經網絡（Convolutional Neural Network, CNN）在圖像處理領域取得了巨大成功，其強大的圖像特征提取能力為雷達目標分類提供了新思路。例如，文獻［11］對原始雷達回波信號進行處理，得到目標的距離-角度（Range-Angle,RA）圖，將CNN 應用于雷達RA 圖的分類，但該方法分類準確率較低，在分類結果只有行人和其他的情況下最高分類準確率只有87.9%。通過在水平方向機械旋轉雷達獲得RA 圖，利用Darknet53網絡對RA 圖進行分類，可以實現汽車、行人、石頭三類目標的分類［12］，但是機械旋轉雷達的方案并不適用于大部分車載場景。由于毫米波雷達不僅可探測到目標的整體運動，還可以探測到物體的多普勒特征和微多普勒特征，如運動中行人的四肢擺動特征和行進中車輪的運動特征等，雷達距離多普勒（Range-Doppler,RD）圖像包含了目標的運動特征。所以，通過雷達RD 圖像對目標進行分類是更好的選擇。已有研究使用CNN 替換了傳統的毫米波雷達目標分類算法，實現了對目標的單幀RD 圖像進行分類［13］，但在數據預處理方面存在不足，沒有消除靜止物體對目標多普勒或微多普勒特征產生的影響。文獻［14］使用AWR1243-BOOST 雷達板采集目標回波數據，并將數據處理成多幀連續的RD 圖像，使用神經網絡對目標的多幀RD 圖像分類，實現了汽車、行人和騎行者等目標的分類。文獻［15］在文獻［14］的基礎上使用DCNN 和AlexNet+DRNN 等網絡對目標單幀和多幀連續的RD 圖像進行分類，得出了使用AlexNet+DRNN 的網絡結構對多幀RD 圖像進行分類的結論。但獲取目標多幀RD 圖像需要較長的觀測時間，并且對多幀RD 圖像分類需要較大的數據運算量，圖像分類網絡模型的空間復雜度和計算復雜度較高，存儲模型參數文件需要占用較大的內存空間，運行模型時需要占用大量內存資源。因此，如何提高網絡分類準確率并且使網絡擁有較少的參數量和計算復雜度，是亟待解決的問題。

針對上述問題，本文將向量均值相消算法引入到信號處理流程中，提出了一條完整的車載毫米波雷達目標分類信號處理鏈，并且將MobileNet［16］和Ghost 模塊［17］相結合，針對車載毫米波雷達目標分類任務設計了神經網絡G-MobileNet。首先使用AWR1843BOOST 雷達板采集目標回波信號，對雷達接收信號AD 采樣數據進行向量均值相消處理濾除靜止雜波，然后再對數據分別進行距離維度和速度維度的快速傅里葉變換（Fast Fourier Transform, FFT）得到RD 圖，最后通過G-MobileNet 對RD 圖進行特征的提取以及分類。實測數據驗證結果表明，本文方法具有很好的分類性能，并且所設計的網絡模型復雜度較低，具有較好的工程應用前景。

1 車載毫米波雷達信號模型

目前先進的汽車雷達傳感器采用調頻連續波（Frequency Modulated Continuous Wave, FMCW）技術［5］。FMCW 信號調制原理圖如圖1 所示，其發射信號數學模型可表示為

圖1 FMCW信號調制原理圖

式中：x(t)表示信號波形；k∈[0,N-1]，N為在一個測量周期內發射信號的個數；T為發射信號重復周期，包含發射周期和空閑周期。發射信號ST(t)是在慢時間域ts=kT上周期重復的函數。φ(t)表示發射信號的相位，可表示為

式中f0，α和φ0分別為FMCW 信號的起始頻率、調斜率和初始相位。

定義快時間tf：

發射信號ST(t)經過目標反射后被雷達接收機所接收，并進行混頻和低通濾波處理，產生的基帶信號可表示為

式中，A表示目標回波信號幅值，τ(t)是信號發射之后經過目標反射并被接收的雙程時延，表達式為

式中，R為目標與雷達之間的距離，v為目標的徑向速度，c為光速。聯立式（4）和式（5），可得接收信號SB(t)的相位：

由于c2?2α(R+vt)2，所以公式（6）的第三項可忽略不計。聯立式（6）和式（3）可得

2 基于Ghost模塊的車載雷達目標分類方法

由公式（8）可知，雷達接收信號包含了一個對應于距離的快時頻率和一個對應于相對徑向速度的慢時頻率，所以分別在快時間域和慢時間域對目標回波信號做FFT 可以得到目標的雷達RD 圖像，不同目標具有不同的形狀和多普勒特性，所以具有不同的雷達RD 圖像，可通過雷達RD 圖像特征實現對目標的分類。

本文提出的目標分類流程如圖2所示，由于原始雷達回波信號中會存在靜止雜波，當目標速度較慢的時候靜止雜波會對目標造成干擾，甚至會湮沒目標的微動多普勒特征，所以采用向量均值相消算法濾除靜止雜波，同時保留目標的微動多普勒特征。即首先對雷達目標回波進行向量均值相消濾波，然后再對濾波之后的信號分別進行距離維度FFT 和速度維度FFT 得到雷達RD 圖像，最后使用輕量化神經網絡提取雷達RD 圖像特征并得到分類結果。

圖2 目標分類流程圖

2.1 基于向量均值相消算法的靜態雜波濾除

將雷達接收信號AD 采樣數據表示為矩陣R∈?M×N，其中M為快時間維度采樣點數，即每個FMCW 信號的采樣點數，N表示慢時間維度采樣點數，即每個觀測周期內FMCW 信號的個數，對所有FMCW信號求平均值：

式中，q∈?M×1是對所有FMCW 信號求平均得到的參考信號，均值相消的過程可表示為

這里，Q=[q,q,…,q]∈?M×N,P∈?M×N為向量均值相消后得到的信號。

圖3 為當N=3 時目標回波向量求和示意圖，m1，m2，m3為運動目標的向量，由于目標運動會導致回波信號中每個調頻信號間的相位不同，其相量求和累加后會出現抵消的現象，n1，n2，n3為靜止目標的向量，靜止目標回波中每個調頻信號間的相位相同，相量求和累加后得到的值較大。因此，參考信號q中運動目標回波信號分量較小，靜止目標回波信號分量較大且與每個接收信號中靜止分量相同，使接收信號R中的每一個FMCW 信號都消去參考信號，可消除靜止目標回波信號分量，同時保留了運動目標回波信號分量。

圖3 相量求和示意圖

2.2 G-MobileNet輕量化網絡設計

神經網絡中普通卷積層運算的數學模型可表示為

式中，*代表卷積算子，X∈?l×h×w代表輸入數據，其中l，h和w分別為輸入通道數、輸入數據的長和寬；F∈?l×g×g×n指大小為g×g的卷積核；B∈?h'×w'×n為偏置項；Y∈?h'×w'×n為輸出數據；h'，w'和n分別為輸出數據的長、寬和輸出通道數。經過一次卷積過程的浮點運算數量可以表示為n·h'·w'·l·g·g。

深度卷積神經網絡由大量的卷積運算組成，需要消耗大量的計算資源，雖然目前存在一些輕量化網絡，如MobileNet［16］引入了深度可分離卷積減少了網絡模型的參數，但網絡中剩余的1×1的卷積操作仍占用大量的計算資源。由于訓練好的神經網絡的中間特征圖存在冗余，即存在卷積層的一些輸出特征圖相似的情況［17］，卷積層的輸出特征圖通常較為冗余，其中特征圖一些彼此相似，所以采用Ghost模塊替換網絡學習單元中1×1的卷積操作。首先使用普通的卷積操作生成部分固有的特征圖Y'：

為了便于理解和計算，公式（12）忽略了偏置項B，Y'∈?h'×w'×m，F'∈?l×g×g×m為生成固有特征圖所采用的卷積核，m指輸出固有特征圖的通道數且m≤n。對Y'中的每一張特征圖y'i進行廉價的線性操作得到其幻象特征圖：

式中：yij表示幻象特征圖，i=1,…,m,j=1,…,t；Φij表示第i張固有特征圖y'i的第j次線性映射；t為在固有特征圖的基礎上進行線性映射所生成幻象特征圖的個數，即固有特征圖y'i可以有多個幻象特征圖，最后一張幻象特征圖為保留其本身特征的身份映射。圖4 為y'i具有兩個幻象特征圖時Ghost模塊結構，映射操作Φ11,Φ21,…,Φm1通常采用卷積核大小為d×d的深度可分離卷積操作，并且深度可分離卷積的卷積核大小通常與普通卷積的卷積核大小相同，Φi2為保留固有特征圖本身特征的身份映射，將所有特征圖拼接即得到模塊的輸出數據。采用Ghost 模塊與采用傳統卷積的理論參數量壓縮比p可表示為

圖4 Ghost模塊結構

式中，t?l。同樣，采用Ghost 模塊與采用傳統卷積的理論浮點數運算量q可表示為

從公式（14）和（15）可以看出，使用Ghost 模塊與傳統卷積相比，參數量和浮點運算數量均壓縮了t倍，所以本文使用Ghost 模塊代替MobileNet 學習單元中的普通卷積，達到了減少網絡模型參數量和運算量的效果，將改進后的學習單元命名為G-Bottleneck。G-Bottleneck 的結構如圖5 所示，輸入圖像特征首先經過Ghost 模塊進行升維操作，產生多個通道，然后再對升維之后的數據進行深度可分離卷積操作，其中深度可分離卷積的卷積核大小通常為3×3，最后再使用Ghost 模塊對數據進行降維操作得到學習單元的輸出特征。若深度可分離卷積操作的步長為1，則學習單元帶有殘差連接，如圖5（a）所示，若深度可分離卷積操作的步長為2，則學習單元沒有殘差連接，如圖5（b）所示。

圖5 G-Bottleneck結構

由于雷達RD圖像較光學圖像分辨率較低、圖像尺寸較小、特征較為簡單，所以本文在MobileNetV3［18］的基礎上對網絡結構進行刪減，并將刪減過后的網絡命名為MobileNet11。本文提出的G-MobileNet網絡結構見表1，G-MobileNet與MobileNet11 網絡結構相同，但G-MobileNet 采用G-Bottleneck 替換了MobileNet11 網絡結構中的Bottleneck，使用Ghost模塊替換了平均池化前的卷積操作。

表1 G-MobileNet結構

3 實驗分析

3.1 實測數據采集及處理

本文采用德州儀器（Texas Instruments, TI）公司生產的AWR1843BOOST 雷達板和DCA1000-EVM 實時數據采集板完成目標回波數據的采集，通過60 針高密度連接線將二者進行連接，通過USB 數據線進行控制數據的傳輸，使用TI 公司開發的mmWave Studio 平臺配置毫米波雷達傳感器，并且通過以太網將DCA1000EVM 采集到的原始雷達數據傳輸到PC端。雷達主要配置參數見表2。

表2 雷達參數配置表

圖6 為目標回波的采集場景，在距離雷達3～30 m 的距離范圍內共有行人、自行車、汽車三類目標分別駛向和駛離雷達。為了確保目標回波特征的多樣性，對于每類目標均選取了多個目標進行測量。其中，對5 個身高分布在163～182 cm 內的行人進行測量，采集了16組數據；對城市車和山地車兩種不同類型的自行車采集了15 組數據；對轎車和SUV 車型兩種車型進行測量，共采集了2 組數據。

圖7 展示了對雷達回波數據未進行向量均值相消處理和向量均值相消處理得到的雷達RD 圖像。從圖中可以看出，目標的速度存在擴展，這是由于目標的不同部位的運動產生了不同的微動多普勒效應，具有不同的速度分量。從圖7（a）可以看出，在未對雷達回波信號進行向量均值相消處理時，當目標速度較小或者目標速度擴展較大時，靜止目標的回波信號會對目標的多普勒特征產生干擾。圖7（b）為對目標回波進行向量均值相消后的雷達目標RD圖像，對比圖7（a）和圖7（b）可以看出，本文采用的信號處理流程能夠抑制靜止雜波對目標多普勒特征的干擾，同時保留目標的多普勒特征和微多普勒特征。對所有雷達回波數據進行處理，最終共得到5 920 張行人雷達RD 圖像、5 004 張自行車雷達RD 圖像和180 張汽車RD圖像。

3.2 目標分類網絡模型驗證

實驗硬件平臺為CPU：Intel i5-12400F；內存：16 GB；GPU：NVIDIA GeForce GTX1660Spuer 6 GB。將雷達RD圖像隨機打亂后按照4∶1的比例劃分為訓練集和測試集。采用Pytorch1.12.1 深度學習開源框架，在64 位Windows10 操作系統下，通過Python3.8 編程語言搭建G-MobileNet 神經網絡，按照表3 中的參數對G-MobileNet 網絡進行設置。使用訓練集和測試集對網絡進行訓練及測試。

表3 G-MobileNet網絡參數配置

本文選取了CNN、DCNN 和MobileNet11 作為對比網絡，圖8 和圖9 分別為網絡測試準確率曲線和損失曲線，網絡的準確率曲線趨于穩定并且訓練損失值和測試損失值下降趨勢保持一致，網絡模型訓練過程中沒有產生過擬合的現象，與CNN、DCNN 和MobileNet11對比可知，本文設計的G-MobileNet分類準確率高于對比網絡。

圖8 測試準確率曲線圖

圖9 損失曲線圖

圖10（a）、（b）、（c）、（d）分別展示了CNN、DCNN、MobileNet11 和G-MobileNet 的分類混淆矩陣。從圖中可以看出，G-MobileNet 對行人、騎行者、汽車的單類識別準確率分別為97.55%、96.90% 和91.67%，均高于對比網絡。

圖10 混淆矩陣

本文分別從分類準確率、空間復雜度、時間復雜度和網絡對RD圖像的推理時間4個方面進行了對比分析。如表4 所示，由于CNN 網絡結構相較于其他3種網絡結構較為簡單，所以其計算復雜度較低，網絡運行時間較短，但是CNN 網絡分類準確率很低，僅有88.38%。DCNN 網絡深度比MobileNet11 和G-MobileNet 的網絡深度更小，計算機運行DCNN 時CPU 訪問內存的次數和耗時均減少，所以DCNN的運行時間比MobileNet11和G-MobileNet 的運行時間短，但DCNN 的空間復雜度較大，即參數量較多，需要較大的存儲空間，計算復雜度較高，即浮點運算數量較多，網絡運行時需要占用大量的內存，且分類準確率較低。本文提出的G-MobileNet 分類準確率高于對比網絡DCNN 和MobileNet11 分類準確率，并且其空間復雜度較DCNN 和MobileNet11 分別減少了95.51% 和41.59%，可節約大量存儲模型所需的內存空間，其計算復雜度分別比DCNN 和MobileNet11 減少了72.33%和42.3%，減少了網絡運行時占用的運行內存。

表4 網絡模型對比

4 結束語

本文提出了一種車載毫米波雷達目標分類方法，首先引入了向量均值相消算法對目標回波進行處理，再進行二維FFT 得到目標的RD 圖像，最后設計G-MobileNet 輕量化網絡對RD 圖像進行特征的提取和分類。實測數據處理結果表明，本文提出的信號處理方法能夠消除靜止雜波對目標多普勒特征的干擾，并且保留了目標完整的多普勒及微動多普勒特征，實現了對行人、騎行者和汽車三類目標的分類；本文設計的輕量化網絡具有較高的分類準確率，同時具有空間復雜度和計算復雜度低的特點，能夠為車載系統節省大量的儲存空間和運行內存。