一種融合UWB和視覺信息的行人預警方法

曹立波，向國梁，張樂祺，廖家才，王秋麗

（湖南大學 汽車車身先進設計制造國家重點實驗室，長沙 410082）

先進駕駛輔助系統（Advanced Driver Assistance System，ADAS）是目前汽車安全領域的研究熱點。在ADAS中，采用基于視覺的方法進行行人檢測的缺點是只能對攝像頭視野范圍內的無遮擋行人進行檢測，而很多行人碰撞事故的發生正是由于駕駛員或攝像機受到局部或者全部遮擋時無法及時發現前方行人造成的，同時攝像頭工作環境易受天氣影響，在極端天氣下無法工作，導致基于視覺的主動安全設備的適應性比較差。近年來，隨著無線通信技術的發展，車用無線通信（Vehicle to Everything，V-X）技術的應用可降低交通事故發生率或避免此類碰撞交通事故的發生。

行人檢測是計算機視覺比較有挑戰性的問題，基于HOG + SVM的行人檢測算法[1]，采用了滑動窗口技術，對每一個窗口進行前景和背景的二分類，并對圖像進行縮放?；贖OG特征擴展出來的HOG+AdaBoost方法[2]進行了分類器級聯，通過強分類器排除沒有人的候選區域以加快檢測速度。針對行人檢測中的遮擋問題，DPM+ latent SVM方法采用部件檢測進行優化[3]。深度卷積神經網絡在目標檢測算法方面取得了巨大突破[4]，以區域卷積神經網絡（Regions with CNN，RCNN）為代表的Fast-RCNN、Faster-RCNN等系列網絡，在行人檢測任務上取得了較好的檢測效果，但在速度方面仍有不足[5-6]。REDMON等[7-8]基于深度卷積神經網絡提出單次檢測框架（YOLO系列框架），實現了端對端實時目標檢測，在保證檢測效果的同時提高了檢測速率。

車聯網在智能交通系統和車輛安全等領域的相關應用逐漸成為研究熱點。王野秋等[9]將UWB通信模塊置于車身上來進行車輛間的相對定位。蔣夢琴等[10]將UWB通信模塊用于車輛跟馳距離檢測，跟馳距離超過某一閾值時就對駕駛員進行報警提示。趙佳樂等[11]通過UWB通信模塊進行車對車的信息傳輸，從而實現了輔助車輛跟馳、車輛換道以及車輛超車等功能。澳洲智能網聯汽車智能型運輸系統開發商與澳洲電信合作，使用4G移動通信網絡成功完成了行人防撞預警測試，而隨著5G技術的發展，基于無線通信的行人安全應用將逐漸得到普及[12]。

本文將視覺技術與V-X技術相結合，實現車載式與網聯式主動安全設備的信息融合。用UWB通信模塊做測試，并提升基于UWB通信的行人定位精度，通過UWB和視覺分別得出行人與車輛間的相對位置信息，根據碰撞時間模型判斷危險行人，以提高ADAS系統中車輛-行人碰撞預警的可靠性。

1 結合運動模型的UWB行人定位

UWB通過納秒至微秒級的非正弦波窄脈沖傳輸數據，具有傳輸速率高、抗干擾能力強、多徑分辨率高、系統容量大等優點，適用于精確測距及定位[13-14]，因此，選用UWB通信模塊進行無線通信行人檢測定位測試。行人攜帶UWB定位標簽，將UWB定位基站布置于車身上，選取基于到達時間的雙邊測距算法，依據三邊定位方法測得行人相對于車輛的位置坐標。為了減少誤差，對行人的運動狀態進行估計，以提升行人的定位精度。

1.1 UWB行人測距、定位原理

為了計算得出目標物體的位置坐標，一般情況下首先需要測量得到未知節點與已知節點之間的距離值?；诘竭_時間測量法（Time of Arrival，TOA）通過計算無線電磁波的傳輸時間，依據電磁波飛行速度換算得出兩測距模塊的間距。為消除時鐘偏差帶來的誤差，采用雙邊測距法，在兩測距模塊之間增加一次傳輸，記錄每次信號發送及接收時間ti（i=1，2，3，4，5，6），則計算得出兩測距模塊間電磁波單次飛行時間T，如式（1）所示。

式中：Trd1=t4-t1為基站發送并接收信號的時間間隔；Trd2=t6-t3為標簽從發送到接收信號的時間間隔；Trp1=t3-t2為標簽從接收到發送信號的時間間隔；Trp2=t5-t4為基站從接收到發送信號的時間間隔。

假設3個基站的位置坐標分別為（x1，y1）、（x2，y2）以及（x3，y3），待求的行人標簽坐標為（x，y），則通過3個定位圓相交于一點，可以進一步計算出未知行人的位置坐標[15]。在實際應用中，由于測距誤差的存在，致使3個定位圓在一般情況下難以交為一點[16]，如圖1所示。

圖1 三邊定位原理（定位圓未交于一點）

3個定位圓的3個交點構成一個三角形區域，利用三角質心法令定位圓的3個交點分別為Pj（xpj，ypj）（j=1，2，3），則標簽定位點坐標計算如式（2）所示。

1.2 行人運動狀態估計

卡爾曼濾波是目前在定位系統中廣泛應用的方法[17]?？柭鼮V波器能夠綜合傳感器輸出值和依據先驗知識所得出的狀態估計值，從而得到更為貼近真實值的結果。

依據前兩個連續時刻的行人相對定位結果來計算出行人與車輛間的相對運動速度值，并根據此相對運動速度對下一時刻行人相對車輛的位置進行估計，同時結合該UWB行人定位的實時測量值來綜合計算出下一時刻行人相對車輛的定位結果，其中最初兩次的行人定位結果直接依照觀測值給出。在恒變速條件下，卡爾曼濾波器狀態矩陣Xk、狀態轉移矩陣Fk/k-1如式（3）所示。

由定位系統給出的觀測結果為周圍行人相對車輛的相對位置坐標，觀測向量為Zk=[x,y]T，結合上文的誤差分析，在長沙近郊某路段進行定位測試，使測試行人與測試車輛共線勻速相對運動，對該行人進行濾波前后的相對定位測試，其定位結果對比如圖2所示。

2 基于視覺的行人檢測及測距

深度學習目標檢測模型YOLOv3在準確率和速度方面得到了很好的平衡，對小目標有很好的檢測效果，適用于自動駕駛場景下的多目標快速檢測。

對COCO和KITTI數據集進行清洗，獲得只有行人的一類目標標注數據集，在此數據集上使用YOLOv3模型訓練得出以行人為檢測目標的權重文件及配置文件。使用攝像頭獲取到車輛前方的圖像信息，并利用訓練的檢測權重實現行人檢測。

使用雙目實現檢測目標的測距，雙目測距通過兩個攝像頭從不同角度采集同一目標物體圖像信息，經匹配計算得出目標點在兩個攝像頭中的成像視差測得目標物的深度信息，可計算得到行人深度值Z，如式（4）所示。

式中：Z為行人與攝像頭間的縱向距離；f為相機焦距；B為基線長度，即兩相機間的中心距；XR，XT分別為目標點在左右兩個攝像頭成像的像素橫坐標值。結合上文中由視覺檢測出的行人結果，以檢測框中心點坐標作為目標點，測得行人與攝像頭間的縱向距離Z，即為行人與車輛間相對縱向坐標yv，同時通過找到相機成像中的滅點，由滅點與目標像素點間的連線通過標定得到的像素比計算得出目標像素點距離相機的橫向距離，即其橫向坐標xv。

3 UWB及視覺信息融合預警方法

3.1 預警原理

碰撞時間（Time to Collision，TTC）指車輛與目標物體間的跟馳距離除以兩者的相對速度，即在此時刻預計兩者的碰撞剩余時間值，是常用的評價車輛行車安全的指標。根據連續兩個時刻內行人相對位置的變化計算出行人與車輛間的相對速度，通過測出的距離值計算得到的TTC值來評估行人、車輛的碰撞風險。計算原理如圖3所示，TTC計算公式如式（5）所示。

圖3 TTC計算原理

式中：V為行人與車輛間的相對速度；Δt為連續兩時刻間的時間間隔，即檢測系統更新行人位置的時間間隔；θ為某時刻行人與車輛相對運動速度方向與行人車輛連線方向間的夾角；ΔV為行人與車輛沿直線距離方向的相對運動速度；d為該時刻檢測系統測得的行人與車輛間的相對距離值。當計算得出的TTC值達到安全閾值時，判定此時行人與車輛間存在潛在的碰撞危險。

3.2 坐標系轉換與信息融合

為了將UWB無線通信系統的行人檢測預警結果與視覺的行人檢測預警結果相融合，首先需要建立一個世界坐標系，并將UWB檢測結果與視覺檢測結果分別轉換到世界坐標系中。由于預警只需要進行行人平面定位，因此只考慮平行于地面的二維坐標系。

空間中的世界坐標系可由用戶自由定義，由于車輛行駛過程中與行人發生碰撞的部位主要是車輛前方車頭突出部分，因此，將車輛與行人間的相對距離值設定為行人與車輛最前方車頭中點的距離，將世界坐標系原點設置在車輛最前端中點O處，世界坐標系XOY如圖4所示。

圖4 坐標系轉換

UWB的3個通信基站分別安裝于車身的前保險杠中間部位以及車輛左右的C柱底端部位，為了計算方便，將UWB檢測定位系統的坐標系建立在車輛前向保險杠中間部位的通信模塊上，UWB坐標系如圖4中Xu，Ou，Yu所示。由于車輛前方的UWB通信模塊的安裝位置與世界坐標系原點間的Y向安裝間距為L1，則UWB坐標系與世界坐標系的轉換關系如式（6）所示。

對于視覺坐標系，使用了水平儀將攝像機布置在車內后視鏡位置，保持攝像機鏡頭平面與地面垂直，視覺坐標系為圖4中Xc，Oc，Yc所示，令攝像頭安裝位置與世界坐標系原點間的Y向安裝間距為L2，則視覺行人坐標值轉換至世界坐標系的關系式如式（7）所示。

3.3 預警融合算法

3.3.1 基于歐式距離的危險行人位置匹配

令UWB的危險行人點Ui（i=1, …,p）集合為U，視覺危險行人點Vj（j=1, …,q）集合為V，將集合U與集合V進行匹配。首先進行坐標系轉換，假設UWB危險行人坐標轉換到世界坐標系中的位置坐標為（xi，yi），視覺危險行人坐標轉換到世界坐標系中的位置坐標為（xj，yj），分別計算某種檢測中每個危險行人位置點與另一種檢測中所有危險行人位置點間的歐式距離值，求得其中的最小距離，若最小距離值在設定閾值范圍內，則判定匹配成功，匹配公式如式（8）所示。

式中：e1為UWB定位系統的定位誤差值；e2為雙目視覺測距誤差值；s為測試過程中的動態匹配調整值。

3.3.2 預警決策流程

得到UWB危險行人位置點與視覺危險行人位置點的匹配結果后，若UWB檢測的危險點無法找到對應匹配的視覺危險點，則判定該行人為被障礙物遮擋或在攝像機視野外的行人，依據UWB檢測結果給予預警并標識出遮擋的危險行人相應位置。若視覺危險點無法找到對應的UWB檢測危險點進行匹配，則判定為非攜帶UWB模塊的行人，給出視覺預警結果。若匹配成功，則為視覺和UWB共同檢測判定出的危險點，給出視覺預警提示。具體預警融合流程如圖5所示。

圖5 綜合預警流程

4 測試結果分析

4.1 測試平臺搭建

本文選取某型號UWB芯片進行測試，測距芯片的主要參數見表1。

表1 UWB測距模塊參數

選取ZED雙目攝像機來進行視覺檢測測試，該雙目立體攝相機同步獲取到空間物體的雙目圖像，并在計算機中通過對應的軟件開發包來計算分析。雙目攝相機參數見表2。

表2 雙目攝像機參數

4.2 定位誤差測試

4.2.1 基于UWB通信的行人定位誤差測試

為衡量行人運動情況下的定位誤差，對UWB行人定位算法進行動態誤差測試。在天氣晴朗的條件下分別在車速為20 km/h、30 km/h、40 km/h的情況下對行人在0～15 m及15～30 m的距離段進行定位測試，并對結果進行誤差分析。UWB車輛安裝及UWB行人攜帶如圖6所示，所得到的不同車速及距離下的定位平均誤差及最大誤差見表3。

圖6 UWB安裝圖示

表3 UWB行人定位誤差

由上述檢測結果可知，UWB定位誤差隨著車速的增加而增加，并隨著檢測距離的增加而增加，在行人與車輛相距0～15 m的范圍內，動態測距平均誤差較低，整體在不同車速下該距離范圍內的誤差較為穩定。一般情況下，對于車輛有碰撞危險的行人大部分處于這個距離范圍。因此，可認為該定位適用于本文的碰撞危險行人檢測。

4.2.2 基于視覺的行人定位誤差測試

在不同天氣和光照的情況下進行多組視覺行人檢測定位誤差測試，將雙目攝像機安裝在車內后視鏡位置處，其具體的安裝位置如圖7所示。分別針對晴天、雨天以及不同的距離段進行了多組測試，并分析定位誤差，得到不同天氣及距離段下的定位平均誤差和最大誤差，其定位誤差結果見表4。

圖7 雙目攝像機安裝及行人檢測結果

表4 視覺行人定位誤差

從定位檢測結果可以看出，晴天時，在15 m以內的平均定位誤差在0.74 m，而15～30 m的定位誤差超過1 m；雨天時，由于行人檢測準確率受到影響，出現跳變的情況，導致15 m內誤差超過1 m。在夜晚也進行了測試，然而由于夜晚光照度很低，能檢測出行人的幀數較少，所以夜晚檢測定位效果不佳。

4.3 UWB通信和視覺融合的行人預警測試

在天氣晴朗的條件下進行試驗，以30 km/h的車速對15 m以內的行人進行UWB及視覺的融合行人預警測試，根據上文對基于UWB和視覺的行人定位動態誤差的測試結果，選取e1為0.53 m，e2為0.74 m。首先進行被遮擋行人預警測試，測試本系統對被遮擋行人的檢測效果。設定一個被遮擋的危險行人點進行測試，一共進行30組檢測測試，測試得到的結果見表5。圖8為綜合預警測試的界面，視覺框中右前方行人被障礙物遮擋，駕駛員以及攝像頭無法檢測到行人，使用該綜合預警的方法可以根據匹配結果獲取視覺無法檢測的被遮擋行人位置，并在視覺界面中標識出危險行人，給出行人坐標，給予預警。圖9為測試現場的場景記錄，表5為測試結果。圖9中的右側為布置UWB基站的白色車輛，左邊為攜帶UWB標簽的危險行人。

表5 被遮擋行人預警測試

圖8 融合預警測試界面結果

圖9 融合預警測試場景

根據試驗結果，全程漏標或錯標危險點的次數為0，說明本融合預警系統可以有效檢測出被遮擋的危險行人，具有很強的可靠性。同時，全程正確標識出危險點的情況達到了96.7%，說明本系統具有較強的穩定性。有兩次間斷性漏標或錯標危險點的情況，經分析是某時刻由于外界影響UWB定位時突然發生較大跳變所致。

再進行無遮擋行人預警測試，檢驗本系統對不同傳感器信息的融合效果。在上述同樣試驗條件下設定一個無遮擋行人危險點，進行30次試驗，試驗結果見表6。

表6 無遮擋行人預警匹配測試

根據試驗結果，預警失敗的次數為0，說明本融合預警系統可以有效檢測出危險行人，同時匹配成功的情況達到了93.3%，說明本系統可以有效匹配UWB危險行人點和視覺危險行人點，危險行人點多報、誤報的概率較低。

5 結論

（1）開發了一種融合UWB和視覺信息的行人預警系統。試驗表明，本系統能夠用來檢測視覺被遮擋狀態下的危險行人，并提高行人碰撞預警系統的可靠性。

（2）通過誤差分析對UWB車載基站的布置方式進行了優化，在采用雙邊測距和三點定位法時，使用等腰三角形布置下的最大誤差值為0.90 m，對不同車速條件下的UWB定位誤差進行了量化分析。

（3）在被遮擋行人試驗中，融合UWB和視覺信息的行人定位系統全程檢測準確率達到了96.7%，在無遮擋行人試驗中，本系統匹配成功正確率達到了93.3%，驗證了該行人預警系統的有效性。