兩階段Faster R-CNN用于施工現場人車碰撞危險自動分析

張 博，宋元斌*，吳 冰，李勁松，張世超

（1.上海交通大學 船舶海洋與建筑工程學院，上海 200240；2.國網浙江省電力公司經濟技術研究院，杭州 310012；3.河南新縣宏大建設工程有限責任公司，信陽 465550；4.上海外高橋造船有限公司，上海 200137)

0 引言

近年來,雖然施工安全生產形勢總體上持續改進,但安全事故數和傷亡人數仍然居高不下[1]。其中建筑施工現場的工人和卡車之間的碰撞事故是造成工人傷亡的主要原因之一[2]。為了避免建筑施工現場人車碰撞事故的發生,需要監測卡車與工人之間的空間關系,發現潛在的碰撞危險,及時做出預警。然而,傳統的人工監測方法受限于安全管理人員人手、工作時間和巡查范圍,難以滿足安全管理需求。利用計算機視覺算法分析現場視頻監控圖像為施工現場的潛在碰撞危險自動檢測提供了一條有效的途徑。

目前基于深度學習的計算機視覺算法技術發展迅速[3,4]。許多學者在此基礎上分析了施工現場的潛在危險。Fang等[5]利用目標檢測網絡直接識別施工現場圖像中工人和施工設備,并根據工人和設備之間的位置關系確定工人安全水平。Yan等[6]通過識別了現場圖像中卡車不同部位,進而推算車輛的三維輪廓,同時結合圖像深度和目標的三維邊界,最后計算工人與車輛的鄰近程度。但經過現場測試發現,當施工視頻幀圖像中工人與卡車相比目標較小,上述方法易發生工人目標漏檢問題。為了實現施工現場潛在碰撞危險的自動檢測,并解決上述漏檢問題,本研究結合深度學習技術提出了兩階段目標檢測的方法,首先通過搜索卡車周圍存在碰撞危險的區域,再在危險區域中監測工人目標,進而減少工人的搜索范圍,改善漏檢問題。另外,基于仿真實驗計算專家的碰撞危險評價結果,進而確定工人的碰撞危險等級。最后,本文通過分析施工現場視頻來驗證所提出方法的有效性和實用性。

1 潛在碰撞危險自動分析

施工現場的碰撞危險區域主要集中在施工車輛附近。根據上述危險空間分布的特點,可以設計了一個兩階段的工人與卡車目標檢測算法,第一階段先檢測圖像中的卡車的圖像區域（目標框）,然后擴大該區域形成潛在碰撞緩沖區,可以合理地假設工人在緩沖區外是安全的,因此在第二階段只在潛在碰撞緩沖區域內中檢測工人目標。

如果在潛在碰撞緩沖區內有工人,則根據工人和卡車的檢測結果進一步分析工人的碰撞危險等級。以往的研究主要通過分析工人和車輛鄰近程度,再利用模糊集理論建立一個模擬專家評判的安全水平自動分析系統,進而分析工人與施工車輛之間的碰撞危險[7,8]。為了簡化計算,本文使用空間相關性Rsp[9]來計算施工現場安全管理專家對工人碰撞危險等級的評價結果。工人碰撞危險等級越高,表明工人與周圍卡車發生碰撞事故的可能性越大。其中,空間相關性反應了物體間在三維空間的鄰近程度。

碰撞危險自動分析流程如圖1所示。

圖1 工人-卡車碰撞危險自動分析流程

1.1 檢測卡車

從施工現場視頻中獲取單幀圖像后,先采用Faster R-CNN[10]檢測施工車輛目標。與Fast R-CNN相比,Faster R-CNN增加了區域提議網絡（Region Proposal Networks,RPN）模塊,大幅度改善了目標檢測的準確率和速度。

如圖2所示,Faster R-CNN首先使用預訓練的卷積網絡分析幀圖像得到特征圖,然后使用RPN從上述特征圖中獲取建議候選區域,理論上待檢測的目標只可能出現在建議候選區域內；因為建議候選區域的大小和長寬比存在不一致性,因此需要進一步通過興趣區域（Region of Interest,ROI）池化層將大小不一的多個建議候選區域轉化為固定大小的目標特征圖,最后通過分類器分類統一尺寸的建議候選區域內的特征圖,得到目標檢測結果,即卡車目標框在原始圖像中的位置和大小。

圖2 Faster R-CNN結構

相機的拍攝高度會影響施工現場物體在二維圖像中的位置關系,當施工現場攝像機的安裝位置明顯高于物體所在水平面時,可以有效避免圖像中物體間的過度重疊或遮擋[9]。因此本文研究過程中確保攝像機拍攝位置明顯高于施工車輛的上表面。

1.2 確定潛在碰撞緩沖區

如圖3所示,潛在碰撞緩沖區是一個與卡車目標框中心對齊的矩形框,其長與寬都是卡車目標框相應尺寸的k倍。為了確保檢測效果,潛在碰撞緩沖區既要覆蓋車輛周圍所有存在碰撞危險的工人,又要盡可能減小緩沖區尺寸以便減少計算量。本研究建議將k值設置為2,如實驗2.2.1節所示。

圖3 確定卡車潛在碰撞緩沖區

1.3 獲取緩沖區工人目標

在卡車的潛在碰撞緩沖區范圍內,同樣采用Faster R-CNN檢測工人目標。在同一幅圖像中,某位工人可能位于多輛卡車的潛在碰撞緩沖區內時,此時工人將有多個目標框,如果兩個工人目標框的中心之間的距離很近,可以認為目標框對應的同一個。本文取最小面積檢測框對角線長度的10%作為判斷為同一個工人的閾值。

1.4 計算人車空間相關性

在施工圖像中檢測到卡車和工人目標后,需要進一步計算工人和卡車的空間相關性。該指標反應了兩個目標在空間中的鄰近程度,與兩個目標框的位置有關。

如圖4所示,A、B兩個目標框之間存在三種位置關系：包含、相交、分離。不同位置關系時的Rsp計算如式(1)所示：

圖4 目標框之間的位置關系

式(1)中：SA、SB為A、B目標框的面積；SAB為A、B目標框相交部分面積；lA、lB為A、B目標框最短邊長度,lAB為A、B目標框之間的最短間距。

當兩個目標框之間存在包含關系時,此時Rsp最大；當兩個目標框之間相交時的Rsp小于目標框存在包含關系時的Rsp；兩個目標框相互分離時的Rsp小于兩目標框相交時的Rsp。

1.5 確定工人碰撞危險程度

為了建立工人碰撞危險等級（安全、危險、高危）與空間相關性Rsp與間的關系,通常需要采集大量的不同視角的施工現場圖像,并且這些圖像的拍攝相機的位置需要高于卡車的上表面,網絡收集和現場拍攝的圖像數量較少,難以滿足實驗要求,因此本研究采用了在虛擬施工場景中進行仿真實驗的方法。仿真實驗流程如圖5所示,在基于Unity3d開發的施工現場仿真程序中,通過設置不同的參數可以模擬各種潛在的人車碰撞或者安全場景并標注工人的碰撞危險等級,收集從不同視角拍攝的大量圖像。

圖5 危險場景仿真實驗

然后,針對仿真實驗中收集的潛在碰撞圖像,應用本研究提出的算法計算其中人-車的空間相關性,結合所標注的碰撞危險等級,建立了碰撞危險等級對空間相關性的隸屬度函數關系,如圖6所示。當工人和車輛間的空間相關性小于0.34時,工人均處于安全等級；當工人和車輛間的空間相關性大于0.34而小于0.74時,工人處于危險等級,有可能與卡車發生碰撞；空間相關性大于0.74時,工人處于高危等級,極有可能發生與卡車發生碰撞。

圖6 碰撞危險等級人數占比對Rsp的隸屬度關系

為了確保危險和高危情況不被漏檢,本研究在隸屬等級確定時,就高不就低,比如當空間相關性為0.42時,歸屬為危險,而不是安全。當工人在多個潛在碰撞緩沖區中被檢測到時,選取最大Rsp判斷工人的碰撞危險等級。

2 實驗分析

本研究的實驗運行在工作站上,操作系統采用64位Window10,工作站的硬件參數為Intel(R) Xeon(R) Gold 5222CPU @3.80GHz,內存為128GB,配置2塊GTX 2080 Ti顯卡。Faster R-CNN的預訓練網絡使用Resnet18[11]。

2.1 數據處理與模型訓練

通過施工現場拍攝、網絡爬蟲2種方式收集包含施工車輛和工人的圖像共2200張。其中2000張作為訓練集,200張作為測試集。測試集圖像200張圖像中共包含258輛卡車,安全專家人工標記為安全、危險、高危狀態的工人有215名、192名、34名。

2.1.1 圖像標注

先在每一張圖像上人工標注卡車目標,取標注框2倍大小的圖像區域作為潛在碰撞緩沖區,如圖7所示緩沖區可能有多個,然后在每個緩沖區子圖上標注工人目標。

圖7 標注圖像

2.1.2 模型訓練

采用2000張完整的現場圖片（如圖7中的標注圖像A所示）訓練Faster R-CNN得到能夠識別卡車目標的模型,在此稱為第一階段識別模型；同時,可以利用潛在碰撞緩沖區子圖5482張（如圖8中的緩沖區B1和B2圖片）訓練Faster R-CNN得到能夠識別工人目標的模型,在此稱為第二階段識別模型。

2.1.3 模型測試

針對測試集中200張圖片,依據自動分析方法所述,先用一階段模型檢測獲得的卡車目標框（共檢測出254輛卡車,準確率100%；但有4輛車未檢測到,召回率98.5%,基本滿足實際檢測需求）；根據卡車檢測結果,擴大卡車目標框范圍至2倍得到潛在碰撞緩沖區子圖；進而,針對每一張緩沖區子圖使用二階段模型檢測其中的工人目標；最后,然后利用式(1)計算各個工人目標的空間相關性并根據空間相關性大小確定工人的碰撞危險等級。圖8給出了工人-卡車碰撞危險自動分析方法的一個示例過程。

圖8 工人-卡車碰撞危險自動分析示例

衡量目標檢測的有效性采用了準確率和召回率[12]兩個指標,計算公式如下：

式中：A為準確率；R為召回率；NTP為檢測結果為正值的正樣本數量；NFP為檢測結果為正值的負樣本數量；NFN為檢測結果為負值的正樣本數量。

實驗統計了人車碰撞危險自動分析方法對200張測試集圖片的分析結果,如表1所示。從結果可以看出,工人危險等級的識別較好,準確率和召回率都在90%以上,但是高危等級的準確率偏低,主要原因是因為2維圖像中目標框較近時,空間相關性難以準確反應物體間的三維位置關系。

表1 有碰撞危險的工人檢測結果

2.2 實驗結果討論

2.2.1 潛在碰撞緩沖區倍數k的驗證

為了驗證潛在碰撞緩沖區倍數k值的適用性,根據第一階段模型的檢測得到的目標框,選取不同的k值,分別計算潛在緩沖區的大小,然后統計緩沖區中有碰撞危險（危險、高危等級）的和安全的工人數量,結果如表2所示。

表2 不同k值下緩沖區中工人狀態

從表2可以看出,隨著k值得增加,車輛緩沖區范圍擴大,有碰撞危險的工人人數逐漸增加。當k大于2時,有碰撞危險的工人人數不再增加,表明此時潛在碰撞緩沖區范圍已經可以將碰撞危險等級為危險、高危的工人全部包括在內。同時,減少緩沖區子圖的尺寸有助于減少工人目標檢測的計算量,進而可以降低檢測難度。

2.2.2 與傳統方法檢測結果的對比

本研究也采用了傳統方法進行了人-車碰撞危險自動分析實驗。與本研究提出的方法相比,傳統分析方法同時檢測卡車和人兩類目標,即使工人在離卡車很遠的安全位置。傳統Faster R-CNN檢測結果如表3所示。

表3 傳統方法檢測結果

與傳統方法相比,本方法在自動檢測危險或高危狀態工人時,檢測的準確率有顯著提升,召回率提高更加明顯。主要原因是縮小了搜索工人（小目標）的范圍,提高工人目標的檢測效果。

3 結語

本文基于深度學習技術,通過分步檢測搜索卡車潛在碰撞緩沖區,由此縮小了檢測工人目標的范圍,提高了檢測準確率。同時,根據工人和車輛的檢測結果建立了碰撞危險等級與空間相關性之間的隸屬度函數關系,將目標檢測結果量化從而實現施工現場人車碰撞危險的自動分析。未來將嘗試根據二維圖像反推車輛和工人的三維包絡盒,以期更準確地獲得兩者之間的空間關系。