施工空間沖突事故險兆特征智能檢測方法*

李文濤,韓 豫,2,楊 林,李 康

(1.江蘇大學 土木工程與力學學院,江蘇 鎮江 212013;2.江蘇大學 應急管理學院,江蘇 鎮江 212013)

0 引言

隨著我國建筑業規模不斷擴大,施工現場所涉及的人員及機械種類日益繁多。同時,由于建筑施工特有的“空間交叉性”,同一空間內可能存在多任務并行推進的情況。致使現場施工要素排布混亂影響效率進度,甚至于誘發諸如機械摩擦、人機碰撞等空間沖突事故[1],造成經濟損失的同時對人員安全也帶來巨大隱患[2]。

目前,針對空間沖突事故的常規監管手段大多依靠人工,受監管人員主觀性干擾及視線盲區等因素影響,無法對場景內各空間危險源及影響對象實現全面有效的管理。為填補上述短板,相關研究從不同技術路徑進行了探索。例如,通過4D仿真技術量化空間資源指標,對施工現場空間沖突科學分析,并優化場地資源配置方案[3-5]。射頻識別(RFID)、全球定位系統(GPS)和超寬帶(UWB)等傳感技術也被用于實現工程場景目標空間信息感知,從而降低空間安全事故比例[6-8]。但受限于技術使用成本及工況隨機性等,空間安全問題依舊無法徹底解決。

與此同時,人工智能及計算機視覺相關技術的迭代升級,為我們提供1種從視覺層面提取并分析空間尺度信息,從而解決施工空間安全問題的可能性。例如,結合圖像雙目視差及目標檢測結果,獲取圖像三維坐標信息,以實現目標的雙目定位與監測[9];1種基于Faster R-CNN框架的空間監控方法被用來對電網設施周邊工程車輛進行識別定位,以降低設施損傷概率[10]。另有學者結合目標檢測及坐標變換,對人員進入吊車危險區域行為進行監測并及時做出預警,以降低有關事故發生概率[11]。

研究發現:“人-物-環-管”多因素共同構成險兆事件致因鏈條[12]。而現有方法卻將施工空間沖突問題局限于單一的“距離”指標,對上述幾類險兆要素在空間類事故中的影響缺乏深入理解。針對現有施工空間安全評估手段的短板及實際使用場景需求,本文以土方作業場景為例,對施工空間沖突險兆特征展開研究?？紤]事故險兆要素的特性,提出1種綜合性檢測方法,對不同狀態下的人員、設備進行差異區分,并通過圖像矯正及變換手段獲得圖像目標在現實場景中的空間信息。最終依托多類空間險兆特征信息實現更為科學的空間監管,進一步提升建筑業生產效率及施工安全系數。

1 方案設計

以土方作業場景為例,對空間沖突相關事故案例分析,發現事故主要原因分為2點:1)安全裝備缺失的人員侵入處于工作中的工程機械作業范圍;2)機械設備作業空間重疊。結合險兆致因鏈對該場景空間沖突事故險兆特征展開討論,其特征體現為工人安全裝備缺失、機械設備活動作業、各施工對象間過近的空間距離?；诖?本文將人員裝備特征、設備運動狀態、空間距離同步納入空間安全評價指標中,實現更全面的空間安全監管,方案整體設計如圖1所示。

圖1 方案整體設計流程Fig.1 Overall design process of scheme

1.1 目標檢測算法設計

目標檢測作為整個險兆特征識別任務的基礎,其目的在于及時發現空間沖突事故的潛在危險對象。根據任務需求,對相關檢測算法進行比選優化。

1)基礎算法選擇

由于施工現場情況復雜多變,各施工要素流動性大,空間排布相對局促。檢測設備與支撐算法需綜合考慮目標動態差異特征及檢測空間視角等問題。經比選,以YOLOv7作為目標檢測基礎算法。

YOLOv7算法由主干特征提取網絡(BackBone)、特征融合網絡(FPN)以及預測端部(Yolo Head)組成。相較于早期YOLO版本創新性地在特征提取部分融入多分支堆疊模塊,其內部殘差塊使用條約連接緩解增加神經網絡帶來的梯度消失問題;同時引入過渡模塊Transition_Block,使用Maxpooling和步長為2×2的特征并行進行下采樣[13]。

2)算法優化改進

算法優化的核心思想是保證網絡檢測準確率的前提下實現模型輕量化,并降低輕量化對小目標特征信息感知能力帶來的影響。將主干特征提取網絡替換為MobileOne[14],在深度可分離卷積及重參數化over-parameterization分支體系下減少參數量的同時優化模型縮放策略,實現模型輕量化。同時,在特征融合網絡中加入SPD-Conv卷積構建塊,其中SPD層在保留通道維度信息的情況下對特征映射進行下采樣,避免信息丟失;并在層后添加無步長卷積,以配置可學習參數以降低通道數,減少細粒度信息丟失以及學習特征不足造成的細小目標漏檢。比例因子為2時SPD-Conv示意圖如圖2所示。最后在檢測頭嵌入SimAM無參數注意力機制,抑制檢測圖像中復雜環境背景對人員安全裝備目標的次要干擾因素,在不增加額外參數的前提下保證算法檢測精度。改進后的YOLOv7網絡結構如圖3所示。

1.2 目標運動屬性識別設計

施工場景空間沖突事故大多發生于各施工要素并行作業階段,其中靜止狀態下的施工要素無法構成事故致因鏈中的有效一環。鑒于此,將機械設備運動狀態定義為空間險兆特征并進行識別。

運動目標檢測主要通過圖像分割手段,在連續圖像序列中提取運動目標特征,尋找序列差異。常規方法如連續幀間差分法、光流法等,對圖像中目標前景與背景像素灰度、相機位置變化有一定要求,且處理過程相對復雜,不適用于本文任務。

而在檢測過程中,目標經過錨框與人工標注真實框的誤差計量與補償,將最終輸出目標預測框(predication box)[15],并以文本形式輸出像素坐標結果?；诖?本文提出1種能夠有效利用視覺檢測信息,實現目標運動狀態快速、有效識別的方法。方法主要依托對視頻流檢測過程中輸出的預測框角點坐標數組,進行誤差優化得到目標權重點幀間差值實現判別。具體判別方法如圖4所示。

圖4 預測框運動屬性判別方法示意Fig.4 Schematic diagram for identification method of prediction frame motion attribute

檢測過程獲取目標預測框角點坐標數組(XLα,YLα)、(XRα,YRα),得到其預測框中心點Hα,如式(1)所示:

(1)

式中:α為平均間隔時間,s,α=1～n。

為降低由圖像延遲或掉幀等引起預測框誤差,對所得中心點再次聚類取值,獲得修正后的加權中心點Mβ,如式(2)所示:

(2)

式中:Mβ為Hα與Hα+1的加權中心點,β=1～n-1。

設定相鄰加權中心點差異閾值Δd,如公式(3)所示,以此對機械運動狀態進行識別。

(3)

式中:Δd為相鄰加權中心點差異閾值,dpi(像素單位);靜止狀態0≦Δd≦10;運動狀態Δd>10。

1.3 空間定位方法設計

平面圖像由于視角差可能發生畸變失真,無法準確獲取深度空間信息。本文提出1種方法,通過靶標對圖像進行矯正,將真實世界空間信息降維,依托二維平面圖像比例關系實現對檢測對象空間距離的測算。不同于常規視覺測距方法強調對圖像第三維度深度信息進行仿真與還原,該方法直接通過現實空間信息已知的目標,建立圖像與現實空間的單應性轉換關系,從而直接獲取施工場景內各施工要素平面空間距離信息,更加適用于本研究任務。

1.3.1 圖像矯正(透視變換)原理

透視變換的本質即將原圖像通過投影的手段,將其映射至新的承影平面上,遵循透視中心、像點、目標點三點共線原則,經變換后,原圖像與承影仍能維持“直線性”[16],通用變換公式如式(4)所示。

(4)

1.3.2 目標空間定位方法描述

圖像采集過程中,于場景內挖掘機車頂設置二維碼靶標,借助其角點進行圖像校準,擺脫二維圖像測距對深度信息的依賴。以此,通過視覺手段實現挖掘機環境距離險兆特征的提取。步驟如下:

1)對輸入的圖像進行邊緣提取。圖像噪聲可能導致相鄰像素間發生離散,使用高斯濾波器對圖像進行卷積獲得像素梯度,并通過矩陣保持像素間相似性并去除噪聲。采取非極大抑制排除低特征邊緣點,在滯后閾值再次篩選下提取二值邊緣圖像。

2)利用所得邊緣圖像,通過RANSAC算法[17]對直線擬合確定二維靶標外緣輪廓線。從圖像提取一組隨機樣本點,擬合出兩點連線對應方程,并對該直線外緣兩側設定門限記錄門限正負區間內的內點容積量,迭代4×102循環得出4組門限內點最多的方程,各方程間的同解即為圖像轉換靶標角點。

3)通過標靶四角點像素坐標,將靶標尺寸及像素信息映射在預設二維平面坐標體系下,該平面空間信息對應現實空間;由二維碼靶標在原始輪廓圖像中的角點像素坐標(U1-4,V1-4)以及矯正二維平面坐標體系中的角點坐標(X1-4,Y1-4)構建坐標變換單應性矩陣,實現原始圖像矯正,變換公式如式(5)所示:

(5)

聯立式(4),可推導如式(6)所示:

(6)

4)對矯正后的二維圖像進行現實距離比例換算,比例系數K,如式(7)所示:

(7)

式中:QRdistance為二維碼靶標邊長實際尺寸,mm;real(Row[2]-Row[1])為二維碼靶標邊長像素尺寸,dpi(像素單位)。

5)由目標檢測部分輸出目標識別框中心點之間的像素距離L0,乘以比例系數K,得到目標間的真實空間距離D,如式(8)所示:

(8)

式中:(Xp,Yp)為人員及卡車檢測框中心坐標;(XT,YT)為施工機械檢測框中心坐標。

2 模型訓練

2.1 圖像數據集構建

1)檢測類別劃分

首先明確場景內施工要素,包括人員、挖掘機、渣土裝載卡車。將挖掘機外部整體以及核心主體這兩類互為包含關系的目標拆分,分別應用于運動狀態屬性判別及空間定位方法。其次考慮現場工種繁雜及安全施工評價的必要性,對人員安全裝備特征進行更細致地分類,施工要素檢測類別如表1所示。

表1 施工要素檢測類別Table 1 Detection categories of construction elements

2)圖像采集與標注

本文采用無人機實地采集、仿真機械模型拍攝以及網絡檢索3類渠道獲取符合檢測需求的7 587張樣本圖像。使用labelimg標注工具對圖像目標進行標注,生成XML標注文件以構建PASCAL VOC數據集。訓練前,對輸入圖像使用Mosaic數據增強的方式,進一步提升魯棒性。

2.2 算法訓練與結果訓練

1)訓練結果驗證

模型訓練過程考慮訓練平臺性能設置批訓練大小為4,迭代世代(epoch)為150,input圖像尺寸為[640,640],初始學習率為0.001,權重衰減參數為0.000 5,并按9∶1比例劃分訓練集與驗證集。同時采用早停法監測訓練集損失值以防止訓練結果過擬合。使用合并分支重參數化預訓練權重進行遷移學習,訓練過程平均精度及損失曲線如圖5所示。

圖5 平均精度及損失值變化曲線Fig.5 Curves of average accuracy and loss change

2)評價指標

本文選用每秒識別圖像數量(FPS)、精確率(Precision)、召回率(Recall)以及平均精度mAP(正負樣本閾值取0.5),對識別速率及精度進行評估。計算公式如式(9)～(10)所示:

(9)

(10)

(11)

式中:TP表示將正類預測為正類數,即準確預測;FP表示將負類預測為正類,即錯誤預測;FN表示將正類預測為負類,即錯誤預測。

算法性能對比如表2所示,可知相較于原始YOLOv7網絡的“多分支堆疊+Transition_Block過渡”的主干結構,使用MobileOne替換后的算法在處理速度上有顯著提高,精確度小幅波動而召回率受影響較大發生不同程度地降低,可見主干輕量化提高了誤檢率。在融入SPD-Conv卷積及SimAM無參注意力機制后,相較于Yolov7雖然在mAP精度小幅下降2.79個百分點,但檢測速度大幅提升50%,有效保證檢測視頻的流暢度,降低運動狀態判別的誤差概率。其次,強化了網絡全局處理效率,確保復雜施工場景中對多個空間安全險兆目標的同步識別。最后,對各險兆目標更快速地識別為及時阻斷空間安全風險提供寶貴的窗口期,從而實現施工空間安全的有效監管。

表2 算法性能比對Table 2 Comparison of algorithm performance

3 測試方法應用

為評估該方法在實際工程場景的有效性,選擇某土方作業施工現場作為實地測試場景,于目標挖掘機駕駛艙頂部固定1 m×1 m二維標定碼,以無人機升至規定高度進行大角度俯拍對目標進行視頻采集。將獲得視頻信息以每30幀截取1張圖像數據,并進一步對圖像進行篩選同時劃分不同要素測試集。目標檢測測試結果通過各標簽類別AP值以及預測框運動狀態判別準確率判斷,目標測距測試結果通過實際距離與測算誤差百分比作為評價指標。

3.1 目標檢測與屬性判斷結果

測試按照施工要素繁簡程度劃分為單一少目標場景與復雜多目標場景,并在每類場景下選取多個施工場地分別進行驗證。其中,單一少目標場景一包含1部挖掘機和1位工人,場景內挖掘機處于相對靜止狀態;場景二包含1部挖掘機及1輛渣土裝載卡車,挖掘機處于正常運作中(包含運動、靜止狀態)。復雜多目標場景三與場景四涵蓋土方作業完整要素。按上述步驟從4個分場景各選取連續300張圖像輸入模型進行檢測并人工復核各類AP值。通過預測框加權差值識別法判別機械目標運動屬性,連續的3張圖像組成判別對照組,各分場景共獲得400組。經復核,反饋數據信息如表3～4所示。圖6為單一場景目標檢測示意,圖7為復雜場景目標檢測示意。

表3 單一目標檢測精度及屬性判別準確率Table 3 Single target detection accuracy and attribute discrimination accuracy

表4 復雜目標檢測精度及屬性判別準確率Table 4 Complex target detection accuracy and attribute discrimination accuracy

圖6 單一場景目標檢測示意Fig.6 Example diagram of single scene target detection

圖7 復雜場景目標檢測示意Fig.7 Example diagram of complex scene target detection

3.2 目標測距結果

針對測距精度的關鍵評價指標即測算距離與實際空間距離之間的誤差評估。依托trackit藍牙定位軟件,將藍牙信標布置于檢測對象,以此作為實際距離對照的替代方案,精度符合測試需求。為充分驗證測距方法在本文研究中的準確性,在4個場景中共選取21個目標樣本展開測距驗證,結果及誤差對比如表5所示。測距效果示意圖如圖8所示。

表5 目標測距結果及誤差對比Table 5 Target distance measurement results and error comparison

3.3 測試結果討論

基于以上結果,挖掘機、卡車、人員這3類目標達到較高識別精度,而場景中安全裝備特征的識別表現并未達到預期。經分析,原因主要為此類樣本尺寸過小,通過加入SPD-Conv卷積塊雖相對緩解了輕量化結構對檢測精度的負面影響,但圖像感知能力仍有缺陷。同時,在復雜目標場景中,由于物體遮擋及目標重疊等原因,易出現“漏檢”現象?；谝陨蠁栴},在后續方法的優化過程中,首先可在改進算法基礎上進一步對主干網絡額外加入小目標檢測層,作為提升細小特征檢測精度的嘗試;其次進一步擴充數據樣本,以提高檢測方法魯棒性。

4 結論

1)本文以目標檢測算法及圖像透視變換技術為基礎支撐,實現施工場景內的危險目標檢測、運動屬性判別及空間距離3類險兆特征識別。并以土方作業為例,通過訓練及評估,驗證方法的有效性。

2)本文提出的目標檢測算法對事故險兆目標識別精度達到95.0%,檢測速度提升至46.3 FPS,達到同級別較優水平。同時對目標運動屬性的判別精度達91%以上,滿足實際應用需求。對“距離”這一事故早期征兆,其精度保持在了92%～96%區間,相較于傳統人工目視估計,更為精準有效;而對比其他距離估計算法又更為便捷,有助于實際部署。

3)在后續研究中,可依據相關安全規范制定空間安全管控規則,將識別結果映射于規則中并細化危險評級,有助于對潛在空間沖突危險進行識別預警與前攝干預。未來,通過對目標類別進一步增容及相關場景的優化訓練,此套方法可由土方施工場景遷移至多行業領域,提高方法應用多樣性。