一種應用于變電站場景下的誤入間隔行為檢測技術

劉云厚，呂強，張艷杰

（國網技術學院，山東 濟南 250002）

針對變電運檢工作中人工智能安全防控的需求，基于深度學習技術，研究適應變電站安防場景工作人員多攝像頭目標檢測定位、目標跟蹤、目標識別的機器視覺算法，形成變電站場景的低功耗、輕量化機器視覺監視方案[1-2]。研制變電站場景中對安全工器具、人員操作行為等目標進行跟蹤識別的在線機器識別的智能穿戴設備及后臺安防分析系統，通過智能穿戴設備對變電站現場操作跟蹤識別，具備變電站現場操作跟蹤識別、安全預警與評價考核功能，達到變電站安全監護目標[3-5]。

1 違規場景描述與整體方案

變電運檢工作中違規場景主要包括：①通用場景下的通用違規動作識別，如未按規定穿戴絕緣手套、未按規定佩戴安全帽；②結合特定復雜業務場景下，如誤入間隔，完成指定動作的識別（500 ms 以內）。

系統主要技術流程如圖1 所示。

圖1 變電站違規技術檢測技術路線圖

本文重點研究誤入間隔行為檢測。誤入間隔行為檢測技術的關鍵在于將數據操作票系統與間隔銘牌識別功能相結合。根據當前間隔銘牌的識別結果與操作票系統需要的正確間隔比對，進行誤入間隔行為的判定。

2 誤入間隔檢測方法

2.1 操作票管理終端與操作票信息同步

由于變電站內部通信機制的特點，站內固定攝像頭無法與具體的操作票結合，為了與業務場景更加緊密結合，需要將操作票接入到整個系統中。通過預留接入生產管理系統（PMS）操作票的接口，實現操作票的下發，在操作票終端中集成誤入間隔檢測識別算法，進行綜合判定。

圖2 為操作票任務示意，其中 “220 kV 出線Ⅰ”表示正確操作間隔。實時識別部分的關鍵在于銘牌文字識別算法。

圖2 操作票任務示意圖

2.2 銘牌文字識別算法

銘牌的文字識別將分為2 個步驟完成：①采用單目標多框檢測（SSD）算法將銘牌區域進行識別；②在銘牌區域內完成文字的識別。

與通用的光學字符識別（OCR）相比，本文OCR的主要特點在于：①銘牌在視野范圍內存在一定的變形；②需要考慮不同的反光情況；③銘牌數據中存在區分較為困難的字符，如1、l（字母L 的小寫）、Ⅰ（羅馬字母1）等。銘牌文字示意如圖3 所示。

圖3 銘牌文字示意圖

本文采用的算法為：①針對所有可能在銘牌上出現的文字內容和字體規范，生成500 000～800 000 行的訓練數據，同步加入畸變、噪聲，形成符合實際情況的訓練樣本。②采用卷積循環神經網絡（CRNN）為OCR 任務的骨干網絡。OCR 的任務具有圖像中目標識別和不定長的文字識別兩大特點。傳統圖像目標識別一般采用卷積神經網絡（CNN）方法，而文字識別一般采用循環神經網絡（RNN）任務。結合了這2 種方法的優點，即采用CRNN 的方法。在CRNN 的底部，卷積層自動從每幅輸入圖像中提取一個特征序列。在卷積網絡之上，構建一個遞歸層，對卷積層輸出的每一幀特征序列進行預測。在頂部的轉錄層，將遞歸層每幀的預測轉換成標簽序列。③訓練數據特點與數據增廣。

訓練數據樣例如圖4 所示。

圖4 訓練數據樣例

變電站的銘牌中大量存在1、Ⅰ、Ⅱ、Ⅲ這些易混淆的字符，為了提高Hard Samples 的正確率，采取以下3 種措施：①采用數據增廣辦法擴展數據，數據增廣是深度學習中常用的技巧之一，主要用于增加訓練數據集，讓數據集盡可能多樣化，使得訓練的模型具有更強的泛化能力；②在數據增廣過程中，重點關注1、Ⅰ、Ⅱ、Ⅲ這些易混淆的字符；③在模型的訓練中，引入困難樣本挖掘機制Hard Example Mining，對于模型一直學不會的樣本，將其扔進網絡再繼續訓練，從而加強分類器的判別能力。

2.3 銘牌文字識別結果

根據上文的算法設計了試驗，以視頻為基礎數據，需要錄制約20 h 的原始有效視頻數據，篩選出20 萬～30 萬張工作場景數據，然后采用數據標注平臺進行標注，采用其中1/2 的數據用于訓練，剩余數據用于測試。銘牌文字識別結果如圖5 所示。

圖5 銘牌文字識別結果

算法統計結果如下。

測試條件：標準測試集上的字符識別率為99%；單次識別時間不超過100 ms；測試集樣本數大于等于10 000，待識別目標有效像素數不小于8 000。

測試結論：測試樣本數2 萬，正確識別數為19 900 個，識別準確率為99.9%。

3 端側算法性能優化

根據行業實時計算標準，端側算法性能超過10 fps（單幀運算時間不超過100 ms）可以認為是實時計算，本研究采用驍龍865 平臺。

深度神經網絡（DNN）已成為當今機器智能的關鍵推動因素。近年來，DNN 系統的一個趨勢是將預測管道從云數據中心轉移到終端設備（例如智能手機、可穿戴設備、物聯網等）。通過在終端設備上部署DNN，可以更好地保護用戶數據隱私以及降低不必要的網絡傳輸，甚至在無公用網絡的情況下仍然可以實現機器學習算法。完成設備上DNN 的關鍵部分是推斷性能（延遲和吞吐量），給定大多數設備的硬件資源受到嚴格限制。這樣的任務不能部署到云/邊緣服務器，因為超低延遲要求以及潛在的電磁干擾，均由于低延遲要求和數據隱私問題無法利用遠程服務器的計算資源。在通常情況下，較寬較深較大的模型往往比較窄較淺較小的模型精度要高，但是較寬較深較大的模型對計算資源要求更高，而現在模型應用越來越傾向于從云端部署到邊緣側，受限于邊緣側設備的計算資源，不得不考慮設備存儲空間（Storage）、設備內存大?。∕emory）、設備運行功耗（Power）及時延性（Latency）等問題，特別是在移動終端和嵌入式設備等資源受限的邊緣側應用場景中更加需要進行優化。因此，模型量化應運而生[6-7]。

本文考慮在端側直接將算法進行優化和部署。模型量化即以較低的推理精度損失將連續取值（或者大量可能的離散取值）的浮點型模型權重或流經模型的張量數據定點近似（通常為int8）為有限多個（或較少的）離散值的過程，其是以更少位數的數據類型用于近似表示32 位有限范圍浮點型數據的過程，而模型的輸入輸出依然是浮點型，從而達到減少模型尺寸大小、減少模型內存消耗及加快模型推理速度等目標。

在Android 操作系統上實施了本文算法端到端的算法量化。支持設備上CPU、GPU 和DSP 推理的運行時，考慮到移動CPU 包含大小核心問題，使用POSⅠX APⅠ在大核心上運行推理。此外，考慮到許多DNN 推理任務異步運行，所以建立一個Thread Pool 和一個Ⅰnference Finish Listener 來控制推理執行作為策略順序。系統有3 個DNN 級聯，涉及6 個不同的子模型、2 個變電站實際工作中的視頻流和2 個終端設備。系統算法運行的工作流圖如圖6 所示。

圖6 算法運行的工作流圖

算法優化結果如表1 所示。對照實時計算的要求，單幀運算時間沒有超過100 ms，滿足實時運行的基本條件。

表1 算法單幀性能優化結果

4 結論

本文分析了變電運檢工作中人工智能安全防控的需求，深入研究了誤入識別間隔的系統結構與算法實現，在移動端側計算芯片上實現了算法的實時計算。這將為變電站實時行為檢測打下堅實的基礎，具有繼續深入研究的價值。