繼保壓板狀態圖像識別嵌入式方案設計與應用

李新海，范德和，孟晨旭，曾令誠，袁拓來

（廣東電網有限責任公司中山供電局，廣東 中山 528401）

變電站內繼保室壓板數量巨大，傳統壓板巡檢核對方法分為人工巡視核對和軌道機器人巡檢核對。由于壓板數量巨大，操作現場人工逐一核對工作效率低下；而指定軌道行駛的機器人巡檢則會受到玻璃門反光、異物阻擋、角度盲區等影響，產生壓板無法正確識別的困擾；此外，目前使用的壓板圖像識別方法需龐大的后臺計算架構，巡檢人員無法在操作現場即刻獲取核對信息，極大影響了工作效率[1-4]。

針對上述問題，本文提出了一種基于嵌入式的手持終端解決方案，該終端采用柯達PixPro SL10微型智能高清相機，實現了對壓板屏柜多角度拍攝，有效地解決了由于玻璃門反光、異物阻擋、角度等妨礙拍攝的問題；此外，本文提出了一種基于嵌入式及只需要瀏覽一次就可以識別出圖中物體的類別和位置的YOLO Nano 算法的繼保壓板狀態現場識別方法，并選用六核Cortex-A系列高性能計算核心和專用視覺識別模塊Mali-T860作為硬件平臺，通過讀取預存在終端上的調度壓板方式表進行壓板核對，避免了龐大的后臺架構，實現了操作現場對壓板狀態批量識別與核對，解決了操作現場人工逐一核對工作效率低下的問題[5-11]。

將本文所提方法用于某220 kV 變電站繼保室（300 面屏柜，7 088 塊壓板）進行繼保壓板狀態現場核查，設備性能和算法效率均達100%，壓板識別準確率達到100%。所提方法擺脫了巡檢機器人受到玻璃門反光、異物阻擋、角度盲區等限制而對壓板無法正確識別的困擾，提高了工作效率和壓板狀態的識別與核對的準確率，避免了人為錯誤，易于推廣使用。

1 研究思路

為了實現繼保壓板操作現場的投退狀態識別與核對，本文提出了一種基于嵌入式的手持終端解決方案，研制了基于先進的精簡指令集微處理器（advanced reduced instruction set computer machine，ARM）嵌入式硬件平臺的手持終端、設計了適合本研究硬件平臺的YOLO Nano算法模型，設計開發了手持終端應用軟件。該方案包括手持終端硬件平臺和固件程序軟件兩部分，如圖1所示。

圖1 繼保壓板狀態識別系統總體結構Fig.1 Overall structure of the relay platen status recognition system

嵌入式硬件平臺核心為圖像識別嵌入式單元，由圖像采集模塊、圖形處理模塊、人工智能（artifical intelligence，AI）計算模塊和顯示模塊組成。

本研究利用YOLO Nano 網絡的特點，設計了基于YOLO 的基礎網絡模型，通過與嵌入式設備結合的方式對網絡進行訓練和調整，最終獲得適合本研究提出的硬件平臺運行的識別模型。并根據變電站壓板核對業務流程設計開發了基于ARM 嵌入式終端的軟件，該軟件利用YOLO Nano識別模型對拍攝的壓板照片進行識別，獲得現場屏柜壓板開合狀態。

操作現場壓板識別核對流程如圖2所示。壓板狀態巡檢識別流程如下：

圖2 壓板狀態識別核對流程Fig.2 Platen status recognition verification process

1）使用圖像采集模塊對壓板屏柜進行拍攝，采集壓板圖像；

2）圖像采集模塊通過Wi-Fi 接口將圖像傳送到手持終端進行存儲；

3）基于計算機視覺和YOLO Nano 目標識別算法，利用圖形處理模塊及AI計算模塊硬件資源對壓板圖像進行處理和識別；

4）通過顯示模塊顯示識別結果和核對報告；

5）通過Wi-Fi 網絡、通用串行總線USB 接口將數據傳輸至服務器保存。

2 壓板狀態現場識別與核對手持終端結構

繼保壓板狀態現場識別嵌入式手持終端核心為圖像識別嵌入式單元，由圖像采集模塊、圖形處理模塊、AI 計算模塊和顯示模塊組成，如圖3所示。

圖3 繼保壓板狀態識別手持終端硬件結構Fig.3 Relay platen status recognition handheld terminal hardware structure

2.1 圖像采集模塊

圖像采集模塊包含了可10倍變焦鏡頭，焦距涵蓋廣角到遠焦視角范圍，焦距為28～280 mm，相當于35 mm等焦距。模塊最大優點如下：1）該模塊可與手持終端主機分拆；2）該模塊為一款微型智能相機；3）可實現高清拍照；4）可應用于多種便攜式設備；5）攜帶方便。該模塊集成一個16.35 MP 1/2.3英寸BSI CMOS傳感器，實現了高分辨率拍攝、增強了低光性能和質量，達到ISO3200敏感度。

模塊具備光學圖像穩定性，可最大限度地減少相機晃動，從而提供更清晰的照片。模塊利用內置Wi-Fi 連接，利用近場通信（near field communication，NFC）對設備進行配對，核心主機可對其進行設置控制和拍攝，通過Wi-Fi 將照片傳輸至手持終端主機上。

2.2 存儲模塊

由于拍攝照片為高清圖片，照片文件比較大，且需要快速讀取。為了保證系統運行效率和傳輸效率，存儲模塊采用高速嵌入式多媒體卡作為存儲介質，容量128 GB 以上。同時，支持微型安全數字記憶卡（micro secure digital memory card，MicroSD Card）擴展和外圍互聯部件擴展（peripheral component interconnect express，PCIE）接口的固態硬盤擴展。解決了系統存儲空間不足的問題，實現存儲空間的靈活擴展。

2.3 圖形處理AI計算模塊

圖形處理AI 計算模塊采用服務器級雙核Cortex-A72+四核Cortex-A53 的大小核構架，結合四核ARM Mali-T860 MP4 GPU 實現對拍攝的圖像處理、卷積計算、目標識別和各模塊數據交互功能。由于Mali-T860 采用了基于128 bit向量的Midgard 架構，在應用于圖像卷積計算時，效率比六核big.LITTLE 的CPU 快2～4 倍。采用的六核Cortex架構，具備更高的接口標準、更快的傳輸速度，為終端提供了更快的計算速度和更好的視覺效果。

2.4 顯示模塊

顯示模塊的核心為高清電容觸控屏。顯示模塊支持HDMI2.0，DP1.2，MIPI-DSI 和eDP 等高性能顯示接口，具備強大的顯示擴展能力。

2.5 通信模塊

通信模塊支持的接口有：Wi-Fi（2.3 GHz/5 GHz），BT4.1，千兆以太網和USB3.0。通信接口的傳輸速率可達5 Gbps。

手持終端拍攝的繼電保護壓板圖片、壓板狀態識別結果和核對結果，可通過使用任意一種通信接口上傳至服務器主站，由服務器主站對上傳信息進行存儲和歸檔。同時，服務器主站可把關系數據信息及算法模型下發到手持終端。

3 壓板狀態現場識別與核對嵌入式軟件設計

本文所提系統固件程序包括操作系統和壓板狀態識別軟件兩部分。操作系統固件包括顯示驅動、Wi-Fi驅動、藍牙驅動、USB驅動和操作系統移植模塊。壓板狀態識別軟件包括壓板臺賬信息管理、壓板圖像采集、壓板狀態圖像識別、壓板識別核對報告和異常信息模塊。固件程序結構如圖4所示。

圖4 固件程序結構Fig.4 Firmware program structure

3.1 嵌入式Linux操作系統固件

嵌入式操作系統負責嵌入式系統軟件和硬件資源的分配、任務調度與控制、協調并發活動。系統由底層驅動程序、系統內核、設備驅動程序、通信協議等組成。嵌入式Linux 操作系統的特點是內核小、專用性強、系統指令簡單、具備較高實時性，是一個多任務的操作系統。

系統移植需要針對特定設備通過交叉編譯的方式，才能移植到硬件主板上。系統移植方法有三種，分別是uboot，bootloader和kernel方法，本文所述的RK3399 硬件平臺系統移植采用uboot方式，使用交叉編譯方式編譯嵌入式Linux 系統，并將系統進行鏡像封裝，通過uboot 移植工具，將系統鏡像寫入RK3399硬件平臺。

顯示驅動用于驅動高分辨率有電激光顯示屏（organic light emitting diode，OLED）顯示和觸摸功能。Wi-Fi驅動和藍牙驅動用于驅動Wi-Fi和藍牙設備，實現圖像采集模塊進行數據傳輸通信。USB驅動用于驅動與第三方平臺的數據傳輸通信。

3.2 壓板狀態識別軟件

壓板狀態識別軟件實現了基于YOLO Nano算法的嵌入式固化與相關信息的管理，提供友好圖像界面，方便用戶操作使用，軟件使用Java 平臺搭建和開發。軟件功能模塊包括：壓板圖像采集模塊、壓板臺賬信息管理模塊、壓板狀態圖像識別模塊、壓板識別核對報告模塊和異常信息模塊。

壓板臺賬信息管理模塊用于管理設置手持終端上存儲的主控室壓板臺賬信息，可查看主控室各屏柜臺賬信息和壓板狀態原始狀態信息。

壓板圖像采集模塊通過控制圖像采集模塊對壓板屏柜進行拍照，獲取壓板狀態照片，并對照片進行存儲管理。

壓板狀態圖像識別模塊通過使用TensorRT平臺搭建YOLO Nano 網絡模型，并對模型進行訓練，移植至嵌入式平臺，本模塊通過調用算法對存儲在設備上的壓板照片進行圖像識別，得到各壓板開合狀態信息。

壓板識別核對報告模塊對壓板狀態圖像識別結果進行整合，形成易于理解和直觀的壓板識別核對報告。

異常信息模塊顯示壓板圖像識別后存在異常的壓板名稱信息。

4 繼保壓板狀態現場識別YOLO Nano算法

由于嵌入式設備計算資源的局限性，為了最大程度發揮圖像識別算法的效能，要求部署在嵌入式設備上的算法須具備準確率高、實時性好、開發難度低、網絡模型小、占用內存低等特點。目前已有的目標檢測網絡，如單次檢測器算法（single shot multibox detector，SSD）、掩膜基于區域的卷積神經網絡（mask region based convolutional neural networks，Mask R-CNN）由于受到嵌入式設備計算和內存的限制，無法在嵌入式設備上發揮其應用的性能[12-14]。

YOLO Nano 網絡以單階段目標檢測網絡架構作為原型，將原型和機器驅動的設計探索策略相結合，創建一個簡單緊湊的網絡結構，其最大的特點就是該網絡針對嵌入式和邊緣設備而設計。該網絡基于YOLO 系列設計，繼承了YOLO算法優秀的目標檢測性能，網絡模型比Tiny YOLOv3 小8.3 倍，運行速度比SSD 和Retina Net分別提高了3 倍和3.8 倍，支持在嵌入式圖形處理器（graphics processing unit，GPU）上實現目標檢測[15-17]。

YOLO Nano 通過利用一種人機協助的設計策略來設計一種深度卷積神經網絡，該網絡高度緊湊。YOLO Nano 網絡屬于一種針對嵌入式設備高度定制化的網絡，其創建過程包含兩個步驟：1）基于YOLO系列網絡創建原型網絡；2）根據原型網絡通過機器驅動探索策略獲得最終網絡。

基于原型網絡創建，原型網絡（記為φ）由特征表示模塊堆棧組成，模塊之間的快捷連接與YOLOv3 一樣。特征表示模塊類似金字塔網絡，使得網絡能在三個不同維度上表示特征。通過在特征模塊之后增加卷積層輸出bounding box 的三維張量，以及三個不同尺寸大小的分類預測，實現了高效和多尺度的目標檢測。

機器驅動探索階段設計網絡，以原型網絡、數據及嵌入式設備需求為指導，通過利用機器驅動探索策略確定YOLO Nano 的宏觀架構和微觀架構，最終獲得YOLO Nano 網絡結構。該階段定義網絡生成器g，通過給定的種子集合S，生成函數u的網絡{Ns}，該網絡滿足了指標函數lr(·)的定義和約束要求，其表達式如下式所示：

通過迭代優化算法求近似解，而g0由φ，u和lr(·)作為引導，在lr(·)的約束下逐步更新，獲得一個連續的gk，如(g1,g2,g3,…,gk,…)，利用最終的近似值g?創建YOLO Nano網絡。

網絡結構如圖5所示。它由殘差投影-擴展-投影（projection-expansion-projection，PEP）宏體系結構的模塊，以及擴展-投影（expansion-projection，EP）宏體系結構組成。殘差PEP 宏架構包括：1）第1 層為1×1 卷積構成的投影層，將輸出通道映射為一個維度較低的向量；2）第2 層為1×1 卷積構成的拓展層，將通道數增大為較高的維度；3）第3 層為3×3 的深度卷積層，對拓展層的每一個輸出通道用不同的濾波器進行空間卷積；4）第4 層為1×1 卷積構成的投影層，將輸出通道映射為一個較低維度的輸出向量。殘差PEP 結構極大地降低了計算復雜度和模型復雜度，并且保留了模型的預測能力。其中全連接注意力層（fullyconnected attention，FCA）由兩個全連接層構成，學習各通道間動態的、非線性的相互依賴關系，通過channel-wise 相乘來產生各通道的權重。

圖5 YOLO Nano網絡結構Fig.5 YOLO Nano network structure

5 系統實現

5.1 系統硬件平臺實現

根據本文所述方案，采用瑞芯微的RK3399作為核心模塊，搭載基于ARM 的Linux 操作系統，設計和研制用于繼保壓板狀態識別手持終端。手持終端硬件核心板大小尺寸為124 mm×93 mm，符合嵌入式手持終端便攜的設計要求。

手持終端外殼設計為可手持和掛帶相結合，手持終端在兩個側面分別設計了圖像采集模塊安裝卡扣，使得智能相機鏡頭通過自帶的卡扣可安裝于手持終端主機上，實現使用的多樣化，外殼采用3D打印，實現效果圖如圖6所示。

5.2 系統軟件及算法實現

壓板狀態識別軟件基于Java 平臺搭建和開發。在上位機通過使用TensorRT 框架搭建適合嵌入式設備的YOLO Nano 網絡，使用標注好的數據集對網絡進行訓練，得到預測模型和參數，模型和參數嵌入識別軟件中。通過軟件安裝部署到嵌入式手持終端中，在使用過程中調用算法模型對壓板圖像進行識別，軟件部分功能實現效果如圖7所示。

圖7 壓板狀態識別軟件實現Fig.7 Platen status recognition software implementation

6 試驗結果分析

本文對基于嵌入式及YOLO Nano 算法的繼保壓板狀態現場識別系統進行了驗證，使用測試圖像數據集進行網絡模型的識別測試。繼電保護壓板狀態識別效果如圖8所示。

在某220 kV 變電站主控室，使用本文所提出的系統在操作現場進行繼保壓板圖像識別與核對試驗，試驗結果如表1所示。

表1 手持終端壓板圖像識別試驗分析表Tab.1 Handheld terminal platen image recognition test analysis table

由試驗結果分析可得，在嵌入式手持終端中使用YOLO Nano 算法對壓板狀態進行拍照識別，壓板識別準確率達到100%。

7 結論

繼保壓板核查存在人為影響因素多、核對系統推廣困難和圖像識別準確率不高的問題，本文通過研制嵌入式手持終端，并將YOLO Nano 網絡模型固化在手持終端中，實現了繼保壓板狀態的現場識別和核對。

1）研制了嵌入式手持終端，解決了現場核查壓板狀態方便性的問題。

2）解決了目前變電站圖像識別應用中必須依賴后臺服務器識別的問題，現場核查人員通過使用手持終端對壓板屏柜進行拍攝，即可及時獲得壓板識別和核對結果。

3）創新性地使用具備神經網絡加速功能的嵌入式裝置，實現YOLO Nano 模型的固化，并應用于繼保壓板狀態現場核對。

4）通過現場應用試驗證明本文所提出的方法對繼保壓板狀態識別的準確率達100%，可有效解決人工核對壓板狀態效率低的問題，具備較強的實用性和較高的推廣價值。