尺度和密度約束下基于YOLOv3的風電塔架遙感檢測方法

陳 靜，陳靜波，孟 瑜，鄧毓弸，節永師，張 懿

(1.中國科學院空天信息創新研究院，北京 100101；2.中國科學院大學電子電氣與通信工程學院，北京 101400)

0 引言

風能是清潔無公害的可再生能源，風電在我國整個電源結構中的比例日益增長，已成為我國第三大電源且正快速增長。截至2019年，我國風電累計裝機容量高達21 005萬kW，比2018年增長2 579萬kW，如何快速獲取風電場分布以支撐風電投資監測預警、占地檢測和清潔能源消納能力評價，是風電場監管中的重要業務問題。衛星遙感影像具有客觀準確、周期性重訪、覆蓋范圍廣等優點，隨著國產遙感衛星影像的空間分辨率不斷提高，利用國產衛星影像開展大區域內風電場分布及其變化情況快速監測，解決了人工實地勘測風電場分布難度大、耗時久和統計上報易引入人為誤差等問題，是一種高效可行的方法。

傳統顯著性檢測方法如基于先驗知識[1]，通過自定義濾波器抑制背景突出塔架及其陰影特征生成顯著圖，再采用K-means聚類來提取顯著性物體，在Google Earth影像中取得了較好的效果。但受圖像時相、光照、地表覆蓋等因素影響目標特征差異大，顯著圖存在目標區域邊界不清晰、目標姿態特征不完整等問題，導致大量目標漏檢。

深度學習算法通過將海量樣本的低維數字圖像矩陣映射為高維向量，開展自主特征學習，解決了傳統目標檢測算法特征人工構建、效果受限于影像等問題，在遙感目標檢測領域受到廣泛關注。如基于特征金字塔(feature pyramid networks，FPN)算法[2]在NWPU VHR-10數據集的船艦檢測；基于YOLOv3算法[3]針對小型建筑物進行檢測研究。具體到塔架檢測，基于優化Faster R-CNN算法[4]開展塔架檢測，較顯著性檢測方法精度有所提升，但仍存在顯著的漏檢和誤檢問題，其原因是Faster R-CNN對小目標提取精度較差，且只提取了塔架及陰影的個體特征，而未利用塔架密度分布的群體特征。

針對已有深度學習模型應用于塔架檢測中遇到的問題，設計了一種尺度和密度約束下基于YOLOv3的風電塔架遙感檢測方法。針對風電塔架排列特征特異性，提出新的降低誤檢率思路，有效解決遙感影像復雜地物中小目標漏檢、相似地物誤檢問題。

1 數據源

本文所用數據集為文獻[4]中建立的風電塔架數據集，該數據集選取我國甘肅、新疆和青海三省2013—2016年間的93景高分一號衛星影像，為體現樣本的多時相特征，每個區域至少具有2個月份的樣本特征體現。

基于該數據集對高分一號全色與多光譜的融合影像中的塔架進行解譯，共得到25 151個塔架，其數據集存儲格式為對應塔架及其陰影外接框的矢量。為了便于卷積神經網絡(convolutional neural network，CNN)模型訓練，將訓練集影像裁剪為小尺寸圖像塊輸入模型參與訓練，在裁剪過程中通過帶步長的重疊裁剪以增加訓練驗證集樣本數量。原始訓練集經過裁剪后，共得到包含44 434個塔架的24 249張416像素×416像素的訓練驗證影像。

2 研究方法

總體技術流程如圖1所示，在風電塔架遙感特征分析基礎上，利用目標尺度特征約束改進YOLOv3模型的錨框(anchor)尺寸和網絡深度，提高遙感影像復雜地物中塔架檢測精度；在密度特征約束下設計后處理算法，利用密度聚類算法剔除離散異常的檢測框，降低形狀特征相似地物導致的誤檢率。

圖1 總體技術流程Fig.1 Overall technical flow chart

2.1 風電塔架遙感特征分析

風電場構成分析用于確定解譯標識及地物特征；風電塔架尺度分析為模型改進提供了尺度約束。特征分析結果將為風電塔架檢測模型提供重要先驗知識。

2.1.1 風電場構成分析

典型風電場主要由風力發電塔架、集電線路、變電站等地物構成，其中集中分布、規則排列的風力發電塔架又由風輪、發電機和塔架3部分構成。若僅將風力發電塔架本身遙感特征作為訓練樣本則不滿足樣本特異性要求，導致深度學習模型難以收斂，預測中會造成大量誤檢，因此，遙感影像中風力發電塔架及其投影在地面上的陰影(以下合稱為“風電塔架”)，是風電場遙感解譯的主要標識。

風電場構成對風電塔架檢測的影響體現在相互矛盾的2方面：一方面，風電塔架數量多、分布集中，同一區域風電塔架特征相近、排列整齊且分布均勻，易于檢測；另一方面，一個風力發電系統中兩列高壓電塔架平行分布在風電塔架中，分布特征與風電塔架相似，且高壓電塔架與風電塔架在遙感影像上地物特征表現相近，如圖 2所示，均表現為強反射地物和低反射陰影，是造成深度學習算法誤檢的主要因素。

圖2 典型風電場構成Fig.2 Composition of typical wind farms

2.1.2 風電塔架尺度分析

深度學習目標檢測主流模型可分為One-Stage和Two-Stage 2類，One-Stage模型直接通過CNN對影像進行分類概率估計和檢測框定位；Two-Stage模型首先生成大量候選框，再將候選框區域影像輸入CNN進行分類概率估計。2類模型均依據先驗anchor尺寸確定初始預測框尺寸，合理的錨框尺寸設計可提高模型檢測精度、減少訓練時長。

但不同功率風電塔架尺寸差異、遙感衛星多角度成像特性、陰影長短隨時間變化等因素，導致風電塔架在同源影像上也表現出較大差異。圖3(a)—(c)分別為同一平原區域在高分一號2 m融合影像上5月、9月、11月的不同特征表現，風電塔架及陰影尺度變化顯著。

(a)5月 (b)9月 (c)11月

以MS COCO官方給出的尺度劃分為標準，對訓練集中風電塔架及其陰影的外接矩形進行統計分析，最小樣本框尺寸僅為7像素×16像素，屬于小目標，最大樣本框尺寸為90像素×216像素，屬于大目標。風電塔架樣本框尺寸范圍廣，屬于多尺度目標檢測問題，需基于尺度特征分析確定合適的anchor尺寸，避免檢測框尺寸不均衡造成的漏檢。

K-means聚類分析采用數據間距離度量數據與聚類中心的相似性，將相似度高的數據劃分為同一簇，然后重新計算聚類中心，直到聚類中心不再發生偏移，輸出聚類中心。K-means算法對處理大數據集有較高的計算效率，適用于風電塔架尺度分析。根據YOLOv3模型的anchor數量要求，對訓練集樣本標注框寬高(以像元為單位)進行K-means聚類分析，共生成9個聚類中心，分別為(22，34)，(35，50)，(31，68)，(34，89),(51，67)，(35，111)，(51，106)，(44，130)和(47，168)。

2.2 YOLOv3模型改進

相較于其他目標檢測模型，YOLOv3模型通過控制下采樣次數輸出3個不同大小的特征圖，實現對多尺度目標的預測，尤其對小目標檢測精度較高。于是本文在風電塔架樣本尺度約束下，開展針對性的YOLOv3模型改進，期望通過尺度約束提高模型對風電塔架的檢測精度。

2.2.1 特征網絡壓縮

Redmon等[5]提出的原生YOLOv3模型采用的特征提取網絡，如圖4(Darknet-53)所示，利用卷積下采樣替代池化以避免細粒度特征消失；并引進殘差網絡，在淺層網絡上增加一個恒等映射層，將函數學習轉為恒等映射的逼近，每層網絡在上層網絡特征的基礎上學習新的特征，而誤差不會增加，避免網絡加深造成的梯度消失。然而，Darknet-53網絡共有52個卷積操作，每次卷積運算通過3×3大小的卷積核對圖像像素矩陣進行運算，對樣本矩形框內圖像進行特征提取，但塔架本身為高反射地物，陰影為低反射地物，樣本內部特征存在較大差異，卷積操作過程中，部分陰影與遙感影像復雜背景特征更接近，過多的卷積操作導致陰影邊緣信息缺失，如圖5(b)和(e)所示，喪失陰影形狀特征，導致大量集電線路誤檢。針對以上問題，本文在保留特征提取網絡中殘差網絡、卷積下采樣基本架構基礎上，通過減少網絡深度(即“網絡壓縮”)避免由多層卷積運算造成的陰影邊緣特征滅失問題。壓縮后的特征網絡為28層網絡，具體結構如圖4的CFEN網絡層所示，同原始Darknet-53網絡一致，3，4，5次卷積下采樣分別輸出8倍(23)、16倍、32倍下采樣特征圖。隨著模型權重訓練，樣本特征逐漸與周圍地物區分，CFEN得到的特征圖相對位置與樣本形狀特征保存較完整，如圖5(c)和(f)所示。

圖4 特征提取網絡壓縮前后結構對比Fig.4 Comparison between compressed feature extraction network structure and original network structure

(a)影像1 (b)影像1Darknet-53特征圖 (c)影像1CFEN特征圖

2.2.2 錨框尺寸優化

特征提取網絡輸出的3種尺度特征圖，分別為13×13×1 024，26×26×512，52×52×256，對2.1.2節中樣本目標框長寬的K-means聚類結果分別除以8，16，32對應到3種尺度的特征圖上，anchor尺寸為(3.75，5.75)，(4.375，14.625)，(3.75，9)；(2.812 5，9.312 5)，(2.562 5，3.562 5)，(3.312 5，4.562 5)；(0.656 25，0.968 75)，(1.125，2.937 5)，(1.625，3.562 5)，分別為小中大尺度目標在對應特征圖上的初始尺寸。

2.3 模型訓練與預測

對特征圖進行卷積和上采樣操作，加載權重對輸出矩陣采取Logistic回歸模型計算分類概率，以給定anchor尺寸進行邊框調整，根據式(1)—(4)計算預測框坐標及寬高，輸出預測框位置、類別和預測概率，并計算loss函數回傳更新權重，公式為：

bx=σ(tx)+cx，

(1)

by=σ(ty)+cy，

(2)

bw=Pwetw，

(3)

bh=Pheth，

(4)

式中：cx，cy為目標距離左上角的邊距；Pw，Ph分別為邊界框的寬和高；tx，ty，tw，th分別為預測框在特征圖中左上角坐標和寬高；bx，by，bw，bh分別為預測框在影像中左上角坐標和寬高。

訓練結束后，為避免裁剪影像邊緣目標截斷造成的漏檢，加載權重在測試集上以步長200的滑動窗口對測試集進行風電塔架檢測，以非極大值抑制(non-maximum suppression，NMS)算法提取最優檢測框。

2.4 檢測結果后處理

改進后模型雖然減少了細粒度特征消失的問題，提高了檢測能力，但誤檢問題仍然存在?？紤]到誤檢地物主要是特征相似的高壓電塔架和地貌，其離散分布的空間特征與塔架集中分布有顯著差異，本文基于風電塔架的密度約束對模型檢測結果進行密度聚類，剔除虛警目標，降低誤檢率。

2.4.1 風電塔架密度分析

遙感影像易受傳感器本身、地球曲率等因素影響發生幾何變形，利用正射校正處理消除幾何變形后，等距分布的風電塔架受地面坡度的影響在正射校正影像中呈現不規律分布，如圖6所示。

圖6 山地風電塔架遙感影像正射校正過程示意圖Fig.6 Sketch map of orthorectification process of remote sensing image of wind turbines in mountainous area

對風電塔架的集中程度進行定量分析，如圖7所示，記相鄰兩列風電塔架的列間距為dy，同列風電塔架的行間距為dx，塔架風輪半徑為r，塔架風輪直徑d=2r，地面坡度為α，相鄰風電塔架連接線與水平面夾角為β(0≤β≤90°)；投影在正射校正影像后兩列風電塔架的列間距為y，同列風電塔架的行間距為x，則根據投影計算可得，公式為：

圖7 正射校正影像中風電塔架間距計算過程示意圖Fig.7 Schematic diagram of calculation process of wind power tower spacing based on orthorhombic remote sensing image

(5)

根據《風電場工程微觀選址技術規范》規定可知dy≥2dx≥6d，0≤α≤17°，0≤β≤90°，則x和y與塔架風輪直徑的關系為：

(6)

2.4.2 DBSCAN聚類

密度聚類是一種基于密度對樣本進行聚類的方法，DBSCAN聚類的優勢在于不需要指定聚類的數目，只需要指定直接密度可達數和鄰域半徑，算法會根據樣本分布情況自動劃分簇，并找出簇的中心點。

以頂點位置的風電塔架為圓心、最小列間距為半徑，根據x與y的倍數關系確定圓內包含風電塔架數目，確定最小樣本數量MinPts為3，即直接密度可達數為3；目前我國最大的風力發電機組葉片轉輪直徑(d)為175 m，高分一號全色遙感影像分辨率為2 m，則風電塔架最大行間距xmax為88像素，根據y取值范圍確定風電塔架ε的鄰域半徑為2xmax，即鄰域半徑為176像素。對檢測結果進行DBSCAN聚類，找出“噪聲點”，輸出聚類效果圖，并將所有坐標點按不同聚類簇輸出為不同顏色。

3 實驗與結果分析

通過方法有效性實驗、方法效果對比2類實驗開展實驗分析與討論，方法有效性實驗主要論證本文所提出的錨框優化、網絡壓縮、密度聚類3個改進對塔架檢測精度的提升；方法對比試驗主要展示本文方法與Faster R-CNN和FPN模型的效果對比。

3.1 方法有效性實驗

目標檢測模型輸出檢測框信息為(預測類別，左上角坐標，右下角坐標，預測概率)，標注框信息為(左上角坐標，右下角坐標，類別)，當檢測框與標注框類別相同且IOU值大于0.5時，表示正確檢測到該目標；若檢測框與任何同類別標注框IOU都小于0.5時，表示該檢測框為誤檢；若標注框與任何檢測框IOU都小于0.5時，表示該目標被漏檢。

基于遙感影像風電塔架特征分析，改進目標anchor尺寸和YOLOv3模型網絡深度，與原始YOLOv3模型進行對比實驗。以準確率P、召回率R和F1值評估模型精度，具體計算公式為：

(7)

(8)

(9)

式中：TP為正確檢測的塔架數；FP為誤檢為塔架的檢測框數；FN為漏檢塔架數。

檢測精度對比如表1所示，改進模型準確率和召回率均高于原始YOLOv3算法，說明模型改進是有效可實施的。

表1 YOLOv3與改進算法檢測精度對比Tab.1 Detection accuracy of YOLOv3 and our model

利用DBSCAN算法在檢測結果上進一步優化，共在測試集檢測結果中檢測并去除155個異常目標，將準確率由95%提升到96%。圖8為其中2張測試影像的聚類優化結果，圖8(a)和(c)為DBSCAN對檢測框的聚類，已剔除噪聲點用紅色框標注，誤檢但未剔除的目標用綠色框標記；圖8(b)和(d)為原始影像與風電塔架標記框。對比發現，DBSCAN算法對于分布較離散的噪聲點剔除效果較好，對于散落在風電場中間的高壓點塔架誤檢檢測效果略差。

(a)測試影像1檢測框聚類結果 (b)測試影像1及風電塔架標注框

(c)測試影像2檢測框聚類結果 (d)測試影像2及風電塔架標注框

3.2 方法對比實驗

表2為FPN，Faster R-CNN，YOLOv3和本文方法的塔架檢測效果對比。FPN算法存在大量誤檢，其誤檢大多來自高壓電塔架，集中分布在塔架周圍；Faster R-CNN算法耗時最短，但誤檢和漏檢都較多，不適合遙感影像塔架檢測；YOLOv3多特征圖提取算法誤檢最少，檢測效果優于FPN和Faster R-CNN模型的RPN算法。

表2 塔架檢測效果對比Tab.2 Comparison of wind turbines detection results

相較于其他3種算法，本文方法優勢在于：①對極小的目標檢測定位精度較高；②壓縮后特征提取網絡將集電線路與塔架區分，減少誤檢；③DBSCAN算法將形狀特征相似的地類誤檢剔除，進一步降低誤檢率；④在復雜的遙感影像背景下，改進后算法依然具有較好的檢測效果。

4 結論

為解決當前基于高空間分辨率遙感影像的風電塔架自動檢測難題，本文提出了一種基于改進YOLOv3模型的自動檢測算法，將高反射塔架與低反射陰影作為樣本構建條件，分析樣本尺度特征，針對性地構建了檢測模型和后處理方法，相較于FPN和Faster R-CNN具有更好的檢測效果?？紤]到小尺寸目標遙感檢測中同樣面臨模型優化和后處理規則制定問題，本文方法對于其他小目標遙感檢測也具有借鑒意義。目前算法存在的主要問題為集電線路塔架與風電塔架遙感特征表現近似，無法完全避免集電線路塔架誤檢，如何避免集電線塔架誤檢，仍需后續研究。