基于改進Cascade R-CNN的雪豹物種水平的自動檢測方法

張 毓 高雅月 常峰源 謝將劍* 張軍國*

(1.青海省祁連山自然保護區管理局，海北藏族自治州，810400；2.祁連山國家公園國家長期科研基地，海北藏族自治州，810400；3.北京林業大學工學院，北京，100083)

雪豹(Pantherauncia)是一種重要的大型貓科(Felidae)動物，位于高原生態系統食物鏈頂端，對維護高原生態系統的平衡和穩定具有重要的作用。2017年，雪豹被世界自然保護聯盟(IUCN)認定為易危(VU)物種，是我國一級重點保護野生動物，當前全球雪豹的數量為4 678～8 745只[1]。雪豹的監測可以為其保護提供數據基礎，但由于雪豹的棲息環境特殊，警覺性較高[2]，通常在夜間活動，行蹤飄忽不定[3]，人工監測雪豹較為困難。

在野生動物調查技術中，紅外相機技術通過紅外感應靠近的野生動物，并自動拍攝野生動物的照片或影像，得到了廣泛應用[4]。紅外相機可以在野外長時間獨立工作，對動物干擾小[5]，非常適用于雪豹的探測和記錄，成為當前監測雪豹的最有效手段之一，可以用于雪豹種群的動態監測[6]。長時間的監測可以獲取海量的監測圖像，需要從中篩選出雪豹圖像，以便開展下一步的研究。但由于雪豹數量稀少，其監測圖像也相對較少。新疆雪豹研究小組在新疆北塔山、阿爾泰山、昆侖山、天山東部和托木爾峰等20多個地區布設了36臺紅外相機，監測2 094 d只采集到32張清晰的雪豹圖像，平均捕獲率只有1.53%[7]。依靠傳統的人工識別方法，從大量的監測圖像中識別篩選出雪豹圖像，工作量大、效率低。利用圖像識別技術快速、自動地識別和篩選雪豹圖像，可以克服人工識別的多種缺點。

近年來，基于深度學習的圖像識別方法在野生動物識別中得到廣泛應用。在圖像分類方面，Timm等[8]首先對輸入圖像的有效性進行判定，然后利用Inception V3模型對有野生動物的圖像識別，在自建的數據集中得到了75%的識別準確率；王柯力等[9]提出一種水產動物識別方法，先使用數據增強對水產動物圖像進行預處理，最終得到97.4%的準確率；Willi等[10]采用人工分類與深度學習相結合，制作了4種紅外相機圖像數據集，基于不同的數據集訓練分類模型，識別準確率為88.7%～92.7%；李安琪等[11]提出一種基于SE注意力機制改進的ResNeXt網絡模型，對塞倫蓋蒂公開數據集的26個物種進行識別，SE-ResNeXt101的識別準確率最優，達到 93.5%?；诜诸惖膱D像識別方法，在同一圖像中存在多種或者多只動物時，無法充分獲取野生動物信息。目標檢測的方法可以實現圖像中所有動物的定位，同時輸出動物類別，更適合于野生動物的識別。程浙安[12]提出一種注意力機制改進的Faster R-CNN架構用于野生動物的自動檢測，平均準確率達到92.2%；陳建促[13]利用YOLOv3模型對野生動物檢測，融合視頻前后幀特征圖提升檢測的準確率，平均準確率達到80.41%；房永峰[14]對層次特征自上而下的融合，以增強底層特征圖的語義性，改進了SSD檢測算法，提高了小尺度羊的檢測效果。上述文獻表明，合理的目標檢測網絡可以實現野生動物的準確檢測，而且不受圖中野生動物數量的影響，比較適合實際場景下野生動物的識別。

雪豹主要生活在2 000～3 000 m的高海拔地區，銀灰色的皮毛有利于隱蔽，導致監測圖像中雪豹與背景的相似度高。此外，雪豹被抓拍時距相機的距離遠近不一，從監測圖像中學習雪豹的特征較為困難。利用兩階段目標檢測模型檢測野生動物時，通過候選區域網絡提取可能存在動物的候選框，再用分類器與檢測器進行分類預測與回歸預測，最終實現動物的定位。但由于雪豹監測圖像數量少，采用單檢測器的網絡結構，在選擇較高IoU(Intersection over Union)閾值下，正樣本可能被判定為負樣本，導致訓練容易發生過擬合現象，模型泛化能力低。Cascade R-CNN[15]通過級聯多個R-CNN檢測模型，每經過一個檢測器，候選區的IoU都更高。當下一個檢測器閾值設置得比較高時，也不會出現過多的樣本被判為負樣本，從而避免過擬合問題。本研究改進Cascade R-CNN模型構建雪豹的檢測方法，通過級聯過程中不斷提高的IoU閾值，分階段界定雪豹正負樣本，能在樣本數量少的情況下訓練出高精度的雪豹目標檢測器，提高雪豹圖像篩選的效果。

1 研究方法

1.1 數據集建立

本項目組在祁連山國家公園雪豹經常出沒的區域布設了多臺紅外相機，采集的監測圖像均為24位RGB真彩色圖像，分辨率包含4 000×3 000和4 608×2 592兩種。對2016—2019年采集的監測圖像經過初步篩選，剔除大量重復的誤觸發圖像，最終獲得1 434張雪豹圖像，作為訓練目標檢測模型的數據集。利用目標檢測實現雪豹的自動定位，需要對數據集標注：將監測圖像中的雪豹進行矩形框標注，并使用VOC格式保存標注信息。

典型的雪豹圖像及其標注框如圖1所示。監測圖像中，圖1A所示的理想狀況較少，受雪豹行為以及拍攝環境的影響，經常存在圖1B的遮擋、圖1C的曝光過度以及圖1D的光照過暗等復雜情況。這些情況使得監測圖像中雪豹的關鍵特征不明顯甚至缺失，給雪豹自動檢測帶來困難。

圖1 雪豹監測圖像的常見情形Fig.1 Snow leopard monitoring images under common situations 注：A.理想情況；B.雪豹被遮擋；C.曝光過度；D.雪豹顏色與背景難區分 Note：A，Ideal condition.B，The snow leopard is shaded.C，The image is overexposed.D，The snow leopard’s color is indistinguishable from the background

1.2 基于改進Cascade R-CNN的雪豹檢測方法

R-CNN是兩階段目標檢測模型[16]，通過3個步驟實現目標檢測：(1)利用區域生成網絡(Region Proposal Network，RPN)，基于滑窗法產生類別獨立的候選區域；(2)對每個候選區域提取特征向量；(3)使用分類器分類預測，并基于回歸器進行位置預測。IoU為預測框和真實標記框的交集與它們并集的比值，用于描述2個區域的交疊率，越接近于1說明檢測定位越準確。訓練模型時，計算候選區域和真實標記框之間的IoU，大于設定的IoU閾值，則認為是正樣本，反之則認為是負樣本。應用于雪豹的檢測時，IoU大于閾值才會被認為是雪豹，當閾值設置偏低時，容易將非雪豹識別成雪豹；當設置偏高時，使得篩選出來的正樣本數量急劇減少，容易導致訓練過擬合，降低檢測的效果。閾值的選擇非常重要，Cascade R-CNN是在R-CNN基礎上改進形成，由一系列的檢測器級聯組成，每個檢測器都根據不同IoU閾值訓練得到。前一個檢測器的輸出作為后一個檢測器的輸入，級聯的方式能夠讓每個檢測器都專注于檢測IoU在某一范圍內的候選區域。由于輸出IoU普遍大于輸入IoU，因此通過級聯的方式可以使檢測效果越來越好。

檢測器級聯的數量越大，其他物體被誤識別為雪豹的可能性就越低。但是檢測器級聯的數量過多會使模型復雜度過高，增加訓練成本，容易導致過擬合?？紤]到雪豹監測圖像的數量有限，本研究選擇3個檢測器級聯，提出改進Cascade R-CNN的具體結構(圖2)。該模型以監測圖像為輸入(Input)。原始監測圖像像素點數較多，將輸入圖像的尺寸變換成1 000×600，以減小計算量。特征提取部分采用ResneXt101作為骨干網絡，引入特征金字塔網絡(Feature Pyramid Network，FPN)提升不同尺寸特征的提取能力。第1級基于RPN網絡B0生成初始候選區域，對候選框采用池化層(Pooling)進行下采樣，輸入到頭網絡H(Network Head)，用于生成分類概率和不同尺度的目標框，最后經過分類C1和框回歸B1(Bounding Box Regression)分別輸出檢測的類別和位置。不同級之間的串聯主要發生在框回歸部分，將上一級的回歸結果輸入到下一級的池化層，最終在C3和B3得到模型的輸出。

圖2 改進的Cascade R-CNN結構Fig.2 Improved structure of Cascade R-CNN

經過多次試驗，將3個檢測器的IoU閾值設定為遞進的0.5、0.6和0.7，每經過一個檢測器，候選區的IoU都更高，候選區域更準確，不易出現雪豹樣本被誤判為非雪豹樣本的情況，從而避免過擬合問題。

1.3 試驗設置

硬件平臺為Intel XeonE5-2620 CPU，2塊GTX 2080Ti的工作站，軟件為Windows 10操作系統、Python 3.7編程環境和PyTorch 1.5.1的深度學習框架。

數據集按照4∶2∶2劃分為訓練集、驗證集和測試集。訓練時，優化器選用SGD，學習率為0.02，momentum為0.9，權值衰減為0.000 1。測試時，IoU閾值為0.5，類別置信度閾值為0.5。

1.4 評價指標

利用精確率(precision，P)、召回率(recall，R)、平均準確率(average precision，AP)和F1分數對模型的測試結果進行評價。模型分類器C3會輸出雪豹目標的類別置信度，置信度越高表示該目標為雪豹的概率越大。在類別置信度大于類別置信度閾值(0.5)的目標框中，實際計算的IoU大于IoU閾值則認為該目標框中的物體為雪豹。依據判斷的結果，計算得到精確率(P)與召回率(R)：

(1)

(2)

式中：PT是測試集里將雪豹正確識別為雪豹的數量，PF是將非雪豹識別為雪豹的數量，NF是將雪豹識別為非雪豹的數量。

通常精確率與召回率無法同時最優，往往精確率高，召回率低，反之，召回率高，精確率就低。平均準確率和F1分數是評級模型綜合性能的2個常用指標。在計算平均準確率時，需要在測試階段分別取[0，0.1，0.2，…，1]作為預設置信度閾值得到不同的P、R值，進而繪制出PR曲線，PR曲線下的面積即為平均準確率。F1分數的計算式為：

(3)

2 結果

為了驗證本研究提出的雪豹目標檢測方法的優越性，選擇同為兩階段的目標檢測模型Faster R-CNN與一階段的目標檢測模型SSD-300，進行雪豹檢測的對比實驗，結果見表1。

從表1可以看出，改進的Cascade R-CNN在雪豹數據集上的精確率、召回率、平均準確率和F1分數均最高，更高的F1分數說明改進模型減少了雪豹的誤檢與漏檢的發生。SSD-300本質上屬于密集采樣的檢測方法，相對于Faster R-CNN得到的檢測效果更好。同時改進的Cascade R-CNN模型訓練得到最優參數時需要的迭代次數最少，說明該模型在雪豹樣本數量有限的情況下，能更快、更好地學習到雪豹特征。

表1 3種不同模型在雪豹數據集上訓練的檢測結果

表1列出了在測試集上雪豹檢測的每秒幀率，Cascade R-CNN相較于Faster R-CNN檢測速度略有下降，這是因為Cascade R-CNN方法在R-CNN的基礎上進行了檢測器的級聯，需要耗費更多時間。而一階段的SSD省去了R-CNN的選擇性搜索階段，并且舍棄了全連接層，因此檢測速度最快。但是三者之間檢測速度相差較小，Cascade R-CNN通過犧牲少量的檢測速度，獲得了最高的檢測效果，平均準確率、F1分數均最高。在野外監測圖像中雪豹尺寸變化較大的情況下，具有一定的優勢，可以提高檢測的準確率，減少人工復審的工作量。

3 討論

本研究提出了改進Cascade R-CNN的雪豹自動檢測方法，在測試集上得到的平均準確率為93.0%，達到了較好的檢測效果。模型的輸出結果中，紅色框為輸出雪豹位置，框的左上角為類別信息和類別置信度，類別為1表示框中的動物是雪豹。圖3所示為雪豹靠近紅外相機時的監測圖像，此時雪豹在圖像中所占的比例較大，雪豹的特征比較明顯，提出的模型可以很好地定位雪豹所在的位置，并且類別置信度普遍較高，接近100%。

圖3 大尺寸雪豹的檢測效果Fig.3 Detection results of snow leopard occupying large area of images

圖4為黑夜中雪豹的檢測效果，在夜色下雪豹的花紋并不明顯，提出的模型還是能準確地給出雪豹的位置，檢測結果的類別置信度均達到98%以上，稍低于大尺寸情況下的類別置信度。黑夜時，監測圖像中雪豹花紋的顏色信息基本丟失，說明模型在對雪豹檢測時，并不只是關注花紋的顏色信息，而是融合了多種特征信息綜合分析得到最終的檢測結果。

圖4 黑夜中雪豹圖像的檢測效果Fig.4 Detection results of snow leopard at night

圖5所示為雪豹在較遠時紅外相機拍攝的圖像，其中雪豹的尺寸相對較小。人眼確定圖中雪豹的位置都具有一定的困難，但提出的模型仍能較好地定位雪豹的位置，只是輸出的類別置信度相對前兩種情況有所降低，都能正確地檢測出雪豹。主要原因在于Cascade R-CNN采用3個檢測器的級聯，小IoU閾值提升小尺寸目標的檢測能力。

圖5 小尺寸雪豹圖像的檢測效果Fig.5 Detection results of snow leopard occupying small area of images

圖6所示為紅外相機中存在3只雪豹的檢測結果，無論是靠近的1只雪豹，還是遠離的2只雪豹，提出模型均能實現正確地識別和定位。提出的模型中3個檢測器的IoU閾值設定為遞進的0.5、0.6和0.7，有利于生成不同尺寸的候選檢測框，同時加入的特征金字塔網絡結構可以提升不同大小目標的特征提取能力，綜合提升了在不同尺寸下雪豹的檢測效果。

圖6 多只雪豹的檢測效果Fig.6 Detection result of numerous snow leopards

4 結論

本研究基于改進Cascade R-CNN的目標檢測方法實現了雪豹監測圖像的自動檢測，該方法通過3個檢測器級聯方式并引入特征金字塔網絡結構，提高不同尺度目標的檢測效果，在測試集上平均準確率高達93.0%，對于多只不同尺寸的雪豹也能準確地檢測，將該方法用于海量監測圖像中雪豹圖像的篩選，可以極大地改善人工篩選帶來的工作量大、效率低等問題，提升雪豹監測的時效性。在后續的研究中，將進一步探索利用雪豹的關鍵特征實現雪豹個體識別的方法，自動評估棲息地中雪豹的數量，實現種群的調查。此外，本研究提出的方法通過檢測器級聯，有效提升樣本有限時圖像中不同尺度關鍵特征的提取能力，同樣可以推廣到其他物種的自動檢測，提升監測圖像數量少、動物尺度大小不一時的檢測性能。