面向邊緣智能光學感知的航空緊固件旋轉檢測

符長虹，陳錕輝，魯昆瀚，鄭光澤，趙吉林

（同濟大學 機械與能源工程學院，上海 201804）

引言

《中華人民共和國國民經濟和社會發展第十四個五年規劃和2035年遠景目標綱要》中提出“瞄準空天科技等前沿領域，實施一批具有前瞻性、戰略性的國家重大科技項目；集中優勢資源攻關關鍵元器件零部件和基礎材料等領域關鍵核心技術”[1]。航空緊固件等關鍵基礎零部件被廣泛應用于以無人機為代表的航空系統平臺，加之國家政策的鼓勵，越來越受到航空航天領域上下游企業的重視。但其具有種類繁多、加工工藝復雜、生產質量管控困難等特點，導致航空緊固件成品分揀難度高、工作量巨大。在傳統企業生產中，往往需要人工對航空緊固件成品進行分揀，但是這種方式存在效率低、成本高等缺點。目前主流研究方向是通過視覺檢測方法對航空緊固件進行檢測，實現自動分揀，從而提高檢驗效率、降低成本。然而，傳統視覺檢測方法基于手工特征和分類器[2]，受限于設計者的經驗，開發周期長且精度低[3]。隨著深度學習理論的不斷發展以及GPU性能的提升，基于卷積神經網絡（convolutional neural network,CNN）的視覺目標檢測方法逐漸成為視覺檢測領域的主流，并被廣泛應用到工業生產場景中[4]。

在基于CNN的視覺目標檢測方法中，淺層特征分辨率高，具有更多空間位置細節信息，例如點、線、邊緣等；深層特征分辨率低，但包含更強的語義信息，融合深淺層特征是提高模型檢測性能的一個重要手段。然而，因深淺層特征之間存在信息差異，深淺層特征直接融合收效甚微[5]。因此，探索更有效的特征融合方式將能進一步提升模型的檢測性能，特別是對檢測精度、魯棒性等要求嚴格的航空緊固件檢測。

邊緣部署具有成本低廉、相對獨立以及安全性、可靠性、可擴展性、可維護性高等顯著優勢，因此當前航空緊固件檢測場景傾向于進行邊緣部署。盡管CNN推動了視覺目標檢測研究的進步，但是隨著目標檢測模型網絡層數的不斷加深，現有目標檢測模型參數量激增，計算量越來越大，導致模型難以實現嵌入式邊緣智能設備的邊緣部署。因此，亟需提出一種輕量化的、適宜部署到邊緣設備的航空緊固件檢測方法，來滿足工業化應用的需求。

目前主流的目標檢測方法往往基于水平框檢測，然而在緊固件檢測分揀中存在很大局限性。首先，在待分揀場景中，緊固件的擺放角度是任意的，此時水平檢測框將會引入大量背景信息，增大檢測難度；其次，當緊固件擺放密集時，水平檢測框會出現大量重疊，導致漏檢問題[6]；最后，水平檢測框因為缺乏目標角度信息，不利于工業機器人等自動化設備根據檢測結果直接對緊固件進行快速自動抓取分揀。因此，需要對水平檢測方法進行任務導向的改進，使之更適宜于航空緊固件的檢測。

針對以上問題，本文提出一種面向邊緣智能光學感知的航空緊固件檢測方法，將輕量化的旋轉檢測方法應用到航空緊固件的檢測任務中。首先，設計基于強化語義和優化空間的特征融合機制，提升深淺層特征融合的有效性；其次，提出空洞幻影模塊，減少特征融合網絡的參數量，有利于邊緣部署；最后，采用高斯類環形平滑標簽方法將目標角度回歸問題轉化為分類問題，對水平預測分支增加180個角度類別預測，以實現航空緊固件的旋轉檢測。

1 相關工作

在特征融合的相關研究中，Tsung-Yi Lin等人提出一種利用深度卷積網絡固有的多尺度、金字塔層次結構所構建的特征金字塔網絡（feature pyramid network, FPN）[7]。該網絡通過構建一條自頂向下單向特征融合路徑，對深層特征逐層上采樣，并分別與下一淺層特征進行橫向連接融合，從而向淺層特征嵌入深層特征豐富的語義信息。此外，對融合后的每個特征層分別進行目標類別預測和邊框信息回歸。Shu Liu等人提出特征雙向融合的路徑聚合網絡（path aggregation network, PANet）[8]。該網絡在FPN基礎上，增加了一條自底向上的特征融合路徑，對淺層特征逐層下采樣，并分別與上一深層特征進行橫向連接融合，通過利用淺層特征精確的空間信息來增強深層特征的層次結構。然而，在特征融合前，直接對深淺層特征進行逐層采樣統一分辨率，并不能避免信息差異問題。

目前絕大多數基于CNN的目標檢測網絡對內存和計算資源有較高的要求，難以在邊緣設備上進行部署，不能滿足工業場景的實際需要[9]。為解決上述問題，劉寬等人通過采用輕量化網絡ESPNet[10]作為骨干網絡，實現目標檢測模型的輕量化[11]；曹富強等人提出鑄件缺陷檢測方法，通過使用Efficient-Net[12]中的 MBConv 來進行特征提取，降低了模型骨干網絡的參數量[13]；劉懷廣等人基于YOLOv3-tiny提出了一種特征增強型輕量化卷積神經網絡[14]。然而，此類工作主要針對骨干網絡進行優化，通常忽略特征融合網絡的輕量化處理。此外，在參數量、特征圖生成、感受野大小等方面有待進一步改進。

在工業場景中，基于CNN的緊固件檢測方法已被廣泛提出。例如，盧艷東等人提出一種基于YOLOv3-tiny軌道緊固件檢測方法，采用深度可分離卷積降低模型計算復雜度，增加預測尺度提升檢測性能[15]；王一等人通過更換骨干網絡、重新設置候選框橫縱比以及優化傳統非極大值抑制方法提升了緊固件的識別準確率[4]。然而，以上均為水平檢測方法，會引入大量背景區域的干擾信息，導致密集場景下容易漏檢，且無法預測出目標的角度信息。此外，YOLOv3方法的性能有待進一步提升。因此，以上方法難以應用到對準確性、魯棒性等要求嚴格的航空緊固件檢測工業場景中。

2 本文方法

本文以YOLOv5為例，在PANet特征融合網絡基礎上，構建基于強化語義和優化空間的特征融合機制，緩解深淺層特征融合時的信息差異問題；為了減少特征融合網絡的參數量，設計以更少量卷積運算獲得更大感受野特征圖的空洞幻影模塊；針對水平檢測方法具有檢測框存在大量背景區域、密集場景下容易漏檢以及缺乏目標角度信息等局限性，采用高斯類環形平滑標簽方法將檢測框角度的回歸問題轉化為分類問題，對原有預測分支進行改進，增加180個角度類別預測以實現航空緊固件的旋轉檢測。本文提出的輕量級航空緊固件旋轉檢測方法（orientation-aware lightweight aviation fastener detection method, OLAFDet）如 圖1所示。

圖1 輕量級航空緊固件旋轉檢測方法Fig.1 Lightweight aviation fastener rotation detection method

2.1 基于強化語義和優化空間的特征融合機制

針對簡單特征融合方式忽略深淺層特征信息差異問題，本文提出一種基于強化語義和優化空間的特征融合機制，其包含強化語義信息嵌入模塊和優化空間信息傳遞模塊，分別減少深淺層特征之間語義信息差異和空間信息差異，提高特征融合性能，從而提升模型檢測精度。

首先，在自頂向下特征融合路徑中的上采樣操作前，增加一個殘差模塊[16]，其跳躍連接疊加經過不同卷積操作的深層特征，可以減少深淺層特征之間語義信息差異，使得在特征融合過程中，深層特征的語義信息能夠更有效地利用逐元素相乘的方式將其嵌入到下一橫向連接的淺層特征中，強化了語義信息嵌入的有效性。強化語義信息嵌入模塊由3部分組成，分別是殘差模塊、上采樣操作、逐元素相乘融合，公式如下：

式中：Fi表示經過強化語義信息嵌入模塊后輸出第i層特征； U psample(·)代 表上采樣操作； R(·)表示特征經過殘差模塊的輸出； ?表示逐元素相乘；P表示經骨干網絡輸出的特征。

同樣地，在自底向上特征融合路徑中的下采樣操作后，增加一個殘差模塊，其跳躍連接疊加經過不同卷積操作的淺層特征，可以減少深淺層特征之間空間信息差異，使得在特征融合過程中，淺層特征的空間信息能夠更有效地利用逐元素相乘的方式將其傳遞到上一橫向連接的深層特征中，優化了空間信息傳遞的準確性。優化空間信息傳遞模塊由3部分組成，分別是下采樣操作、殘差模塊、逐元素相乘融合，公式如下：

式中：N表示經過優化空間信息傳遞模塊后輸出的特征； Downsample(·)代表下采樣操作。

強化語義信息嵌入模塊和優化空間信息傳遞模塊詳細網絡結構如圖2所示。

圖2 強化語義與優化空間特征融合機制Fig.2 Enhanced semantics and optimized space feature fusion mechanism

相比PANet網絡結構，本文的特征融合機制主要創新點有以下2點：第一，在深淺層特征融合前，增加了殘差模塊，通過殘差“去掉相同主體部分，突出微小變化”的思想，有助于減少深淺層特征信息差異。第二，采用逐元素相乘的方式融合深淺層特征，有助于豐富深層特征的空間信息以及增強淺層特征的語義性，提升模型檢測性能。

2.2 更少卷積運算更大感受野的空洞幻影模塊

針對CNN目標檢測網絡對內存和計算資源要求高的問題，韓凱等人指出在深度神經網絡中，通常會包含豐富甚至冗余的特征圖，以保證對輸入數據有全面的理解，因而通過更廉價的操作生成部分冗余特征圖，即可在不損失精度的同時，減少模型的運算量[17]。本文提出一種通過更少卷積運算獲得更大感受野特征圖的空洞幻影模塊，其核心思想是深度可分離空洞卷積可以在降低特征圖生成的運算量的同時擴大特征圖感受野。具體操作如下：設輸入特征圖尺寸為W×H×m，輸出特征圖尺寸為W′×H′×n，首先通過卷積模塊得到通道數為n/2的本征特征圖。將本征特征圖作為深度可分離空洞卷積的輸入，生成新的具有更大感受野的相似特征圖。最后將本征特征圖和相似特征圖進行拼接，得到最終輸出，如圖3所示。

圖3 空洞幻影模塊Fig.3 Dilated ghost module

對于3通道5×5特征圖，經過4個3×3卷積核的普通卷積運算量為4×3×3×3=108；深度可分離卷積將一個普通卷積分割成了逐深度卷積和逐點卷積。對于上述特征圖卷積操作，逐深度卷積運算量為3×3×3=27，逐點卷積運算量為1×1×3×4=12。因此生成相同尺寸特征圖，深度可分離卷積的運算量僅是普通卷積的（27+12）/108≈0.36倍。深度可分離空洞卷積是在深度可分離卷積采樣中插入0值，用以擴張采樣分辨率，其優點在于無需池化即可增大感受野。因此本文提出的空洞幻影模塊利用深度可分離空洞卷積生成相似特征圖，實現通過更少量卷積運算獲得更大感受野的特征圖，從而在基本不損失模型精度的情況下，有效降低生成特征圖的運算量。

利用空洞幻影模塊優勢，基于跨階段局部網絡（cross stage partial network, CSPNet）[18]“豐富梯度組合并減少計算量”思想設計瓶頸層，將輸入特征圖劃分為2個部分，使得梯度流通過不同的網絡路徑傳播，最后通過跨階段層次結構進行合并，其原理如圖4所示。瓶頸層可有效加強網絡特征融合能力，并降低特征融合網絡的參數量。

圖4 瓶頸層Fig.4 Bottleneck layer

2.3 基于高斯類環形平滑標簽的旋轉檢測方法

基于水平框的檢測方法難以滿足工業場景下航空緊固件的檢測需求。本文通過采用高斯類環形平滑標簽方法在原有水平預測分支上增加目標角度信息的預測?；诨貧w的旋轉框角度預測存在邊界問題，即理想的預測結果可能出現定義范圍以外的情況。本文采用長邊定義法[19]來定義旋轉框角度，該角度是指旋轉框長邊與X軸之間的夾角，角度表示范圍是（-90° , 90° )，如圖5所示。假設候選框此時為-90° ，而真實框是60° ，此時候選框最理想的回歸路線是逆時針旋轉30°（因為角度具有周期性，60° 候選框也可以表示為-120° ），但這樣就超出了（-90° , 90° )的范圍。所以候選框只能順時針旋轉150° 回歸，導致誤差變大，增加回歸難度。

圖5 旋轉框角度定義[19]Fig.5 Angle definition of rotation bounding box[19]

為避免以上所提的邊界問題，本文通過采用楊學等人解決遙感圖像旋轉檢測問題提出的高斯類環形平滑標簽[19]，將角度回歸問題離散為分類問題，即在原有水平預測分支上增加180個目標角度類別的預測，從而實現航空緊固件的旋轉檢測，其提出高斯類環形平滑標簽（gaussian-like circular smooth label, GCSL）的具體表達式如下：

式中：x為預測角度值；θ為真實角度值； μ和 σ均為常數項。

通過設置高斯窗口函數，使得模型可以衡量預測角度值和真實角度值之間的角度距離，即在(θ-σ,θ+σ)范圍內，越接近真實角度值的預測值的損失值越小。同時，利用窗口函數的周期性，巧妙地解決了角度周期性的問題。例如在角度值范圍屬于（-90° , 90° )的長邊表示法中，GCSL使得89° 和-90° 兩個角度值關系變成近鄰。

綜上所述，本文提出的新的輕量級航空緊固件旋轉檢測方法，由上述設計模塊所組成。在進行強化語義和優化空間的特征融合的同時，以更少量卷積運算獲得更大感受野特征圖，并具有180個角度預測的旋轉檢測，可應用到對準確性、魯棒性等要求嚴格的航空緊固件檢測工業場景中。

3 實驗結果與分析

3.1 評估指標

在目標檢測領域，常采用mAP（mean average precision）對算法性能進行定量評估，其定義如下：

式中：AP（average precision）為單一類別的平均準確率；C為檢測類別總數；mAP是多個類別AP的平均值，而 AP 就是精度（precision, P）和召回率（recall,R）組成曲線下面的面積，公式如下：

式中：TP表示預測為正樣本，模型真實標簽也是正樣本；FP表示預測為正樣本，模型真實標簽為負樣本； FN為表示預測為負樣本，模型真實標簽為正樣本。

3.2 實驗與評估

為驗證本文方法的有效性，在權威公開旋轉數據集上進行實驗評估。DOTA是旋轉檢測領域中最為知名、權威的數據集之一，包含2 806張圖像（訓練集1 411張、驗證集458張、測試集937張），其中包含15個類別，共188 282個不同尺度、形狀方向各異的實例對象[20]。

本文方法采用SGD作為優化器進行訓練，初始學習率learning_rate=0.01，權重衰減weight_decay=0.000 5，高斯窗口函數常數項 μ =0，σ=2，動量momentum=0.937，訓練輪次epoch=300。完成訓練后，對測試集進行檢測，并將檢測結果提交到DOTA官方服務器進行評測，最后得到本文方法的實驗結果。采用mAP作為評估模型檢測精度的性能指標，權重文件大小作為評估模型參數量的指標，與近年來前沿旋轉框檢測方法對比實驗結果如表1所示。

表1 與前沿旋轉框檢測方法的對比Table 1 Comparison with cutting-edge rotation bounding box detection methods

表中“-”表示該方法未公開對應參數。在檢測精度上，本文方法優于近年來主流旋轉檢測方法，并且權重文件大小只有18 MB，僅為R3Det方法權重文件大小的2.28%，在工業場景中進行邊緣部署具有極大的輕量化優勢。為進一步驗證本文方法中所提及的各個模塊對提升模型整體性能的有效性，在DOTA數據集上進行消融分析實驗，實驗結果如表2所示。

表2 消融分析實驗結果Table 2 Experimental results of ablation analyses

表中“√”表示采用對應模塊，基準模型是水平檢測方法，因此使用數據集水平框標簽進行訓練。因為水平檢測方法會引入大量背景區域的干擾信息以及密集場景下容易漏檢，導致基準模型的mAP僅有42.32%，引入高斯類環形平滑標簽后，mAP提升到76.86%；使用強化語義和優化空間特征融合模塊后mAP進一步提升，達到77.17%，空洞幻影模塊在基本不損失模型精度的情況下，降低模型15.49%的參數量。綜上所述，本文所提出方法及各模塊的有效性得到驗證。

3.3 航空緊固件旋轉檢測性能評估及其分析

為進一步驗證本文所提方法，需要對航空緊固件旋轉檢測性能進行評估。本文以6款典型航空緊固件為例，即螺栓、墊片、螺帽、圓柱銷、鉚釘以及螺釘，如圖6所示，在生產環境中采集共計1 000張不同尺度、背景各異、包含不同目標數量的航空緊固件圖片。通過對航空緊固件圖片增加隨機噪點、模糊處理、虛化處理等方法擴展到6 000張。最后，使用rolabelimg軟件對航空緊固件圖片進行人工標注旋轉框標簽，并按4∶1的比例劃分訓練集和測試集。

圖6 典型航空緊固件Fig.6 Typical aviation fasteners

針對模型訓練，本文方法采用SGD作為優化器，初始學習率learning_rate=0.01，權重衰減weight_decay=0.000 5，高斯窗口函數常數項 μ =0，σ=2，動量momentum=0.937。訓練300輪次后得到航空緊固件旋轉檢測模型，在測試集上進行性能評估，表3為航空緊固件檢測的測試結果。

表中：APs為單目標場景下的平均準確率；APm為隨機混合散落場景下的平均準確率。從表3可以看到，單目標場景下航空緊固件旋轉檢測mAP均達到100%，且隨機混合散落場景下航空緊固件旋轉檢測mAP均在98%以上，部分可視化檢測結果如圖7所示。

表3 航空緊固件檢測的測試結果Table 3 Test results of aviation fastener detection %

圖7中，螺帽、圓柱銷以及鉚釘3種小型緊固件在隨機混合散落的場景下，因存在多個緊固件堆疊等現象，從而導致少量漏檢，故其mAP未達到100%。但值得一提的是，在航空緊固件實際分揀過程中，隨著堆疊上方的緊固件被分揀，下方緊固件將能夠被正確檢測，從而確保航空緊固件分揀任務的完成。

圖7 OLAFDet檢測結果示例Fig.7 Result examples of OLAFDet detection

將上述高精度檢測方法部署在NVIDIA Jetson AGX Xavier上，其檢測速度超過20 FPS，可滿足工業場景下航空緊固件旋轉檢測邊緣部署的需求。

本文方法開源地址：https://github.com/vision4ro botics/OLAFDet

4 結論

本文提出一種面向邊緣智能光學感知的旋轉檢測方法，可應用于工業場景下航空緊固件檢測任務?；趶娀Z義和優化空間的特征融合機制提升模型的檢測性能，空洞幻影模塊有利于本文方法的邊緣部署，將水平檢測改進為旋轉檢測，顯著提升了檢測精度，并且便于緊固件的自動抓取分揀工作。本文所提方法及其各模塊的有效性在權威公開旋轉數據集上得到驗證。將本文方法部署在嵌入式邊緣智能設備NVIDIA Jetson Xavier AGX上，對航空緊固件檢測mAP達到99.76%，檢測速度超過20 FPS，滿足工業應用要求。在未來工作中，我們擬增加模型的目標檢測類別，并考慮將本文方法進一步推廣應用到其他工業場景中去。