基于機器視覺的固體火箭發動機噴管喉徑測量方法①

孫旭陽,沈 飛,謝俊彥

(西安航天動力測控技術研究所,西安 710025)

0 引言

固體火箭發動機具備結構簡單、工作可靠、推重比高、啟動迅速、低成本、長期貯存等優點,尤其在降低重力損失和提升質量比方面具有明顯優勢,不僅可提升運載能力,還可有效降低系統復雜性[1-6]。因此,固體火箭發動機在航天、軍事等領域有著廣泛的應用和重要的地位。

對于固體火箭發動機,噴管是其重要的組成部分之一,主要完成熱能到動能之間的轉換。在固體火箭發動機的運行過程中,其噴管內流動的高溫燃氣工質含有一定量的熔融態顆粒,當燃氣流過噴管喉部時,將對其壁面造成急劇的加熱、沖刷及燒蝕。噴管作為發動機的關鍵部位,其喉部的燒蝕會直接影響到發動機的工作壓強[7-10],從而影響到發動機的工作狀態和工作參數。在固體火箭發動機的設計中,噴管喉部的直徑在建立發動機的質量方程、比沖方程和進行總體設計參數選擇時具有重要的意義。此外,在固體火箭發動機的性能測試中,通過精準測量發動機工作前后噴管的喉徑變化,可以計算得到燃燒室內壓、噴管出口壓和喉部材料的燒蝕特性。因此,喉徑的精確測量對于發動機性能的評估具有重要意義。

目前,國內外對固體發動機噴管喉徑測量的研究較少,現有的深孔測量方法,如三坐標測量儀等,由于缺乏對發動機噴管特點的適配,有的測量空間受限,有的測量精度不夠,導致實際應用起來較為麻煩。針對噴管喉徑測量,COLBAUGH等[11]提出了一種基于X-ray的直接測量方法。洪洋等[12]提出了一種面向拉瓦爾噴管的液力測量方法,具有非接觸、穩定性好的優點。張翔等[13]提出了一種基于芯型測頭塞規法的拉瓦爾噴管喉徑液力測量方法,取得了較高的測量精度。盡管當前針對噴管喉徑的測量方法能夠較好完成噴管候徑的測量,但系統的復雜度普遍較高,測量成本較大。機器視覺的方法指利用攝像頭所拍攝的圖像或視頻,通過圖像處理技術,從而實現非接觸式的測量,具有測量過程快捷、方便的特點。目前應用機器視覺對固體火箭發動機進行測量已經有了相應的研究,文獻[14-15]等利用機器視覺實現了發動機擺動噴管空間位姿的測量,但對于發動機噴管喉徑的測量,目前仍是一個未探索的領域,缺少相關研究。

針對固體火箭發動機噴管喉徑測量問題,提出了一種基于機器視覺的測量方法,構建了一套測量系統,該系統通過平行面激光源將噴管喉部投影至成像平面,通過工業級高分辨率單目相機獲取噴管的投影圖像。在該圖像中,需要準確的提取出喉部區域,然而傳統直接對圖像提取特征的方法,存在對環境光照變化魯棒性不足的缺點,需要設定較多閾值,而固定的閾值參數很難兼顧精確度和魯棒性。常規基于深度學習的語義分割模型,存在著邊緣細粒度不夠的缺點。因此,通過新提出的基于改進DeepLab v3+的深度學習網絡模型,可以提取得到圖像中的喉部區域。相比其他模型以及改進前的網絡模型,該模型更適應于噴管喉部圖像分割任務,在模型更輕量化的同時,對噴管喉部邊界劃分有更高的細粒度。真實數據實驗結果表明,所提出的改進模型相比其他的語義分割模型,具有了更高的圖像分割細粒度和魯棒性。最后,通過棋盤格對相機進行參數標定,利用標定結果對該區域面積進行估計,最終實現了喉徑的測量。相比于傳統測量方式,本文提出的方法和構建的系統不僅方便、快捷,對于燒蝕后不規則的噴管喉部測量,還具有了更高的準確性。

1 系統總體方案

1.1 系統設計要求

針對固體火箭發動機噴管喉徑測量的實際需求,提出以下的系統設計要求:

(1)能夠測量噴管喉徑的最小值

對于試驗后的固體火箭發動機噴管,由于其喉部不同位置燒蝕程度不同,在深度方向上,不同截面下的喉徑值將有所不同,為滿足后續試驗分析需求,需要測量得到喉徑的最小值。

(2)能夠進行數據采集與準確計算

由于發動機噴管喉徑測量快捷、便利性的需求,需要能夠采集圖像,具有較高的自動化程度,并且盡可能降低測量誤差,使得最終喉徑測量誤差優于0.05 mm。

(3)能夠適應不同的實驗工況

由于發動機試驗條件的復雜性和兼顧測量系統的通用性,系統需要進行輕量化設計,并對測試場地有較低的要求。同時,對于環境光照有較好的魯棒性。

1.2 系統設計方案

系統主要包含了測量支架、激光光源、投影平面、圖像獲取設備和計算機五個部分,如圖1所示。其中,測量支架主要用于待測固體火箭發動機噴管和其他設備的固定,確保投影平面與圖像獲取設備之間的相對位置準確且不變;激光光源裝在測量裝置的底部,通過向上發射波長為650 nm的平行光源,從而將噴管的喉部形狀投影至投影平面,對于激光光源,其平行光束的直徑需要大于所測發動機的喉徑;投影平面采用厚度為0.15 mm的硫酸紙,該材料一方面具有良好的透光性,能夠形成清晰的可被圖像獲取設備捕獲的圖像,另一方面衍射較小,能夠盡可能確保圖像邊緣的投影真實性。圖像獲取設備包含了工業相機和鏡頭,將投影平面的圖像輸入至計算機中進行處理。

圖1 噴管喉徑測量系統設計方案

通過上述的硬件系統和基于機器視覺的喉徑測量算法,便可以得到發動機噴管喉徑值。為了獲取高精度的喉徑測量結果,系統的硬件設計同樣至關重要,硬件的設計需要盡可能減少系統誤差。

測量支架,通過合理的設計和精密的機加工,使其確保了激光光源平面、噴管橫截面以及投影平面三者之間的平行度優于0.1 mm,使得激光在投影平面的投影面積能夠直接反映噴管的喉部最小面積。選用Baumer公司的VCXG-124 CMOS工業灰度相機,具有1200萬的分辨率和3.45 μm×3.45 μm的像元尺寸,高分辨率確保了對投影平面成像的高細粒度,避免因分辨帶來的精度損失。綜合考慮目標的距離和視場的大小,本系統選用OPTO ENGINEERING公司的遠心鏡頭,在滿足系統測量需求的同時,使得成像畸變系數小于0.08%,進一步確保測量的準確性。本系統的實物圖及該測量系統拍攝到的噴管喉部投影圖片如圖2所示。所使用計算機CPU為Intel i5-9400F,GPU為NVIDIA GeForce GTX 1080,操作平臺為Ubuntu 18.04。

圖2 噴管喉徑測量系統實物圖及其拍攝的噴管投影圖示例

2 基于圖像的噴管喉徑測量方法

2.1 測量方案簡述

得到拍攝的噴管投影圖后,首先需要分割提取噴管喉部在圖像中所占據的像素單元,統計喉部區域所占據的像素數目;再依據圖像中的像素面積與真實面積之間的比例,將其轉換為喉部真實橫截面積,進而可計算出噴管的喉徑。

下面具體介紹基于深度學習的喉部區域分割方法以及基于分割結果的噴管喉徑計算。

2.2 基于深度學習的喉部區域分割

不同于其他圖像分割任務,喉部區域分割任務主要有以下兩個難點:

(1)喉部區域分割任務要求邊界分割的高細粒度。不同于常規的圖像語義分割任務,喉部的輪廓并不是平滑的,帶有較多的“抖動”。而對噴管喉徑的精確測量,要求模型能夠對輪廓進行更具細粒度的語義分割,能夠分割出不平滑的輪廓線。因此,要求模型能夠對圖像邊界具有更好的信息提取能力,能夠進行高細粒度的語義分割。

(2)噴管喉部數據的缺乏。不同于常見的圖像分割任務,受限于任務的特殊性,噴管喉部數據是難以大量直接獲取的。因此,對于模型,需要在有限的數據下,避免過擬合,能夠在展現出良好性能同時,具有泛化性和魯棒性。

在基于深度學習的喉部區域分割中,采用基于深度學習的喉部區域分割方法,同時結合喉部區域分割任務特點進行模型選取與改進。同時,在模型訓練階段,給予喉部區域邊緣更高的關注度,以便訓練過程更好地聚焦于邊緣區域的分割。此外,針對噴管喉部數據缺乏的問題,從數據角度進行了數據增強,使得在小樣本量下訓練出泛化性更好的網絡。

2.2.1 網絡模型

近年來,在各類分割任務中,基于模型的分割方法取得了相比傳統檢測方法更好的性能。目前,語義分割領域使用較為廣泛的方法包括FCN[23]、U-Net[24]、MaskRCNN[25]以及DeepLab[16-19]系列等。其中,DeepLab系列中,引入了空洞卷積與空洞空間金字塔池化(ASPP),相比其他模型,在減少參數量的同時,提升卷積核感受野,能實現更好的分割效果。在該系列中最新提出的DeepLab v3+模型中,還引入了深度可分離卷積代替常規卷積,使得模型更為輕量化,有利于喉部分割模型的工程化部署。此外,DeepLab v3+引入了的編碼器-解碼器結構,使得網絡中保留較多的淺層信息,特征圖更好地表征對象邊界情況,更有利于對噴管喉部區域邊緣的精細化分割。因此,選擇DeepLab v3+模型,作為噴管喉部區域分割任務的基礎模型。

DeepLab v3+網絡結構主要包括編碼器和解碼器兩部分。編碼器中,輸入圖像經過主干網絡進行特征提取,輸出作為ASPP的輸入,并行接入5個不同模塊后,得到的張量拼接后輸出。解碼器從編碼器中獲取經過主干網絡提取的低層特征張量,以及經過ASPP模塊進一步提取的深度特征張量,其將該兩種張量特征進行拼接,最終經過上采樣輸出。

盡管相比DeepLab v3+模型在一般的語義分割任務中取得了較好的效果,但在噴管喉部圖像區域分割任務中,仍無法達到較高精度的要求,尤其是噴管喉部區域邊緣處的分割結果。因此,在噴管喉部區域分割任務中,采用基于DeepLab v3+的改進模型,如圖3所示。相比DeepLab v3+原始結構,主要對模型進行了兩部分改進,改進部分如圖3中黃色框所標注。

圖3 喉部區域分割模型結構

首先,為減少參數量,使其更適應于噴管喉部分割任務小樣本下的模型訓練,同時減小計算量,便利模型在實際中的部署,將原DeepLab v3+中的主干網絡Xception,改為MobileNet v2[20]主干網絡。MobileNet v2同樣采用了深度可分離卷積,以減少參數量和計算量。同時,MobileNet v2引入倒置殘差結構與線性瓶頸結構,將原殘差結構中的卷積降維、標準卷積提取特征、卷積升維,倒置為卷積升維、深度卷積提取特征、卷積降維,更好地保留了高維特征信息,并用線性激活函數替換了ReLU激活函數,減少了模型從低維特征到高維特征提取過程中的信息損失量,對于噴管喉部邊界的細粒度分割能實現更好的效果。

同時,為更好地提升喉部邊緣區域的分割效果,由于在卷積、池化等過程中損失了部分原始圖像細節,應提升模型對低維特征的關注度。因此,改進的DeepLab v3+在ASPP模塊中引入多尺度注意力模塊[21],優化ASPP模塊對圖像不同層級特征的表征能力。在ASPP中,不同擴張倍數的空洞卷積感受野不同。因此,主干網絡輸出的特征張量經過不同的空洞卷積層生成不同尺度的特征張量,其包含的特征信息特點也不同。在此,引入多尺度注意力模塊,對不同層級的張量特征賦予不同權重。

2.2.2 損失函數

基于機器視覺的分割方法的最終效果,與訓練過程緊密相關。其中,損失函數對最終的訓練效果起到了很大作用。為了提升模型的最終效果,改進了訓練中的損失函數。

在喉部區域分割任務中,噴管喉部區域特征單一,容易識別,分類錯誤的幾率較小;噴管喉部外部區域像素特征也較為相近,尤其是無外部光源干擾的情況下,分割錯誤的幾率也較小;而噴管喉部邊緣地區,噴管喉部內外部像素特征的差異性較大,對分割結果起到重要作用。因此,提升噴管喉部邊緣地區在損失函數中的權重,使得網絡訓練過程中,更關注噴管喉部邊緣地區的分割結果。

常用的二元交叉熵損失函數定義為

(1-yi)·log(1-p(yi))]

(1)

式中y代表像素標簽,其值為0或1;p(yi)為該標簽的概率。

改進后的損失函數定義為

(1-yi)·log(1-p(yi))]

(2)

式中wi為權重系數,其值由式(3)決定:

(3)

式中C為圖像中邊緣區域像素組成的集合;λ為加權因子,其值大于1。

訓練過程中生成圖片中邊緣區的方式如下:首先,利用Moore-Neighbor算法[21-22],對標注后的噴管喉部區域邊緣進行提取;遍歷提取的邊緣像素點,與邊緣像素點在像素坐標系下的距離不超過設定閾值的像素點,加入邊緣區域像素集合中。噴管喉部圖片中邊緣區域像素的示例如圖4所示。圖4中,紅色標記出的區域為邊緣區域像素集合C。

圖4 喉部邊緣區域像素集合示意圖

2.2.3 數據增強

基于機器視覺的方法對于數據的依賴性一般較高,而DeepLab v3+模型的參數量相對較多,需要一定量的圖片數據以及對應真值來進行模型的訓練。而發動機噴管喉部圖片數量較少,且精細化的真值標注過程較為復雜,因此,采用數據增強的方式,對少量已標注的發動機噴管喉部數據做數據增強處理,以獲取較大量的數據,避免過擬合,提升模型魯棒性。

采用的數據增強方式包括旋轉、平移、放縮、噪聲疊加、亮度調整、對比度調整。對于旋轉、平移、放縮,對一張噴管喉部圖片施加隨機的旋轉量、平移量、放縮比例,得到新的圖片。由于本方法中,噴管喉部與試驗臺各部分相對位置固定,照射的噴管喉部投影位置不會有較大變動,因此在增強中應設定較小的隨機平移量上限。對于噪聲疊加,對一張噴管喉部圖片施加隨機參數的椒鹽噪聲或高斯噪聲,得到新的圖片。對于亮度、對比度調整,對一張噴管喉部圖片隨機設定調整相應參數,實現增強圖片的生成。單張噴管喉部圖片進行數據增強處理后得到的結果如圖5所示。

2.3 噴管喉徑計算

2.3.1 后處理

對語義分割得到的二值化結果,還需對其進行后處理,以提升分割效果。

已知噴管喉部區域集中分布于單個連通的區域,后處理步驟主要將少部分可能錯誤分割的位于喉部內側、以及喉部外側的離散像素進行篩除,其具體實現方式步驟包括:

(1)提取分割后圖像中的連通區,即被分類為喉部區域的連通區;

(2)統計各連通區總像素面積;

(3)僅保留面積最大的連通區,將其他連通區像素語義賦值為非喉部區域語義;

(4)對唯一保留的連通區內部語義為非喉部區域的像素,賦值為喉部區域。

通過上述步驟,可消除少部分錯誤分類的離散像素點對最終結果的影響。

2.3.2 面積計算

為獲取噴管喉部真實物理直徑,還需進一步將像平面中的像素單元大小,轉化為真實物理空間中的長度尺寸。對喉部區域分割結果圖,首先統計其中為喉部區域的像素個數,設像素總個數為N,定義比例因子s,其含義為圖像中每像素邊長所代表的實際長度,單位為毫米/像素。由此,可求得喉部區域面積S:

S=N×s2

(4)

則依據圓的面積公式,可求得噴管喉部等效直徑D:

(5)

2.3.3 比例因子標定

對比例因子,采用棋盤格標定方式,對像平面像素面積到真實物理世界面積的轉換關系進行標定[22]。標定過程中,首先如圖6所示,將棋盤格平放置于投影面處,拍攝若干張圖片。

圖6 標定使用的棋盤格及角點檢測結果

對采集到的圖片,通過角點檢測[22],檢測圖像中棋盤格角點在像素平面中的位置,進而推出棋盤格中,各正方形小格在像素平面中的邊長,并求得像素平面方格邊長平均值limg。已知棋盤格中每小格真實邊長lworld,則投影面上物體實際物理長度與像素平面物理長度之間的比例因子s為

s=lworld/limg=5/380≈0.01317993(mm/px)

(6)

3 實驗結果與分析

3.1 喉部區域分割

實驗中,共使用5個發動機噴管喉部進行測試,用于實驗的發動機噴管喉部如圖7所示。每個噴管喉部采集40張圖片。對單個噴管喉部,每次圖片采集后,需將噴管喉部從固定臺上取下,再重新放置于固定臺,以保證數據的變化性。同時,為衡量系統魯棒性,增強數據豐富度,對同一個噴管圖片,采集時對環境光源施加干擾,干擾因素包括環境光強度:強光、中光、弱光,以及環境光照射方向:上方、側方。實驗使用的數據集示例圖片如圖8所示。

圖7 發動機噴管喉部真實圖

圖8 發動機噴管喉部投影圖數據集示例

隨機選取其中3個噴管喉部數據作為訓練集,其余2個噴管喉部數據為測試集。對于噴管喉部圖像分割任務,為了提升真值的精度,通過人工方式進行逐像素的像素級標注,類似于計算機視覺中實例分割任務的標注方法,不同于常規語義分割的連線段的區域標注方法,可確保達到1個像素的真值精度。根據標定結果,一個像素格代表的面積是0.000 17 mm2,對本系統的語義分割任務是可以滿足精度要求的。對訓練集3個噴管喉部共120張圖片,采用數據增強方式,對其進行擴充,得到共1200張圖片,作為最終的訓練集數據。實驗在配有NVIDIA GeForce GTX 1080 GPU(8 GB顯存)的平臺上進行訓練,訓練過程的部分參數設置見表1。

表1 模型訓練參數

對喉部區域分割精度的評估,采用語義分割中最常用評估指標,平均交并比(mIoU)進行評估,mIoU的定義如下:

(7)

式中k代表類別數;pij代表真實類別為i、被預測為j的數量。

mIoU能體現語義分割中真陽性與假陽性、真陰性、假陰性的指標情況,考慮不同類別分割結果的精度,綜合反映模型的性能。

將提出的改進后的DeepLab v3+方法,與原始Deeplab v3+方法、其他常用語義分割模型,以及傳統圖像處理方法進行性能對比。其中,傳統圖像處理方法,采用圖像自適應二值化提取亮度差異較大區域,通過開運算操作去除二值化圖像中的噪聲點,提取圖中最大連通域作為喉部區域提取結果。在8個噴管喉部圖像數據上的平均結果如表2所示。

從表2可以看出,在帶有GPU的檢測平臺上,使用改進后的DeepLab v3+與傳統分割方法相比,噴管喉部區域分割的耗時更短,且改進后的DeepLab v3+得到的分割結果精度明顯高于傳統方法,能夠實現更好的噴管喉部區域提取效果。除此以外,相對其他語義分割模型,以及原始DeepLab v3+方法,改進后的DeepLab v3+方法,精度更高,耗時更低,更適應于噴管喉部區域提取任務。同時,在圖9中給出了兩組基于改進后的DeepLab v3+與基于傳統方法的噴管喉部區域提取的結果圖,圖9中紅線為提取的喉部區域結果?？梢钥闯?傳統方法提取的噴管喉部邊緣處較為粗糙,且對于外部光照干擾的適應性較差;而模型對噴管喉部區域邊緣的提取效果更好,對外部環境光照魯棒性強,利于取得更高精度的提取結果。

(a)Traditional method (b)Improved deepLab v3+

表2 基于DeepLab v3+的噴管喉部區域分割方法與其他模型及傳統圖像處理方法效果對比

3.2 系統方法驗證

為驗證整個系統方法的準確性,設置平行光源和標定方法的驗證環節,使用噴管喉部標準件,對比例因子進行驗證,步驟如下:(1)選取有直徑真值的、未經使用磨損的噴管喉部件數個,采用文中噴管喉徑測量系統,對其進行投影圖拍攝;(2)對拍攝所得結果圖,人工標注其中噴管喉部區域;(3)通過圖中像素面積,以及比例因子,對噴管喉部區域真實直徑進行計算。在實際測試中,經比例因子計算的測量值,與標準件直徑真值,相差不超過0.020 mm,證實了整個系統方法的準確性。

3.3 喉徑測量

本節中,對測試集數據上最終得到的噴管喉部等效直徑測量結果進行評估,統計同一噴管喉部多次測量的直徑結果,觀察多次測量結果的精度以及重復性,其中單個噴管喉部上,有光照干擾與無環境光干擾情況下,測量最終結果如圖10所示?？梢钥闯?采用基于機器視覺的固體火箭發動機噴管喉徑測量方法,等效直徑測量精度較高,滿足0.05 mm測量精度的要求。同時,不同外部環境光照射條件下,噴管喉徑測量結果相對無環境光干擾時精度略有下降,但仍滿足誤差要求,對外部環境光變化的魯棒性較好。同時,為了驗證改進的DeepLab v3+中改進的多尺度注意力模塊,以及損失函數對喉徑測量精度的提升作用,進行消融實驗,以驗證各模塊對最終喉徑測量精度的影響,結果如表3所示?？梢钥闯?損失函數的改進,可以細化邊緣分割結果,對最終結果有較大的改善。多尺度注意力的加入,使得網絡對不同深度特征賦予不同權重,進一步提升了噴管喉部直徑的測量精度。

表3 基于改進的DeepLab v3+的喉徑測量消融實驗結果

(a)Without external light interference (b)External light interference

4 結論

本文提出了一種基于機器視覺的固體火箭發動機噴管喉徑測量方法,利用工業級高分辨率單目相機獲得面激光投影圖像,并通過一種新的基于DeepLab v3+的圖像分割網絡模型提取喉部,進而完成噴管喉徑測量。通過在真實噴管上進行實驗表明,該方法相比于傳統方法,在精度方面,取得了優于0.05 mm的良好性能,且具有較低的計算復雜度和較高的環境魯棒性,能夠應用在具有光照變化干擾的真實工作場景,具有較好的應用價值。