基于單目視覺的飛行器著陸跑道識別方法研究

劉 坤,肖子涵

(西安航空學院 電子工程學院, 西安 710077)

0 引言

機場跑道是指飛機場內航空飛行器(以下簡稱為飛行器)用來起飛或降落的條形區域,是機場基礎設施的核心區域之一。準確識別機場跑道對于保障航空運輸安全和提高運行效率具有重要意義。相較于有人駕駛飛機所采用的交互式引導而言,通過主動識別跑道,完成自主著陸是當前飛行器控制技術研究的熱點問題。

目前,采用視覺圖像開展跑道檢測識別,主要以模版匹配法[1-3]和特征檢測法[4-5]為代表。其中,模版匹配法通過將采集到的圖像與預先建立的模板庫進行相干匹配,檢測識別出跑道特征。該方法具有檢測速度快的優勢,但由于模板庫的建立費用高且困難,導致實際應用中準確率較低。特征檢測法利用圖像的局部特征,如顏色、形狀、邊緣等,進行目標檢測和識別。在跑道識別中,需要預先了解機場跑道的特征和已知樣本的特征,并進行訓練和學習才能實現準確檢測和識別。上述方法能夠識別出跑道信息,但未從飛行器著陸的需求角度提取跑道與機體間的相對關系。

本文以單目攝像頭為輸入端,依據飛行器著陸任務對跑道特征的需求,以單目攝像頭為輸入,采用圖像處理的方法,提取并感知跑道相對飛行器的位置關系,進而為飛行器著陸提供必要的引導信息。

1 機場跑道特征分析

機場跑道一般為長條形,由特殊材料(如瀝青和混凝土)鋪設,寬度和長度應滿足不同機型的起降需求。正確識別跑道,對飛行器起降安全至關重要。機場跑道標識通常由跑道邊線、跑道入口標志、跑道中線、跑道號碼、接地區域標志和瞄準點標志組成。目前,有關跑道識別的研究主要集中于跑道邊緣特征、標志特征的識別。從飛行器著陸過程實際來看,還應關注機體與跑道間的相對位置關系。

飛行器著陸由進場、軌跡捕獲、下滑、拉平以及地面滑行等五個階段構成。當高度和速度滿足合適條件后,對機場跑道的捕獲成為著陸的必要條件。確定跑道與機體之間的相對位置關系,建立下滑軌跡,并沿該軌跡飛行,高度不斷降低,直至接觸地面,發動機反推,剎車減速滑行。在無交互引導的情況下,對跑道與機體相對關系的感知尤為重要。

機體與跑道中線之間存在多種相對關系。三維空間可能出現飛行器與跑道高程差超出、處于以及小于安全著陸范圍等多種情況;二維投影空間可能出現機體與跑道中線間存在平行、垂直以及相交等多種情況。圖1所示為不同機場的跑道圖像,可以看到航拍跑道與機體之間存在多種位置關系。

圖1 跑道圖像

機場跑道與飛行器機體相對位置關系的檢測和機場跑道識別是為引導飛行器著陸。

2 基于單目視覺的機場跑道識別算法

2.1 視覺引導著陸原理

著陸階段,對飛行器的高度、航向均有一定的要求。飛行器高度應與跑道處于一定高程差范圍內,飛行器的航向延長線應與機場跑道中線相重疊。實際中,兩者之間往往存在一定的角度,需要飛行器調整自身航向,以滿足著陸要求。

因飛行器飛行姿態與軌跡的動態變化,在視場內呈現出的跑道圖像也處于不斷變化中。如下圖2中,橙色線(垂直線)為單目攝像頭呈現的中線,該線與機體航向延長線重合,圖中黑線為跑道邊緣示意線,虛線為跑道中心線。

圖2 飛機跑道在單目視覺下的理論圖像示意圖

由圖2可以看到,機體與跑道之間存在多種相對位置關系。在著陸時,若機體航向與跑道中線不重疊,由于飛行器著陸速度大,飛行器無法及時調整航向,容易導致飛行器沖出跑道,引發安全事故。為此,需要計算出兩者之間的相對位置關系,在空中時,及時調整飛行器姿態,達到安全著陸要求。

2.2 跑道識別算法

為獲取跑道相關特征,以目標識別方法處理跑道圖像。相較于雙目攝像頭而言,雖然單目攝像頭僅能獲取二維圖像,但在場景深度較大的環境下,應用范圍更廣,且成本較低。

通過單目攝像頭,獲得機場跑道靜態圖像。先對圖像進行預處理,包括灰度、二值、濾波、膨脹腐蝕以及邊緣檢測等,再采用直線檢測法,結合機體航向,給出跑道中線與機體航向間的角度關系,算法流程如圖3所示。

圖3 算法流程圖

3 跑道識別的實現

3.1 圖像預處理

在對獲取到的機場跑道圖像進行分析時,通過圖像的預處理[6],能夠提升圖像的質量,增強圖像細節,便于后續識別,從而更精細地構建識別算法,更加精確地獲得更多跑道的有用信息。依據2.2節所述算法流程,對圖像進行灰度化、濾波、二值化、膨脹腐蝕、邊緣檢測等預處理[7-8]。

3.1.1 圖像灰度化

為提高圖像處理效率、突出圖像目標,首先對彩色圖像進行灰度化處理。對于RGB圖像而言,當三個分量數值相等時,圖像為灰度圖像,灰度范圍為0～255。當灰度為255時,表示最亮;當灰度為0時,表示最暗。

常見的灰度化處理方法主要有三種:(1)最大值法,取R、G、B,三個分量中數最大的分量的數值;(2)均值法,取R、G、B三個分量中數值的均值;(3)加權平均法,根據人眼對于R、G、B三種顏色的敏感度,按照一定的權值進行加權平均得到。為保持圖像均衡,此處采用加權平均的方法進行圖像灰度化處理。

3.1.2 圖像濾波

在灰度化處理后,考慮到實際圖像在產生和傳輸過程中的信號不可避免地會與一些噪聲混合。因此,需要對灰度化后的圖像進行降噪處理,消除或降低噪聲對圖像的影響,提高邊緣檢測的精度,有利于后續導航作業。

常見的濾波去噪方法,主要有平滑濾波、中值濾波、高斯濾波。

3.1.3 邊緣檢測

邊緣是圖像中像素灰度值發生突然變化的區域,這些邊緣通常對應于物體的輪廓或邊界,是圖像中物體的基礎特征之一。邊緣可以是亮度上的變化、顏色變化或物體邊界等。在圖像分析和計算機視覺應用中,邊緣通常是非常重要的信息,可以提供有關圖像中對象和場景的許多細節信息。邊緣檢測是圖象處理邊緣中的一項重要技術。

在邊緣檢測領域,微分算子被廣泛應用于各種情況,包括一階微分算子,如Roberts、Sobel、Prewitt等,以及二階微分算子,如Laplacian、Canny等,它們在解決復雜問題時發揮著重要作用。

在灰度、濾波、二值化等處理后,對比了前述五種邊緣算子的邊緣檢測效果,結果如圖4所示。

圖4 不同邊緣檢測效果圖

根據邊緣檢測效果可知,Roberts算子具有較高的運算速度,因此在邊緣檢測領域中仍廣泛使用。但在實際的應用中,相對于其它的邊緣提取算子,該算子對噪聲非常敏感,更適用于既需要突出邊緣又不會受到太多噪聲干擾的圖像分割中。

Sobel算子本身有濾波功能,在計算過程中,采用了卷積運算,簡單高效,效果優于Roberts算子,能更有效地提取出邊緣信息,從而提高精度。

Prewitt算子是一種常用的邊緣檢測算子,具有靈敏度高、分辨率較高、對噪聲抑制效果好等特點,可以用于實時邊緣檢測應用中。在實踐中,可以根據不同的應用需求選擇不同方向的卷積核來進行邊緣檢測。

Laplacian算子靈敏度較高,對圖像中的高頻部分非常敏感,可以很好地檢測到邊緣。還可以提高圖像的對比度和清晰度,用于圖像的增強。不過Laplacian算子對噪聲非常敏感,所以在對含有噪聲的圖像進行邊緣檢測時,可能會出現誤檢測和漏檢測。

Canny算子采用了兩個閾值來區分強邊緣和弱邊緣。它首先計算圖像中每個像素點的梯度和方向,然后根據這些梯度和方向信息來確定像素點是否位于邊緣。通過仿真可以看到,相比于其它邊緣檢測算法, Canny算子能夠更準確地檢測出真正的邊緣,同時排除一些假陽性檢測。因此,文章后續研究中將采用Canny算子進行邊緣檢測。

3.2 跑道參數提取

在對機場跑道圖像預處理的基礎上,獲取跑道與機體相對位置關系是跑道識別的目的。以跑道中線為提取要素,建立中線與機體航向的夾角關系。

3.2.1 跑道直線特征提取

Hough直線檢測是一種圖像處理算法,用于從圖像中檢測出直線。Hough直線檢測將圖像空間中的直線檢測問題轉換為參數空間中的點檢測問題,利用點與線的對偶性,即圖像空間中的直線與參數空間中的點一一對應,通過在參數空間中尋找峰值來完成直線檢測任務。二維平面中,可采用兩點式建立直線方程,設平面內可得兩點坐標為P1(x1,y1)與P2(x2,y2),則直線表征如下

(1)

為避免直角坐標系內求解方程出現無窮問題,將直線方程轉換至極坐標系,采用表征,故而式(1)又可描述如下

xcosθ+ysinθ=r

(2)

式(2)中:極坐標方向為圖像橫軸;θ為直線上的點與極軸夾角;r為直線上的點到定點距離。利用式(2)可建立圖像中任意直線所對應的參數(r,θ)關系。

結合圖2,以圖像中的橙色線(圖中垂直線)為機體航向。在機體坐標系內,則跑道方向與機體航向之間滿足下式

(3)

式(3)中:σ為機體航向與跑道中線的夾角;ω為航向角。當σ=0°時,機體與跑道對準,在高度差滿足時,可進行著陸。

3.2.2 效果對比圖

利用MATLAB仿真平臺,采用前述算法,對機場跑道進行特征提取和檢測,結果如圖5所示。

圖5 跑道識別算法檢測結果

圖5(a)所示為航拍機場跑道原圖,圖5(b)、(c)、(d)、(e)、(f)、(g)和(h)分別為相應的灰度化圖、二值化圖、膨脹腐蝕圖、Canny邊緣檢測圖、Hough直線檢測圖、跑道中線還原圖及角度計算結果。圖5(f)和(g)中綠色線(斜線)所示為跑道邊緣,紅色垂線為圖像中線,在攝像頭固定后,可視其為機體航向。圖5(g)對跑道中線進行了還原,即圖中藍色線(粗斜線)。圖5(h)中,將檢測所得跑道邊線與航向進行處理,得到兩者之間的夾角。

根據圖5實例分析可知,文中所提算法可以比較準確檢測出飛機主跑道邊界的直線特征,并能進行特征參數的提取,實現跑道中線的檢測,完成跑道識別的工作。

4 總結與展望

基于單目視覺的機場跑道識別是一種利用攝像機獲取機場跑道場景,通過計算機視覺技術實現機場跑道位置估計和識別的方法。本文提出了一種通過檢測跑道邊線特征來對機場跑道識別的算法,在跑道識別之前,通過對跑道圖像的灰度化,濾波處理,跑道圖像二值化,膨脹腐蝕以及邊緣檢測這五個圖像預處理步驟來提高跑道圖像識別的精確性,在進行完跑道圖像預處理后,對跑道圖像進行Hough變換提取跑道直線特征,最后再通過提取出的直線特征參數來計算跑道中線與航向線的角度差,最后在處理過后的圖像中還原出跑道中線,從而完成跑道識別。

本文算法是依靠單目視覺計算來對圖像進行獲取的,單目視覺只能獲取2D圖像信息,無法直接獲取3D物體的深度信息。即使使用一些計算方法,如三角測量,也難以達到較高的精度。在本文中對跑道中線的計算取的是近似值,所得結果不夠精確。因此,引入其它感知技術,如雷達、激光雷達等信息源,將其與攝像頭圖像信息相結合,可以使機場跑道識別更加準確可靠。此外,獲取的圖像容易受到環境光照、天氣等因素會影響圖像質量,在實際中需要加入能夠應對雨、雪、霧等天氣條件的識別算法后續還需深入研究,以提高機場跑道識別的穩定性和準確性。