基于PTZ相機極向投影的鐵路限界自動識別方法

郭保青， 馬學志， 余祖俊， 王耀東， 朱力強

(北京交通大學 機械與電子控制工程學院， 北京 100044)

近年來，我國高速鐵路快速發展,對鐵路防災提出了更高的要求?？焖贉蚀_地檢測侵入鐵路限界的異物對保障乘客生命財產安全、維護鐵路安全運營具有重要意義。

目前鐵路異物侵限檢測方法主要分為接觸式和非接觸式[1]，接觸式一般在鐵路沿線安裝防護網，當有異物入侵破壞防護網時觸發報警，這種方法只能檢測較大的入侵異物且成本較高。非接觸式一般采用紅外、激光、微波和視頻等手段檢測入侵異物，其中視頻方式由于具有安裝簡單、結果直觀的特點應用最為廣泛。文獻[2]利用背景差分和矢量聚類的方法檢測運動目標，采用光流法跟蹤目標取得了較好效果。文獻[3]提出一種基于超像素的鐵路異物檢測算法，使用SVM分類器極大地提高了系統性能。文獻[4]也提出了一種基于前景目標統計分布的鐵路背景更新算法，在提高運算速度的同時解決了傳統背景更新算法難以解決的鬼影問題。為了提高處理速度，文獻[5]嘗試利用FPGA實現鐵路目標運動趨勢分析的異物監測方法。上述基于視頻圖像的鐵路異物侵限監測研究都是基于定焦槍機實現的，需要事先在圖像中劃定1個固定的監測區域，當異物侵入該區域時進行報警。除了定焦槍機以外，鐵路沿線及站內布置有大量的PTZ(Pan-Tilt-Zoom)相機，這些相機一旦姿態或焦距調整后，其監測區域也將發生變化，此時針對固定槍機的目標檢測算法無法應用。如果能在PTZ相機參數變化后自動識別限界區域，針對固定槍機的檢測算法就能應用于這類相機，因此研究針對PTZ相機的鐵路限界自動識別方法具有重要意義。

針對PTZ相機，文獻[6]利用圖像局部特征建立了1種球面模型，利用支持向量機訓練該模型，實現了該球面模型上運動目標的跟蹤。文獻[7-8]同時使用1個PTZ相機和1個固定相機進行運動目標跟蹤，其中文獻[7]通過同一采樣點在2個相機中的相對位置關系確定2個相機光學中心的相對位置，得到2個相機視野的變換關系；文獻[8]提出Tsai擴展算法完成相機標定，然后利用固定相機選擇目標，利用PTZ相機跟蹤運動目標。以上文獻都是利用PTZ相機進行運動目標跟蹤的方法，但并不關心目標與場景的位置關系。在鐵路場景中，異物侵限檢測的目的是判斷是否有異物侵入了鐵路限界。因此，對于鐵路PTZ相機，參數變化后首先要確定新視野中鐵路限界的位置。由于相機姿態和焦距調整比較頻繁，不可能每次進行手動標記，必須研究自動識別鐵路限界的方法。

鐵路限界可以用鋼軌位置定義，因此自動識別鐵路限界的首要任務就是檢測圖像中的鋼軌。針對鋼軌的檢測，文獻[9]應用彩色圖像中不同區域HSL色彩空間中色相值突變特征提取圖像中的鋼軌邊界點，對多條不同等分線處鋼軌邊界點進行直線擬合確定鋼軌邊緣。文獻[10]提出一種局部線性檢測算子(LLPD)用于鐵路場景鋼軌檢測，該算法將局部線型歸納為8個二值圖像內的模板。文獻[11]基于Radon變換推導出Bresenham算法用于直線鋼軌檢測。文獻[12]提出一種基于Canny邊緣檢測和聚合接續法的鋼軌邊緣提取方案。文獻[13]提出一種基于高速CCD相機移動立體成像技術進行鐵路建筑物限界狀態和相關參數快速自動檢測的方法。以上算法都是針對白天光線充足條件下且鋼軌占據相機視野絕大部分的簡單場景下的鋼軌檢測，適用性較差。

本文主要解決PTZ相機姿態或焦距變化后在新視野中自動識別鐵路限界的問題。通過匹配PTZ相機參數改變前后圖像中對應的Sift特征點確定兩幅圖像間的變換矩陣，利用該矩陣將原圖中的鐵路限界區域轉換到當前圖像中。為了使變換后的圖像在原圖中都能找到匹配點，將相機的最大視野圖像作為待匹配的原圖；由于光線多變，不能保證在所有時刻的圖像中都能找到原始圖像中的匹配點，本文提出基于分時圖像融合的匹配模板生成方法。模板中的鐵路限界通過自動檢測圖像中的鋼軌實現，為了增強圖像中的鋼軌特征，提出了基于小波分析、形態學分析與連通域標記的預處理方法；針對增強后的二值圖，提出基于平行鋼軌極向投影檢測圖像中鋼軌的方法。由于每次都在當前圖像中自動檢測鋼軌運算量較大，為了提高運算速度，相機姿態或焦距變化后采用Sift匹配算法確定當前圖像與模板圖像中的匹配點對，進而計算兩幅圖像間的變換矩陣，利用該矩陣將模板圖像中的限界區域轉換為當前圖像中的限界區域。

1 基于分時圖像融合的匹配模板生成

當PTZ相機姿態或焦距變化后,預設的限界區域將會發生變化，為了能夠通過特征匹配在新圖像中找到限界，需要維護一個匹配模板。由于天氣、光照等自然因素的變化，相機不同時刻的圖像質量差別較大，不能直接使用某幅圖像作為匹配模板，需要找到1個在不同光照下都能使用的通用模板用于后續特征點對的匹配。

由于PTZ相機可通過軟件設置“預置位”，當相機恢復至“預置位”時，相機的姿態和焦距即可自動恢復為原來的參數。本文利用PTZ相機的這一特點通過分時圖像融合方法得到適合各種復雜光線條件的匹配模板，并定期進行更新，使模板包含更豐富的信息。

為了能在匹配模板中找到對應的匹配點，調整相機角度、焦距，使待檢測的區域位于相機焦距最小時的視野中心位置，此時的相機視野最大，并將此時相機的姿態和焦距記錄為“預置位”。為了使匹配模板能夠適應復雜的光線條件，模板更新公式為

Mi(x,y)=αMi-1(x,y)+βIYi(x,y)

(1)

式中:Mi(x,y)為本次更新后的匹配模板;Mi-1(x,y)為上次更新后的匹配模板;IYi(x,y)為當前時刻相機恢復“預置位”處采集的圖像;α、β為融合系數。為進一步增強模板的適用性，需根據實際光線條件對融合系數α、β進行調整。在白天光線充足條件下，適當增大α，減小β；在夜間光照不足時,適當減小α，增大β。根據現場實驗經驗，白天時取α=0.8,β=0.2，夜間時取α=0.6,β=0.4。

初始匹配模板M0的獲得是通過分別在白天和夜間預置位采集1幅圖像，并將采集到的兩幅圖像按照式(2)融合實現。

M0(x,y)=0.25Id(x,y)+0.75In(x,y)

(2)

式中:M0(x,y)為初始匹配模板;Id(x,y)為白天獲取的預置位圖像;In(x,y)為夜晚獲取的預置位圖像。利用白天和夜間圖像按照1∶3的比例融合成的初始模板，見圖1。

(a) 白天圖像 (b) 夜天圖像 (c) 初始模板圖1 初始模板生成

獲得初始模板后， PTZ相機每天0:00時刻和12：00時刻恢復預置位,分別獲取1幅夜間和白天圖像不斷更新匹配模板，該模板圖像包含了不同時段不同天氣條件下的信息，具有更強的適應性。

2 基于小波與形態學的圖像預處理

由于匹配模板中鐵軌的位置是固定的，因此可以通過檢測模板中的鋼軌實現模板圖像限界區域的自動識別。為了突出圖像中的鋼軌特征，需要對模板圖像進行預處理操作。本文采用的預處理操作主要分為Haar小波分析、形態學斷線重連和連通域標記初步確定鋼軌3個步驟。

2.1 Haar小波分析

小波變換中，近似值是大的縮放因子產生的系數，表示信號的低頻分量，細節值是小的縮放因子產生的系數，表示信號的高頻分量。通過比較Biorthgonal、Symlets、Haar常用小波基的效果，Haar小波在運行速度和特征提取效果上都占優，因此本文使用Haar小波完成圖像分析。

Haar基函數φ(x)定義為

(3)

Haar小波函數ψ(x)定義為

(4)

對1個包含4個像素的一維圖像a([a(1)a(2)a(3)a(4)])進行Haar小波變換得到圖像b，變換過程為

(5)

式中:[b(1)b(2)]是原圖像的近似(低頻)圖，包含圖像a的大部分能量，但是分辨率是原圖像的一半，[b(3)b(4)]是原圖像的細節(高頻)圖，能量很少。表1以[11 9 5 7]為例，展示了2次Haar小波變換的結果。

表1 Haar小波變換過程

從表1可以看出，每進行1次小波變換，分辨率減半，因此分辨率為1×4的圖像最多只能進行2次小波變換。本文首先對原始圖像逐行完成1次小波變換，再逐列完成1次小波變換，得到原圖像的水平、豎直均近似(LL)，水平近似、豎直細節(HL)，水平細節、豎直近似(LH)和水平、豎直均細節(HH)4個分量圖，原圖分辨率為960×1 280，小波變換后各分量圖分辨率為480×640。因為細節分量圖能量很小，不利于直接觀察，因此分別對HL、LH、HH 3個分量圖做直方圖均衡化，結果見圖2。

(a) LL (b) HL

(c) LH (d) HH圖2 Haar小波變換結果

圖2(a)保留了原圖的絕大部分能量，與原圖非常相似，對LL分量圖進行處理的意義不大。對比其他3個細節分量圖，發現圖2(b)在保留部分原圖信息的基礎上，鋼軌特征比較突出，因此選用HL分量圖進行后續操作。

利用Biorthgonal、Symlets、Haar小波基提取的HL分量圖見圖3，其中Haar小波保留的鋼軌特征最完整、最突出；3種小波分析的運算時間見表2，由表2可見，Haar小波在運算時間和處理效果上都有一定的優勢。

(a) Biorthgonal小波 (b) Symlets小波 (c) Haar小波 圖3 不同小波分析結果

表2 不同小波基運算時間比較s

2.2 形態學閉運算斷線重連

為方便后續處理，對HL分量圖做二值化操作。觀察發現，圖像整體偏“白”，為了獲得效果較好的二值化圖像，需設定較大的二值化閾值，本文選定的二值化閾值為240，二值化操作原理為

(6)

式中:D(x,y)為二值化后點(x,y)處的像素值;HL(x,y)為HL分量圖坐標(x,y)處灰度值。

二值化結果見圖4(a)。由圖4(a)可見，鋼軌的某些部分存在“斷裂”情況，這會對后期的鋼軌檢測帶來嚴重影響。本文通過一次形態學閉運算解決二值圖像中鋼軌的“斷裂”問題，完成斷線重連。形態學閉運算是一種重要的形態運算，包括先膨脹后腐蝕兩個過程。

膨脹是圖像向外擴張的過程，可以用于橋接縫隙，填補物體中的細小空洞，而腐蝕則是向內收縮的過程，可以用于消除獨立的點或小物體。定義集合A為一幅圖像，S為進行形態學操作的結構元素，設其幾何中心為S[o]。用S對A進行膨脹可以表示為A⊕S，其中⊕為膨脹算子。膨脹運算定義為

A⊕S={x|S[x],S[o]∩A≠?}

(7)

式(7)表明膨脹過程就是將結構元素的中心S[o]與圖像A進行與操作，若結果非空，此時結構元素所在區域即變為圖像A中此處的目標區域，將結構元素S在圖像A內平移，遍歷整幅圖像，S掃過的區域集合即為A中的目標區域。

用S對A進行腐蝕可以表示為AΘS，其中Θ為腐蝕算子。腐蝕運算定義如下

AΘS={o|S[o],S[x]?A}

(8)

式(8)表明腐蝕結果就是將S在A中平移，遍歷整幅圖像，當S完全被A包圍時S的中心S[o]掃過的區域集合。

通過先膨脹后腐蝕的形態學閉運算，完成了目標中細小空洞的填充、相鄰目標的連接和目標邊緣的平滑，完成了二值圖像中鋼軌的斷線重連，使鋼軌特征更加突出，結果見圖4(b)和圖4(c)。

2.3 連通域標記初步篩選鋼軌

形態學閉運算后的圖4(c)中仍存在許多獨立的“白點”，以及一片較大的白色區域，這些都會影響后期鋼軌檢測的效果。本文提出基于8鄰域的連通域標記方法以降低上述影響。連通域標記就是將二值圖像中彼此相鄰(8鄰域)的“白點”(像素值為1)標記為同一個目標的過程。

連通區域的標記示意見圖5，過程為

圖5 連通域標記示意

Step1掃描第1行，得到兩個塊[2,4]和[7,10]，分別標記為1和2。

Step2掃描第2行，得到兩個塊[4,5]和[7]，但是他們分別與上一行的兩個塊1、2的8鄰域有重疊區域，所以將[4,5]標記為1，將[7]標記為2。

Step3掃描第3行，同樣得到兩個塊[1,2]和[6,7]，[1,2]與上一行被標記的塊的8鄰域均沒有重疊區域，所以將其標記為一個新的塊3，而[6,7]與上一行兩個塊的8鄰域都有重疊，所以標記為兩者中最小的標號，即1，塊1、2實際為同一個塊，所以將塊1、2均標記為1，將3標記為2。

Step4遍歷圖像，直到所有值為1的像素均被標記完為止。

完成連通域標記后，二值圖像被標記為許多不同的目標，統計各目標所包含的像素數。實驗中發現，像素個數小于150的都是一些零散的噪聲，而像素個數大于5 000的多為反光造成的大片白色區域，將這些確定不是鋼軌的目標剔除能夠很大程度上提高后期算法的檢測精度，過程為

(9)

式中:i為被標記的第i個目標；S(i)為第i個目標包含的像素個數。

連通域標記后利用式(9)初步篩選前后的結果見圖6，從圖6中可以看出，經過上述預處理后鋼軌特征更加突出，便于后期檢測。

(a) 篩選前 (b) 篩選后圖6 連通域標記處理結果

3 基于極向投影的鋼軌檢測方法

經過上述預處理后，圖像中的鋼軌特征已非常突出，但仍存在許多干擾噪聲，準確地檢測所有鋼軌位置仍面臨挑戰。本文針對現實場景中直線鋼軌平行的特點，提出利用Hough變換檢測兩條鋼軌確定消隱點，進而利用極向投影檢測其他鋼軌位置的方法。

3.1 Hough變換確定平行鋼軌消隱點

根據攝像機成像模型，經過透視投影成像后，空間相互平行的直線將在成像平面中相交于一點，稱為消隱點。消隱點成像模型見圖7，三維場景中的正方形棋盤格經過透視投影成像后在圖像平面中，其中所有縱向直線相交于O1點，所有橫向直線相交于O2點，這兩個點分別為兩束平行線的消隱點。由于鐵路直線區段場景中所有鋼軌都是平行的，利用透視投影關系可知，這些鋼軌具有相同的消隱點，確定消隱點有助于鋼軌的檢測。

圖7 消隱點成像模型

消隱點可以利用現實平行線束中任意兩條平行線在圖像中的交點確定，因此只要在鐵路場景圖像中檢測出兩條鋼軌即可確定平行鋼軌的消隱點。鋼軌檢測利用Hough變換實現，Hough變換是一種由二維空間到參數空間的映射，常用于圖像空間中的直線特征檢測。由于二維空間的某一點對應于參數空間的某條直線，二維空間的共線性對應于參數空間的共點性，因此可以通過對參數空間某個點對應的計數提取二維空間中的直線參數。本文中利用Hough變換檢測圖像中鋼軌的結果，見圖8。

圖8 Hough變換檢測結果

圖8中檢測結果并不理想，6條鋼軌不能全部準確檢測，同時還檢測出了許多其他位置的直線，存在誤檢與漏檢情況。由于直線鐵路區段各股道的鋼軌相互平行，表現在圖像平面上即為各鋼軌直線應相交于相同的消隱點。本文使用Hough變換檢測直線特征最明顯的兩條直線確定鋼軌消隱點，其位置通過求解兩條鋼軌直線方程的交點獲得，見圖9。

圖9 獲得消隱點

3.2 極向投影確定鋼軌位置

由于實際場景中其他鋼軌與檢測出的兩條鋼軌相互平行，因此，圖像中的其他鋼軌也應通過該消隱點。本文提出的極向投影直線檢測方法就是以消隱點為中心，沿各角度向消隱點做極向投影，統計各方向上白色像素點的個數。若某角度上存在一條鋼軌直線，則該方向上的白色像素累加值必定是一個峰值?？紤]到鋼軌只存在于消隱點下方，為減小運算量，角度范圍取(-180°，0°)，步長為0.5°。

獲取某方向像素累加值的關鍵是得到該方向的直線方程，過消隱點(x0,y0)且方向為θ的直線截距。

b=y0-tanθ·x0

(10)

則該直線可以表示為

y=tanθ·x+b=tanθ·(x-x0)+y0

(11)

式(11)為過消隱點(x0,y0)方向為θ的直線方程?？紤]到像素彼此正交的排列方式，大部分像素點并不會恰好在直線上，實際以橫坐標x為自變量，通過式(11)求得縱坐標y，對y四舍五入求整即可得到位于直線周圍的像素點坐標，見圖10?！啊恪睘橄[點，“×”為橫坐標固定情況下直線周圍的像素點，求該方向的極向投影即把圖10中所有星號點的像素值相加。

圖10 極向投影示意

以0.5°步長遍歷消隱點(-180°，0°)范圍內所有方向，極向投影累加公式為

(12)

式中:(x,y)為角度θ時由式(11)確定的像素坐標;g(x,y,θ)為對應像素點的數值。

圖9的極向投影曲線見圖11。由圖11可見，極值點對應的角度上存在著直線，因為實際圖像中存在6條鋼軌，因此極向投影值最大的6個極值點即為圖像中6條鋼軌的位置，由極值點確定各鋼軌的角度后，

圖11 極向投影曲線

(a) 檢測的鋼軌 (b) 最外鍘鋼軌與限界區域圖12 最終檢測結果

利用式(11)即可求得所有鋼軌直線方程，由此求得的6條鋼軌的位置見圖12(a)，圖12(b)中白色粗線是由最外側兩條鋼軌向外平移一定距離確定的限界區域。

4 基于Sift特征匹配的限界識別方法

由于上述鋼軌檢測算法計算量較大，若每次相機姿態和焦距改變后均執行以上過程耗時較長，不利于實時檢測。為此，本文僅在設備初始化時利用上述方法自動識別限界區域并標記關鍵點，當相機姿態或焦距改變后，通過Sift特征匹配方法將模板中的限界區域映射到新圖像中。

應用特征匹配將匹配模板中的限界區域映射到新圖像中的過程見圖13。圖13左部為匹配模板，模板中的限界區域用多邊形ABCD表示；當相機的姿態和焦距發生變化后獲取的新圖像見圖13右部。此時可以通過特征點匹配確定兩幅圖像之間的變換矩陣，進而將匹配模板中的限界區域映射到新圖像中獲取新的限界區域。假設匹配過程中找到了4對特征點對(1-1′, 2-2′, 3-3′, 4-4′)，利用這4對特征點可以確定匹配模板與當前圖像的坐標變換矩陣T，利用變換矩陣T將原圖中限界區域的4個頂點ABCD變換到當前圖像中得到A′B′C′D′，四邊形A′B′C′D′與當前圖像的交集即為當前圖像中的限界區域，見圖13右部中粗線框。

圖13 限界區域標記示意

本文選用Sift算法完成模板圖像與當前圖像的特征匹配。首先分別檢測兩幅圖像中的Sift特征點，在兩幅圖像的特征點中尋找到具有相同特征矢量的特征點作為匹配點對，剔除匹配點對中的誤匹配點，根據匹配點對計算兩幅圖像間的仿射變換矩陣，再利用變換矩陣將匹配模板中的限界區域關鍵點映射到新圖像中得到新圖像中，對應的關鍵點坐標，進而在新圖像中自動標記出新的限界區域。

Sift算法是將二維圖像I在DoG(Difference-of-Gaussian)尺度空間中檢測出的局部極值作為特征點，具有良好的獨特性和穩定性。DoG算子生成過程為

D(x,y,σ)=

(G(x,y,kσ)-G(x,y,σ))I(x,y)=

L(x,y,kσ)-L(x,y,σ)

(13)

式中:D(x,y,σ)為DoG算子;I(x,y)為圖像(x,y)處的像素值;L為尺度空間;G(x,y,kσ)、G(x,y,σ)分別為不同尺度空間下的二維高斯分布，表示為

(14)

式中:σ為高斯分布的均方差。

通過式(13)尋找圖像中的極值點，以每個極值點為中心，提取其4×4鄰域內每個點的8個方向的梯度方向,共128維信息作為其特征向量。如果兩幅圖像中某兩個特征點的128維特征向量相似，這兩個點便可判定為一組匹配點對。為保證結果的準確性，本文采用RANSAC方法剔除誤匹配點對，剔除后匹配結果見圖14。

圖14 剔除誤匹配點對

當兩幅圖像的正確匹配點數目不少于3對時，即可通過匹配點對的坐標求得兩幅圖像間的變換矩陣T，可計算出新圖像中限界區域關鍵點的像素坐標。

(X,Y)=(X0,Y0)T

(15)

式中:(X,Y)為新圖像中限界區域的坐標矩陣;(X0,Y0)為匹配模板中限界區域的坐標矩陣;T為通過Sift匹配點利用最小二乘法計算得到的變換矩陣。

不同時段和相機方位與焦距調整前后自動識別的限界區域見圖15。匹配模板中利用鋼軌極向投影自動識別的限界區域見圖15(a)，夜間場景的匹配結果見圖15 (b)，相機旋轉后利用Sift匹配獲取的限界見圖15(c)，相機焦距變化后利用Sift匹配獲取的限界見圖15(d)。從匹配結果可以看出，該方法不受光線條件的影響，當相機姿態或焦距變化后，均能在新圖像中準確地標記出限界區域。

為了比較兩種算法在運行時間上的差異，分別利用兩種方法對20組相機姿態或焦距調整后的圖像進行限界區域計算，兩種方法的運行時間見表3。

(a) 模板限界 (b) 夜間識別的限界

(c) 相機旋轉后的限界 (d) 焦距調整后的限界圖15 Sift匹配結果

表3 算法運行時間s

實驗結果表明，基于Sift匹配的限界識別方法相比基于圖像預處理后進行極向投影的方法能將平均運行時間從7.093 s縮短到3.784 s，計算時間縮短47%，雖然3.78 s時間仍然較長，但由于該算法只在檢測到相機姿態或焦距變化后進行，能夠滿足使用要求。

5 結束語

本文針對PTZ相機姿態和焦距變化后由于限界區域改變導致無法自動進行異物侵限判斷的問題，提出一種基于平行鋼軌極向投影的鐵路限界區域自動識別方法。首先采用不同時段獲取的相機最大場景圖像經過分時圖像融合獲得匹配模板，然后應用Haar小波分析、形態學閉運算和連通域標記進行圖像預處理，突出圖像中的鋼軌特征，進而利用Hough變換檢測出特征最明顯的兩條鋼軌獲得平行鋼軌消隱點，并利用通過消隱點的極向投影曲線峰值獲取其他鋼軌的準確位置。為了提高運算速度，當檢測到相機參數變化后,采用Sift匹配算法獲取匹配模板與新圖像的變換矩陣T，并利用T矩陣將匹配模板圖像中自動識別的限界區域映射到新圖像中獲得新的限界。鐵路現場的實驗表明，本文算法能夠準確地識別PTZ相機姿態和焦距調整后新場景中的限界區域，對基于PTZ相機的鐵路異物侵限研究具有重要參考價值。