光流法在運動目標識別領域的理論與應用

楊亞東

（河北工業大學 天津 300401）

運動檢測的目的是在序列圖像中將變化區域與背景圖像分割開來。然而光照的變化、背景混亂運動的干擾、運動目標的影子、攝像機的抖動以及運動目標的自遮擋現象的存在給運動目標的正確檢測帶來了極大的挑戰。由于運動目標的正確檢測與分割影響著運動目標能否正確跟蹤和分類[1]，因此成為計算機視覺研究中一項重要的課題?，F有的運動對象的檢測方法可歸納為4種：光流法[2]，相鄰幀差法[3]，背景減法[4]和運動能量檢測法[5]。背景差法預先選取不含前景運動目標的背景圖像，然后將當前幀與該背景圖像相減。但背景往往會發生變化，所以對背景圖像的自適應性提出了更高的要求。相鄰幀差法能夠適應環境的動態變化，實現實時的運動檢測，但分割出的運動目標不完整。

光流的概念是Gibson于1950年首先提出的。光流是空間運動物體在觀測成像面上的象素運動的瞬時速度；光流場是指圖像灰度模式的表面運動[6]。光流的研究是利用圖像序列中象素強度數據的時域變化和相關性來確定各自象素位置的“運動”，即研究圖像灰度在時間上的變化與景象中物體結構及其運動的關系。研究光流場的目的就是為了從序列圖像中近似計算出不能直接得到的運動場。由于圖像光流的計算不需在圖像序列中建立起特征之間的對應關系，因此光流屬于較高層次的計算機視覺表述。目前，光流法被廣泛地應用于目標分割、識別、跟蹤、機器人導航、目標形狀信息恢復、3D結構恢復與運動估計等重要的計算機視覺與圖像處理領域，也被廣泛地應用在相關的醫學、海洋和天文等領域。

1 光流的幾種計算方法

Barron[7]等人按照理論基礎與數學方法將光流計算技術分為4種：微分技術（梯度法）、基于區域的匹配法（塊匹配法）、基于能量的方法和基于相位的方法。通常使用微分法和塊匹配法。

1981年，Horn和Schunck[8]創造性地將二維速度場與灰度相結合，引入光流約束方程，得到光流計算的基本算法。假設光流在整個圖像上光滑變化，即假設運動場既滿足光流約束方程又滿足全局平滑性，將求解u和v表示成迭代方程：

其中n是迭代次數，u0和v0是光流的初始估值，一般取為零。當相鄰兩次迭代結果的值小于預定的某一小值時，迭代過程終止。

Lucas和Kanade[6]假設在一個小空間鄰域Ω上運動矢量保持恒定，使用加權最小二乘法估計光流。Nagel[9]用二階導數來估計光流。和Horn－Schunck法一樣，Nagel也采用全局平滑約束來建立光流誤差測度函數。不同在于，Nagel提出的面向平滑的約束不是強加在亮度梯度變化最強烈的方向（即邊緣方向）上。目的是為了處理遮擋問題。

基于匹配的方法是將速度（u，v）定義為不同時刻的圖像區域的位移量d＝（d x，d y），使得不同時刻的圖像區域匹配最佳。其實質是在圖像序列的順序圖像對之間實施位置對應。為了找到最佳匹配，可對定義在d上的相似度量如歸一化互相關系數進行最大化（模板匹配法）；也可對某一距離度量如光強度差的平方和進行最小化。對于大運動問題，可采用由粗到細的策略解決。根據估計理論，利用加權最小二乘法可得到真實速度的一個估計：

其中，加權在－N≤u，v≤N上實施。

基于梯度的方法實現比較簡單，計算復雜度低，缺點是在圖像相鄰幀之間偏移量大的時候誤差較大，而且該方法要求圖像灰度必須是可微的?；谄ヅ涞姆椒ㄍㄟ^特征匹配來確定偏移量，可以解決相鄰幀之間偏移量大的問題；但是特征匹配比較困難，運算量也較大，且塊匹配法對噪聲敏感。匹配塊的大小對光流計算有影響——塊太小，孔徑問題比較嚴重；塊太大，則容易漏掉局部的微小運動信息[10]。

2 光流法在實際中的應用

2.1 梯度光流法用于紅外圖像序列的運動目標檢測

隨著紅外成像器件的發展，紅外圖像越來越多地運用于目標檢測、識別等領域，包括運動目標的識別與跟蹤等[11]。紅外圖像用于運動目標檢測、跟蹤最主要的問題是噪聲問題。由于紅外圖像是紅外成像器件接受的物體熱輻射的能量分布，具有較大的高斯噪聲；背景噪聲不定且相關性強，兼有隨機噪聲和非隨機噪聲，因此很少采用光流場分析法進行紅外目標識別和跟蹤[10]。

然而，物體的熱輻射具有空間的連續性，從而目標邊緣比較模糊；物體熱輻射隨時間的變化比較緩慢，在序列圖像的相鄰兩幀時間內沒有變化，即圖像背景具有較大的相似性[12]。這些特點與基本光流約束方程的模型吻合。因此，理論上可對紅外圖像計算光流。但圖像中的隨機噪聲會影響光流場的計算結果，需盡可能地消除隨機噪聲的影響。光流場可用Horn-Schunck方法中的公式迭代求解，得到目標光流場后，就可估計出目標的運動矢量，實現目標運動狀態分析和分割、跟蹤等處理。

2.2 引入匹配光流法的活動輪廓模型

活動輪廓模型[12]（Snake模型）是一形變模型，可用于圖像分割和運動跟蹤。其本質上是一能量最小的樣條曲線，在內力和外力的作用下變形，外力推動活動輪廓向著物體的邊緣活動，而內力保持活動輪廓的光滑性和連續性，達到平衡位置時的活動輪廓收斂到物體邊緣。snake模型是一種有效的圖像分割、邊緣跟蹤方法。這種方法同時考慮了幾何約束條件和與圖像數據、輪廓形狀有關的能量最小等約束條件，所以能得到令人滿意的分割效果。但是，該方法也存在一些不足之處：

1）分割的結果與活動輪廓的初始位置有關

2）活動輪廓很難收斂到曲率高的邊緣

對于運動速度較快的物體，采用snake模型得到的初始輪廓位置與實際位置往往有較大的差距，常導致錯誤的收斂。為此，可用光流匹配法得到物體的初始速度，從而預測出更精確的初始位置，大大提高了分割的準確性。

針對snake模型難以正確收斂到運動速度較快的物體邊緣，為此將光流匹配法引入snake模型，提高了其初始輪廓的正確性，從而幫助其正確地收斂到物體邊緣。同時引入的圖像統計勢能減弱了snake模型對初始位置的敏感性。實驗結果表明，該方法提高了snake模型對運動速度較快物體的正確分割。

2.3 特征光流法在醫學中的應用

冠狀動脈是供應心臟血液的血管。目前在臨床上廣泛采用冠狀動脈造影直接觀察血管病變的位置、狹窄程度、病變性質等。通過分析造影圖像序列可以得到豐富的、多種多樣的運動信息。這里用基于光流的特征法[13]估計血管運動參數。

求圖像點位移的特征法，就是找到圖像的特征（如邊緣、拐點或其它位置確定的二位結構），并且跟蹤它們的運動。它包括2個步驟：從2幅或多幅連續圖像中提取出特征；對各幀圖像的特征進行匹配。對于冠狀動脈造影圖像，首先從原始圖像中提取出主要血管分支中的中心線，用點（xi，yi），i＝1，2，…N的有序幾何表示。假設光流在整幅圖像上光滑變化，使沿中心線的光流變化最?。?/p>

N 為中心線上象素點的總數。為使上式最小化，令：

得到的方程組的解為中心線上各點的運動速度（ui，vi），從而得到各點的位移：

采用特征光流法進行冠狀動脈造影圖像序列的分析，通過估計冠狀動脈樹的運動參數，得到對心臟運動的定量了解。特征光流法的主要優點在于對目標在幀間的運動限制較少，可以處理大的幀間的位移。特征點相關法在求解光流場問題時，具有計算量小、準確率高等優點，特別適應于求解稀疏光流場的場合。同時，該算法的實施還依賴于一些前提，比如：如何自動地提取圖像特征、邊緣、角點等信息，如何自動選取特征點等，都是有待研究的難點問題。另外，要確定搜索窗口的大小，最好根據具體問題對光流的大小有個先驗估計值，這樣才能既準確且兼顧效率。

梯度光流法在這里同樣適用。梯度光流法和特征光流法各有優缺點。由于前者采用了基于最小二乘擬合的計算方法，因此比迭代光流算法簡單且計算快；它可得到冠狀動脈樹上任何一點的運動參數，但無法一次獲得對動脈樹整體的運動估計；它不是全自動的，需要在過程開始時選擇興趣點。后者可得到動脈樹整體的運動估計，并且實現了全自動的算法，不需要操作者的參與，但計算量較大，耗費的時間較長；而且由于運動估計是沿著血管中心線進行的，因此中心線提取的可靠性將直接影響該算法的準確性。

3 結束語

基于光流法的目標檢測與跟蹤技術，具有較高的檢測精度，能完整直接地獲取目標的運動參數，光流法在以上領域的初步應用，已經顯示出了它自身的深厚潛力。光流法不僅可以用于航天、醫學、交通和安全[14]等方面，同樣，在電子制造業也有它的用武之地。光流法在多方面得到應用即可證明。不足之處是，如抗噪性不夠好、計算量比較大等導致實時性常常不能滿足于工程實際應用的要求，需要加以改進。多數光流法計算復雜耗時，除非由特殊的硬件支持，很難實現實時檢測。所以有關如何進一步解決光流計算的抗噪性和算法的實時性，以及如何提高運算速度等問題，尚有待深入研究。

[1]劉翠響，肖伶俐.基于視頻的人臉檢測綜述[J].電子設計工程，2011（14）：172.LIU Cui-xiang，XIAO Ling-li.Summary of face detection based on video[J].Electronic Design Engineering，2011（14）：172.

[2]Barron J，Fleet D，Beauchemin S.Performance of optical flow techniques[J].International Journal of Computer Vision，1994，12（1）：42－77.

[3]Anderson C，Burt P，vander wal G.Change detection and tracking using pyramid transformation techniques[C]//Proc Of SPIE－Intelligent Robots and Computer Vision，1985.

[4]Collins R T，et al.A system for video surveillance and monitoring，CMU－RI－TR－00－12 [EB/OL].（2003）http：//www.cs.cmu.edu.

[5]Wildes R P.A measure of motion salience for surveillance application[C]//Proc of Image Processing，1998.

[6]馬頌德，張正友.計算機視覺——計算理論與算法基礎[M].北京：科學出版社，1998：235－239.

[7]Barron M，Fleet D J，Beauchemin S S.Performance of optical flow techniques[J].International Journal of Computer Vision，1994，12（1）：43－47.

[8]Horn B，Schunck B.Determing optical flow[M].Artificial Intelligence，1981：185－203.

[9]Nagel H H.Displacement vectors derived from second-order intensity variations in image sequences[J].Computer Graphics and Image Processing，1983（21）：85－117.

[10]陳邦忠，王秀壇，涂建平，等.紅外圖像序列的運動目標檢測[J].探測與控制學報，2002，24（3）：11－13.CHEN Bang-zhong，WANG Xiu-tan，TU Jian-ping.Moving target detection of infrared image sequence[J].Detection&Control，2002，24（3）：11－13.

[11]李熙瑩，倪國強.紅外圖像的光流計算[J].紅外與激光工程，2002，31（3）：189－193.LI Xi-ying，NI Guo-qiang.Optical flow computation of infrared image[J].Infrared and Laser Engineering，2002，31（3）：189－193.

[12]王以孝，王春聲，程義民.引入光流法的活動輪廓模型[J].電路與系統學報，2003，8（6）：77－80.WANG Yi-xiao，WANG Chun-sheng，CHENG Yi-min.Active contour models within optical flow method[J].Circuits and Systems，2003，8（6）：77－80.

[13]姜浩，郁道銀，孫正，等.光流法在冠狀動脈運動分析中的應用[J].光電子激光，2004，15（9）：1128－1130.JIANG Hao，YU Dao-yin，SUN Zheng，et al.Analysis of optical flow in the coronary artery motion[J].Optoelectronics Laser，2004，15（9）：1128－1130.

[14]王昊鵬，劉澤乾.基于特征提取與認證的彩色圖像人臉檢測[J].電子設計工程，2012（1）：171.WANG Hao-peng，LIU Ze-qian.Face detection of the color image based on feature extraction and authentication[J].Electronic Design Engineering，2012（1）：171.