面向物流倉庫的多目標視頻跟蹤

練海晨，蔣亞平

(河海大學計算機與信息學院，江蘇 南京 210098)

0 引言

在工業產業飛速發展的今天，用計算機代替人力完成對現場情況的記錄與分析已經越來越必要。傳統的視頻監控系統主要由人工對采集的圖像信息進行分析，工作量非常巨大。所以，由計算機來代替人對這些信息進行分析和記錄是必要且明智的選擇。本文致力于解決物流倉庫環境下，運送軌道上的多目標跟蹤問題。

在工業現場的智能視頻監控中，倉庫物流管理是一個新興而復雜的領域。工業現場的物流倉庫環境復雜，不僅背景中存在大量相似的物體，而且運動軌道上的跟蹤目標也很相似，加上跟蹤過程中目標的旋轉、大小變化以及相互遮擋等因素，大大增加了工業現場多目標跟蹤的難度。隨著三十多年眾多學者的不斷探索和研究，大量的跟蹤算法被提出，解決了跟蹤過程中遇到的各種問題和挑戰，包括目標突然快速運動、外觀變化、尺度變化、光照變化、局部遮擋或者短時間全部遮擋、背景復雜的干擾等［1］。

一般地，跟蹤算法主要包括目標建模、搜索策略和目標更新，其中跟蹤算法的突破主要集中在目標建模和搜索策略方面［2］。在計算機視覺技術快速發展下，外觀模型的建立方法層出不窮。如文獻［3］提出的利用圖像分割方法，將被跟蹤區域分割成多個超像素塊，結合SIFT特征，形成詞匯本，并計算每個詞在詞匯本上的權值，作為目標的外觀模型。實驗證明，該方法能有效地提高跟蹤準確率，但是復雜的計算過程，使算法無法滿足實時監控的要求。

對于目標搜索策略，現有的多目標跟蹤技術大都使用粒子濾波來搜索最佳匹配［4］。粒子濾波采用蒙特卡洛法采樣觀測樣本，使得算法不易陷入局部極小值，但是隨著目標狀態空間的增加，需要采樣大量的粒子才能保證跟蹤的精度，而對每個粒子的計算需要消耗大量的時間，很難滿足實時性的要求［5］。光流法一直被認為是一種計算復雜度較高的方法，且很少被應用在實時監控中。然而，文獻［6］提出一種稀疏光流快速計算的目標跟蹤算法，克服了實時性差的問題，能很好地適應于目標遮擋情況并且能跟蹤快速運動目標，但跟蹤準確率還有待提高。文獻［7］提出一種SVM核函數的結構化輸出策略，該方法利用支持向量機的自由性以及輸出空間的泛化能力，構成一個有效的結構化輸出框架，并加入維數限制機制來防止SVM向量的維數災難。實驗證明，該算法跟蹤效果優于當今最先進的檢測跟蹤算法。然而，該算法的缺點在于時間復雜度過高，無法滿足實時監控系統的需要。

Camshift(Continuously Adaptive Mean Shift)算法是一種基于圖像顏色特征的目標跟蹤算法，由于具有目標形變不敏感性以及實時性好等特點近年來倍受青睞［8］。然而傳統的Camshift算法在跟蹤過程中沒有利用跟蹤目標的運動信息，在周圍環境干擾較強或者存在遮擋的情況下，很難對目標進行準確跟蹤［9-11］。粒子濾波與Camshift算法的結合，可以加強跟蹤的魯棒性，但粒子濾波的難點在于分布的選擇及粒子退化的問題［12-13］。Deilamani等人用多特征融合的方法對Camshift跟蹤算法進行改進［14］，實驗結果表明:多特征融合有效地提高了復雜環境下Camshift算法的跟蹤準確率，但算法的復雜度過高，不能滿足實時跟蹤系統的需要。

為解決物流倉庫環境下，運送軌道上的多目標實時跟蹤問題，本文在傳統的Camshift跟蹤算法上加以改進，選用HSV顏色空間，減少光照帶來的影響。算法主要思想是利用跟蹤目標特征的顏色直方圖對目標概率密度進行快速估計;在此基礎上利用背景建模對目標概率密度進行濾波，減少靜止背景中相似物體對Camshift算法的影響。在Camshift算法迭代搜索過程中，將每次迭代搜索結果與速度信息加權，計算出優秀的搜索結果。在多目標跟蹤過程中，根據搜索的順序，將前一個目標的搜索得出的區域在概率密度圖中置0，以減少對后面搜索的干擾。通過上述過程的改進，使得算法不僅能處理背景復雜情況下的目標跟蹤問題，還能對多個相似目標同時進行有效準確跟蹤。

1 Camshift算法概述

Camshift算法是根據連續圖像顏色動態變化的概率分布來進行目標搜索的一種方法，用于對彩色運動目標進行的視覺跟蹤?；舅枷胧歉鶕繕说念伾卣髟诋斍耙曨l圖像幀中搜素運動目標所在的位置和大小，在下一幀圖像中，用運動目標當前的位置和大小初始化搜索窗口，不斷重復上述過程從而實現對目標的連續跟蹤。當跟蹤彩色目標時，Camshift算法從圖像的顏色直方圖中獲取顏色概率分布［15］。由于Camshift算法是計算局部最優解的算法，它不依賴于跟蹤對象的具體模型，對噪聲干擾不敏感，同時其計算簡單、效率高，因而具有很強的魯棒性和良好的實時性。

2 多目標跟蹤算法

針對物流倉庫運動軌道的特點，本文設計出有效的多目標跟蹤算法，對軌道上的目標進行跟蹤。首先，運動區域圖與概率分布圖的融合有效地減少了背景中相似物體對跟蹤結果的干擾。但是場景監控中，傳送帶上運動的多個物體之間的相互干擾還沒有解決，所以在Camshift算法搜索結果決策時，加入運動方向信息，減少搜索結果向運動反方向移動的可能性。多目標搜索過程中，通過在概率密度圖像中，將已搜索目標的區域置0，減少相似目標之間的相互干擾。圖1為算法流程圖。

圖1 算法流程圖

2.1 背景建模

背景建模的任務是通過對一段連續的視頻圖像序列進行統計和分析，從中提取相對不變的像素信息，并將這些像素信息作為整個視頻的參考背景。本文采用統計法提取的背景。為了減少光照帶來的影響，本文使用HSV顏色模型的H分量值作為像素值。

統計提取法的基本假設是在視頻序列中，運動物體不會始終在某個位置保持不動［16］。定義相關圖像序列的像素值為 I(x，y，t)，其中(x，y)表示像素點空間位置，t表示幀數。那么相鄰幀間的灰度變化可以表示為:

其中T表示閾值，用來濾除噪聲。對于坐標為(x，y)的像素點，CDM(x，y，t)表示第t幀與第t-1幀之間像素值差，它記錄像素點(x，y)的像素值隨時間變化。通過統計，CDM中持續為0的，表示像素值沒有發生變化，取其中最長的一個區間，把這段的像素值作為背景。本文采用背景差法從圖像中獲得目標圖像。

2.2 直方圖計算與直方圖匹配度計算

算法的準確跟蹤離不開外觀模型的選擇，本文選擇顏色特征直方圖作為外觀模型的描述，以直方圖匹配度計算來評判跟蹤準確率。

2.2.1 參考模板特征直方圖與候選區域直方圖

其中，?是Cronecker Detal函數，C是歸一化常數，用以保證=1。候選區域直方圖計算與參考模板特征直方圖類似，計算公式如式(5):

其中，Ch為歸一化常數。

2.2.2 直方圖匹配度計算

運動目標跟蹤的實質是在連續幀中尋找與參考模板最為相似的候選區域，因此物體跟蹤可以簡化為尋找最優的y，使得pu(y)與qu最相似。通常使用Bhattacharrya系數ρ(y)來衡量兩者之間的相似度，Bhattacharrya系數ρ(y)的定義如下:

Bhattacharrya系數 ρ(y)越大，則 pu(y)與 qu越相似。

2.3 多目標跟蹤算法步驟

物流倉庫中，跟蹤目標都沿著物流軌道運動，運動方向與前幾幀都存在關聯，所以在位置決策階段引入運動方向信息，有效地抑制搜索框往運動反方向進行搜索。多目標跟蹤的順序按照目標進入軌道的順序進行，當一個目標搜索成功后，將其所在區域在后一個目標的概率目標圖像中濾除，排除了搜索框鎖定前方目標的可能。所以，軌道上的目標能夠有效準確地進行跟蹤。

在視頻監控區域，檢測到多個目標時，系統給目標按照進入軌道的順序分別命名:TAG1，TAG2，TAG3，...依次類推，針對當前幀的跟蹤，對目標逐個進行搜索，算法如下:

1)參考當前目標提取的目標特征直方圖，計算出當前幀的當前搜索目標的顏色概率分布圖像。

2)比對運動區域圖像，根據坐標，把非運動坐標所對應的概率值置為0，當前幀中有目標跟蹤跟蹤結束，且跟蹤成功，則將已成功跟蹤的結果區域概率密度值置為0，得到新的概率分布圖像I(x，y)。

3)計算以(x0，y0)為中心的候選目標區域的0階矩M00及關于x0，y0一階矩M10和M01:

4)使用公式(10)和公式(11)計算出候選目標的新位置(x1，y1):

5)記錄當前位置坐標到數組Point［］，計算當前位置候選區域相似度，存儲在數組Lhd［］中。

8)提取前3幀中當前目標所在位置a0，a1(a1為位置坐標，a0為前一幀中目標的坐標，以此類推)，估計出當前目標的運動方向向量=a0-a1。

9)將數組Point［］中保存的坐標分別與前一幀目標的搜索位置坐標相減，計算位移方向向量，依次為，...，n為迭代次數。，...分別與計算余弦值，保存為cos1，cos2，...，cosn。

10)將cosi與所對應位置的候選區域的相似度相乘，結果保存到數組CosLhd［］。

11)把CosLhd［］中最大的值所對應的位置作為跟蹤的最終結果。如果所有目標跟蹤結束，則跟蹤結束，否則繼續執行步驟1)，對下一個目標進行跟蹤。

3 實驗結果與分析

為了驗證本文算法的有效性，筆者通過書店物流倉庫的真實監控視頻進行了物品箱跟蹤實驗。算法在Intel Core i5處理器，2.80 GHz計算機上運行，利用VC++編程實現，檢測算法性能，重點是對算法魯棒性和實時性進行檢測，包括遮擋、相似物體干擾情況下的跟蹤結果。

實驗視頻為物流倉庫的監控視頻，攝像頭位置固定，視頻共150幀，每幀大小320×240。實驗中對視頻中物流倉庫軌道上的箱子進行跟蹤，軌道周圍有大量相似物體干擾，被跟蹤物體在運動中會出現相互遮擋、旋轉等情況，以下是實驗結果。

3.1 復雜背景干擾對比實驗

首先利用Camshift與Kalman濾波融合算法對物流倉庫進行復雜環境跟蹤實驗。Camshift與Kalman濾波融合是目標跟蹤領域一個比較經典的組合算法［17］，由Kalman濾波通過目標前一幀的速度信息以及位置信息，預測當前幀目標出現的位置，然后通過Camshift來準確搜索，提高搜索效率。圖2為Camshift算法與Kalman濾波融合的跟蹤算法的結果圖，由于目標周圍存在大量相似物體，而算法的預測與搜索，都是基于顏色特征來進行的，所以出現跟蹤失敗。而本文算法考慮到靜態背景存在干擾，引入背景濾除操作，在搜索過程中，將運動方向信息考慮到搜索結果的決策中，有利于排除相似物體的干擾，即使當目標出現被遮擋的情況下，也能很好地定位目標。圖3為本文算法跟蹤效果圖。

圖2 復雜背景干擾Camshift+Kalman結果

圖3 本文算法實驗效果圖

在物流倉庫中，周圍堆砌的物體對跟蹤目標的干擾是一個不可忽視的問題，尤其是與目標完全相同的物體干擾。本實驗很好地展示了本文算法對這類問題的處理能力。實驗表明:本文算法可以在背景干擾較強的物流倉庫環境下對目標進行準確的跟蹤。

3.2 多目標跟蹤對比實驗

物流倉庫環境下的多目標跟蹤存在很多影響因素，如目標的旋轉、鏡深引起的目標大小的變化、遮擋以及多目標之間干擾等情況。首先用Camshift與Kalman濾波融合算法進行實驗，該算法被大量文獻證明可以很好地解決目標遮擋以及相互干擾等問題。從圖4中可以看出，當被跟蹤的2個目標相距較遠時，該算法能準確地跟蹤目標，然而當目標相互靠近，由于目標太過相似，跟蹤就出現嚴重偏差。而Camshift算法是基于顏色的搜索，無法辨別顏色相似的目標。而本文算法，除了顏色特征，在搜索結果決策時引入運動方向信息，并且在針對多目標跟蹤時，將前一個目標的搜索結果，在新目標搜索的概率密度圖像中置0，減少了相似目標之間的干擾。所以如圖5顯示，無論運動目標是明顯分開，還是目標位置非常接近，本文算法都能準確地對目標進行跟蹤。

圖4 Camshift+Kalman多目標跟蹤效果圖

圖5 本文算法多目標跟蹤效果圖

工業現場環境復雜，空間較大，跟蹤過程中有很大的不確定性。本文算法在如此復雜環境下，準確地對多個目標進行跟蹤。

在實時性方面，本算法處理150幀圖像所用時間為3.79 s，能夠達到實時處理的要求。

實驗結果表明:在物流倉庫環境下，本文算法有很好的魯棒性和實時性，很好地解決運送軌道上的多目標跟蹤問題。

4 結束語

本文研究在工業現場復雜環境下對多目標進行跟蹤的問題，提出了一種融合背景建模和運動信息的Camshift算法，并在搜索過程加以約束限制，提高多目標跟蹤的準確率。實驗結果表明:在物流倉庫環境下，背景干擾的問題得到有效的解決;運動信息的融合，以及對跟蹤區域濾波，有效的解決了跟蹤過程中多個目標之間的相互干擾問題;實現了在物流倉庫的復雜環境下對多目標的準確跟蹤。

［1］Yilmaz A，Javed O，Shah M.Object tracking:A survey［J］.ACM Computing Surveys，2006，38(4):1-45.

［2］閆慶森，李臨生，徐曉峰，等.視頻跟蹤算法研究綜述［J］.計算機科學，2013，40(6):204-209.

［3］羅會蘭，鐘睿，孔繁勝.基于超像素的點跟蹤方法［J］.中國圖象圖形學報，2014，19(3):428-438.

［4］Xu Xinyu，Li Baoxin.Adaptive Rao-Blackwellized particle filter and its evaluation for tracking in surveillance［J］.IEEE Transactions on Image Processing，2007，16(3):838-849.

［5］馬珊，張鐵棟，龐永杰，等.基于改進粒子濾波的聲圖像多目標跟蹤方法［J］.上海交通大學學報，2013，47(12):1848-1854.

［6］陳添丁，胡鑒，吳滌.稀疏光流快速計算的動態目標檢測與跟蹤［J］.中國圖象圖形學報，2013，18(12):1593-1600.

［7］Hare S，Saffari A，Torr P H S.Struck:Structured output tracking with kernels［C］//ICCV.2011:263-270.

［8］張宏志，張金換，岳卉，等.基于CamShift的目標跟蹤算法［J］.計算機工程與設計，2006，27(11):2012-2014.

［9］Zou Tengyue，Tang Xiaoqi，Song Bao.Improved Camshift tracking algorithm based on silhouette moving detection［C］//The Third International Conference on MultimediaInformation Networking and Security.2011:11-15.

［10］黃園剛，桑楠，郝宗波，等.改進CamShift算法的眼動跟蹤方法［J］.計算機應用研究，2014，31(4):1220-1224.

［11］楊杰，穆平安，戴曙光.一種改進Camshift算法的研究［J］.計算機應用與軟件，2014，31(2):167-170.

［12］陶勇，王田苗，魏洪興，等.基于Camshift和粒子濾波的老人陪護機器人人臉跟蹤［J］.中國機械工程，2008，20(16):1904-1908.

［13］Wang Zhaowen，Yang Xiaokang，Xu Yi，et al.CamShift guided particle filter for visual tracking［J］.Pattern Recognition Letters，2009，30(4):407-413.

［14］Deilamani M J，Asli R N.Moving object tracking based on Mean-shift algorithm and feature fusion［C］//2011 International Symposium on Artificial Intelligence and Signal Processing.2011:48-53.

［15］Nouar O D，Ali G.Improved object tracking with Camshift algorithm［C］//IEEE International Conference on Acoustics，Speech and Signal Processing.2006:657-660.

［16］譚熾烈.多目標運動軌跡跟蹤算法及DSP實現［D］.杭州:浙江大學，2006.

［17］王景武，王玉德，王東方.改進的Camshift與Kalman融合的目標跟蹤算法［J］.電子技術，2014(11):11-13.