視頻和GIS協同的人群狀態感知模型

鄧仕虎,張興國,王小勇,朱俊豐，王 秀

(1.重慶市地理信息中心，重慶 401121；2.信陽師范學院 地理科學學院，河南 信陽 464000；3.重慶知行地理信息咨詢服務有限公司，重慶 401121)

0 引言

隨著社會經濟的發展，人群聚集活動日趨增多，致使群體性事件時有發生. 如何及時發現人群狀態的異常并采取有效措施進行疏導已成為國內外學者和政府管理部門關注的熱點. 目前，在大型安?；顒又?，除了加強警力部署外，視頻監控系統已成為必不可少的構成要素，發揮著越來越重要的作用.

當前，基于視頻獲取人群運動狀態的研究已取得了較好的研究成果.在視頻圖像空間 ，通過圖像處理、光流計算等獲取運動特征，通過機器學習的方法實現人群異常行為的檢測[1]. 為了擴大人群視頻監控的視域范圍，胡學敏等基于魚眼相機對人群進行估計，并采用透視加權的方法來消除透視畸變[2]. 在視頻流的實時計算方面，姬麗娜等基于GPU多流處理器進行加速，有效地提高了人群實時計數效率[3]. 近年來，許多新技術也在視頻人群信息提取中得到應用，效果較好，如基于序的空間金字塔池化網絡、壓縮感知、社會計算和深度學習等[4-6]. 圖像采用像素坐標，缺乏真實的度量坐標，人群可量測的運動狀態參數獲取困難，一些GIS學者嘗試將視頻與GIS結合起來，也取得了一定的效果[7-9].

針對監控視頻在圖像空間難以統一、宏觀及真實量化人群狀態的問題，本文將視頻與GIS相結合，將圖像空間的光流場映射至地理空間，在地圖中進行人群狀態的展示、分析與預警. 融合地理信息及實時視頻分析數據的人群感知方法，相對于傳統的方法更為便捷，將會有效降低安保人員的疲勞度，提高突發事件實時監控與預警能力.

1 人群狀態感知模型

1.1 技術路線

人群狀態感知流程主要包括四大過程，即視頻采集及處理、光流計算、矢量光流場映射至地理空間、人群狀態檢測與分析，如圖1所示.

圖1 人群狀態感知技術路線

第一，通過手機或相機在商場、醫院、車站、銀行等室內外人群密集、易發生突發公共事件的場所采集實驗數據，包括正常的人群行為視頻和異常行為視頻，如打架、追跑、聚集、驟散、逆行等，為人群異常行為檢測提供測試數據. 基于高清遙感影像或GPS，采集攝像機中心點的位置. 基于相機標定或直接設定得到攝像機的高度、傾角、方位角、主距等內外參信息. 第二，計算各個監控視頻的光流場. 以視頻中前后兩幀圖像為基礎，采用相關的光流計算方法，得到當前視頻的實時光流場. 第三，將區域內各個視頻的光流場映射至地理空間. 視頻圖像空間所計算的光流場，其坐標為像素坐標，難以在地理空間中進行定位、量測或分析，需要通過圖像空間與地理空間的映射方法將其投射至地圖中. 第四，在地理空間中，任何一條矢量光流都具有明確的空間參考，很容易了解人群的位置、方向、速度、加速度等運動參數，是人群狀態檢測及預警的重要基礎.

1.2 關鍵技術

基于視頻提取動態目標的運動矢量場，主要依賴于圖像空間，光流場以像素為單位，其方向以圖像空間為基礎，無法獲取動態目標在地理場景中真實的度量值(包括位置、方向和速度等). 為了使人群狀態可定位、可量測、可分析，并具有一覽性的優勢，需要重點解決光流場的提取及光流場至地理空間的映射問題.

1.2.1 Lucas-Kanade光流計算方法

光流場計算是人群狀態感知最為重要的關鍵技術之一. 光流場的計算最初是由美國學者HOM和SCHUNCK提出，并在研究中不斷推進光流場相關算法的改進和優化. 光流場應用很廣范，可以用于行人檢測、行人的步態分析、運動分割等，也有學者對光流法執行效率進行評價[10].

本文采用Lucas-Kanade光流法來獲取人群的運動狀態. 該方法首先將視頻轉換為序列圖像，并轉換為序列灰度圖，約束在較短時間內，運動目標相同點的灰度值不會發生變化，依此構建方程，計算光流矢量. 人群狀態的變化可以通過場模型來表達. 序列灰度圖像的變化是人群運動的表現，灰度圖變化越快，人群的運動越快. 在臨近時間內，相同特征點灰度值不變的約束，可以形成一個矢量場. 矢量場中各個矢量的大小和方向即人群運動的快慢和方向. 需要注意的是，該矢量場并不是人群真實的運動速度，僅僅是人群運動的透視視圖.

Lucas-Kanade方法根據臨近幀灰度梯度的變化，尋找各個像素的運動矢量. 以HORN 與SCHUNCK 的研究為基礎，產生了Lucas-Kanade光流算法，效果較好. 該方法是一種基于梯度的局部參數化光流估計方法. 該方法假設在圖像空間中一個小的窗口內，光流矢量保持不變，則可以采用最小二乘法計算其光流矢量.

假設圖像平面一個像素點(x,y)，在t時刻的亮度為E(x,y,t)，u(x0,y0)為像素點的水平變化分量，v(x,y)為像素點的垂直變化分量.

u=dx/dt,

(1)

v=dy/dt.

(2)

在經過時間間隔△t后該點對應點亮度為E(x+△x,y+△y,t+△t),當△t很小趨近于0時，假設該點亮度不變，如式(3).

E(x,y,t)=E(x+△x,y+△y,t+△t).

(3)

當該點的亮度有變化時，將移動后點的亮度由泰勒公式展開，如式(4).

E(x+△x,y+△y,t+△t)=

(4)

若二階導數為無窮小，△t為0，如式(5).

(5)

式中:w=(u,v)，該式為基本的光流約束方程.

令Ex=?E/?x,Ey=?E/?y,Et=?E/?t表示圖像中像素點灰度沿x,y,t方向的梯度，可將上式改寫成：Exu+Eyv+Et=0，即灰度一致約束條件. 輸入的視頻尺寸為X×Y；檢測當前圖像的所有Harris角點作為特征點；然后運用金字塔LK光流方法，取w×w的特征窗口，根據光流約束條件求解特征點的光流(u,v)，如式(6).

(6)

即Av=-b.

然后，采用最小二乘法，如式(7)和(8).

ATAv=AT(-b)或v=(ATA)-1AT(-b)，

(7)

(8)

實驗視頻共nFrame幀圖片，時間為tSum秒，則每幀圖像所需時間可通過式(9)來計算.

tEach=tSum/nFrame.

(9)

解算中，求和從1到n，通過圖像導數計算，并各自累加得出. 同時還需權重函數W(i,j,k)，i、j、k∈[1,m]來突出窗口中心點的坐標，采用高斯函數進行計算效果明顯，可較好地得到當前視頻的實時光流場. 該算法對特定應用場景(如車站人群)監測效果較好，具有廣闊的應用前景.

1.2.2 光流場映射至2D地理空間

由視頻得到的光流場，其坐標為像素坐標，難以在地理空間中進行定位、量測或分析等，需要通過圖像空間與地理空間的映射方法將其投射至地圖中. 地圖明確的空間參考、宏觀觀測視角，有助于整體把握大區域人群的運動態勢. 光流場映射至2D地理空間是本文另一關鍵技術.

傳統的方法需要計算2D單應矩陣. 首先，在圖像中選擇3個及以上控制點，得到控制點的圖像坐標；然后，在高清遙感影像或地圖中選擇相應點，得到控制點的空間直角坐標；最后，計算2D單應矩陣H. 該方法不僅需要交互選擇，而且要求具備高清遙感影像或地形圖，適合于小型的視頻監控場景，難以在大型的視頻監控系統中使用. 特別是，當獲取目標的三維幾何信息時，2D單應方法無能為力. 在此背景下，張興國等[11]提出了監控視頻與2D地理空間的互映射模型，可以較好地實現圖像空間與二維地理空間的一一對應.

為了得到人群真實的三維信息，顧及PTZ攝像機，本文引入了監控視頻映射至2D地理空間的互映射模型. 該模型要求攝像機內外參已知，便于計算. 相機模型以齊次方程來表示，如式(10).

(10)

式(10)中，攝像機的內外參數隱藏在矩陣當中. 為了便于使用，通過對比分析攝影測量學和計算機視覺的相機模型，得到了便于使用的相機模型，如式(11).

(11)

式中：u0=x0ph,v0=Hpic-y0ph為像主點的坐標,Hpic為圖像高度，與攝影測量學中的內外參數含義保持一致.

對于平面直角坐標系下某點，若高程為Zh，可實現圖像坐標到平面直角坐標的轉換,如式(12).

(12)

式中:s1=(fa1-u0a3)(-X)+(fb1-u0b3)·(-Y)+(fc1-u0c3)(-Z),s2=(fa2-v0a3)(-X)+(-fb2-v0b3)·(-Y)+(-fc2-v0c3)(-Z),s3=(-a3)(-Xs)+(-b3)(-Ys)+(-c3)(-Zs).

2 實驗與分析

2.1 實驗平臺與數據

本文基于MATLAB、OpenCV、VS C# 2012、ArcEngine作為實驗平臺，并將各環境下實現的算法進行集成，開發了一個人群狀態感知的原型系統. MATLAB和OpenCV下的計算機視覺基礎庫較多，已經實現了眾多基礎功能，如視頻實時接入、視頻文件播放、視頻幀的獲取、圖像尺寸調整等，本文以此為基礎，實現了所述算法，并封裝為DLL. 在VS C# 2012下調用相關DLL，并結合GIS二次開發組件ArcEngine，開發完成了原型系統.

本文以某高校的餐廳及教學樓前作為實驗區域，采集了多個包含人群的視頻數據，并搜集了該區域的QuickBird遙感影像及高精度矢量地圖. 為了獲取攝像機的內外參，采用滅點、滅線的方法來計算主距，結合高清遙感影像，獲取攝像機的外參(約束旋轉角為0). 從而，較好地實現了視頻數據到地理空間的映射.

2.2 實驗結果及分析

實驗主要包括三方面內容，即光流提取、光流至地理空間映射、光流的空間分析. 基于Lucas-Kanade算法，實現了餐廳、教學樓前視頻數據光流信息提取，光流真實反映了人群運動的趨勢. 如圖2，箭頭的指向為光流的方向，其長度代表光流的值. 當人群中某人運動正常時，箭頭呈現方向趨同，長度相似，否則箭頭會出現雜亂，長度會長一些.

圖2 人群異常行為檢測Fig. 2 Abnormal behavior detection

基于視頻圖像空間與地理空間的互映射模型，可以將視頻中提取的光流實時映射到GIS中. GIS中，以箭頭的形式來表達，具有明確的空間參考和度量信息，可以從全局把握區域人群的運動狀態. 如圖3，原型系統中展現了某時刻的運動光流場.

圖3 地圖中的光流場Fig. 3 The optical flow field in the map

基于GIS可以對光流場進行空間分析，本文進行了散點內插和等值線生成實驗. 散點內插選擇了IDW方法. 如圖4(a)，可以看出顏色越深速度越快，可根據顏色的深淺了解人群運動的速度場. 基于內插的DSM，可以自動生成等值線，等值線的分布也反映了人群的運動狀態，如圖4(b). 值的變化量越小，線的間距就越大. 值上升或下降得越快，線的間距就越小.

圖4 光流場空間分析Fig. 4 Spatial analysis of the optical field

3 結論

基于GIS的人群感知方法，不僅解決了人群的空間定位、空間量算及一覽性問題，而且也提供了面向人群的空間分析方法，將會有效增強傳統的視頻監控系統. 同時，實時的人群運動信息對于地理信息科學也是至關重要的，該方法可促進視頻在GIS中的深入應用. 本文所提出的模型通過實驗驗證已取得了較好的實驗效果，但尚需在光流的尺度效應、精度評價、運行效率、多攝像機下光流的融合等方面深入研究. 視頻圖像的尺寸對光流場有重要影響，針對人群狀態感知而言，視頻圖像的最佳尺寸是一個值得研究的問題. 攝像機距離人群的遠近也影響光流信息的提取，距離或者深度的有效區間是光流計算的前提. 另外，多個攝像機距離人群遠近不同、攝像機的內外參各異，光流的融合模型是大場景下人群光流場可視化的關鍵. 如何進一步提高運算速度、實時性、抗噪性及系統的魯棒性是后續研究的重點.