基于FPGA的圖像采集和快速移動物體檢測

李翔翔

(福州大學 數學與計算機科學學院，福建 福州 350108)

近年來，計算機技術、通信技術、微電子技術迅猛發展，數字監控系統逐步從傳統方式的監控系統走向小型化、多樣化和智能化。監控系統的發展首先是從圖像采集開始的，本文根據項目需要提出了一種基于FPGA的圖像采集和移動物體檢測的設計方案，用以實現對特定背景下的圖像采集和移動物體快速檢測。

1 系統總體設計

本系統主要由攝像頭初始化模塊、圖像采集模塊、數據傳輸模塊和運動物體檢測模塊構成。本系統中所使用的FPGA[1]芯片型號是FUSION系列的AFS600。如果只是完成本文中所要實現的內容，則完全可以選擇更低性能的FPGA芯片，例如 ProASIC3系列的 A3P060；如果所選擇的芯片沒有片內RAM或者片內RAM很小，需要對本文的設計做適當的調整才能完成相應的功能。

本系統中，由FPGA模擬SCCB對攝像頭(OV7670)進行初始化，控制端獲取圖像時再啟動FPGA對一幅圖像進行采集，將采集到的數據放入一個雙端口的RAM存儲器中，并將數據傳輸給控制端?？刂贫碎g隔一段時間就通過FPGA采集一幅圖像，通過對這些連續的圖像進行處理，判定是否有移動物體出現，如果有則可以啟動報警系統。本系統中控制端是ARM7系列開發板，圖像采集的相關原理圖如圖1所示。

2 FPGA圖像采集端

2.1 攝像頭的初始化

本系統實驗所使用的攝像頭是OV7670，其感官陣列共656×488個像素。OV7670通過SCCB總線控制，可以輸出整幀、子采樣、取窗口等方式的各種分辨率為8 bit的影響數據。用于VGA圖像顯示最高可達30幀/s。用戶可以完全控制圖像質量、數據格式和傳輸方式。攝像頭內部包含伽瑪曲線、白平衡、飽和度、色度等，這些設置均通過SCCB總線接口完成。

SCCB是和I2C相同的一個協議。SCCB由一根數據線(SIO_D)和一根時鐘線(SIO_C)構成，數據線是雙向傳輸的，時鐘線是由主機完全控制的。本系統中主機是由FPGA芯片來擔任的，對攝像頭初始化的過程只是由主機對攝像頭內部的寄存器寫入數據，不需要完成從攝像頭接收數據的過程，而且對攝像頭(OV7670)寄存器寫入指令的格式很統一。指令由3 B構成，第1個字節為命令字節,對于本文中的攝像頭其內容是0x42；第 2個字節是一個8 bit寄存器地址;第3個字節為所要修改的寄存器內容。

根據以上分析，通過FPGA實現攝像頭初始化的過程簡化了SCCB傳輸協議，不再考慮接收數據；而且由于發送數據固定為24 bit,如果再加上起始、終止和確認位，總共需要傳輸的狀態位為29 bit，通過狀態機機制即可很輕松地編寫FPGA代碼。本系統中將實驗所產生的FPGA信號通過邏輯分析儀提取,結果如圖2所示。

2.2 圖像采集

圖像采集要用到OV7670的3個同步信號，分別為VSYNC(場同步信號)、HREF(行 同步信號)和 PCLK(像素同步信號)，三者的時序關系如圖3所示。VSYNC的上升沿表示一幀新圖像的到來，下降沿則表示一幀圖像數據采集的開始;HREF的上升沿表示一行圖像數據的開始，HREF為高電平即可開始有效的數據采集；PCLK下降沿表明數據的產生，PCLK每出現一個下降沿，OV7670攝像頭便傳輸一個像素數據。最后，當下一個VSYNC信號上升沿到來，表明一幀圖像輸出結束，同時表示下一幀圖像輸出開始。從圖3中可以看出，當PCLK下降沿到來時攝像頭就會更新輸出下一個數據；要通過FPGA采集圖像數據就要選定一個穩定的圖像數據采樣點，通過分析圖像可知，在PCLK為上升沿時最適合圖像數據的采樣。

本系統中,FPGA采樣得到的數據暫存于一個雙端口的內部RAM緩沖存儲器中。當收到采集圖像命令時,系統首先復位雙端口RAM的寫地址,每當PCLK上升沿到來時FPGA將數據總線上的數據保存下來，接著再將獲得的數據寫入雙端口緩沖區中，每寫完一個數據便對寫地址做加1的操作。其主要流程如圖4所示，在用Verilog語言實現對圖像數據采集時,檢測PCLK上升沿并將總線數據保存到寄存器是在一個周期內完成的，將寄存器中的數據存入雙端口RAM是在下一個周期完成的，即如果輸入時鐘為48 MHz，則通過FPGA可以對24 MHz的像素頻率(PCLK)的輸出圖像進行采集。其采集頻率即使對640×480的圖像也能達到30幀/s以上的速度。提高圖像采集的速度瓶頸關鍵在圖像從FPGA傳輸到控制端的過程中,因此提高數據的傳輸速度顯得非常重要。

2.3 數據傳輸

本系統通過一個雙端口RAM存儲器來做緩沖，與使用外部SRAM相比，其好處是實現簡單、不需要外接SRAM芯片，同時作為FPGA內部RAM，其處理速度很快可以達到350 MHz。但是RAM緩沖區的大小有限，不能夠存儲一幅完整的圖像，如果控制端讀取數據太慢，可能會使原有的緩沖數據被覆蓋。從圖3中可以看出，在每一行數據傳輸結束后都有很長一段行同步時間，通過使用緩沖區可以有效利用這段時間來傳輸數據。

圖4 圖像采集流程圖

數據傳輸過程的實現流程如圖5所示，該數據傳輸過程中使用4根控制線和8根數據線。4根控制線分別是開始 （start）、 結 束 （finish）、接 收狀態 (R_ready)和發送狀態（S_ready）。 圖 5(a)為 FPGA 發送端的控制流程，圖 5(b)為數據接收端的控制流程。發送端中rdata為從RAM緩沖區中讀出的數據，raddress為雙端口讀地址，waddress為雙端口寫地址,數據采集完畢為采集過程結束的標志。

3 處理器控制端

3.1 移動物體檢測研究現狀

目前比較常用的運動物體檢測的方法主要有3種，分別是光流法、背景差法和幀差法。光流法的基本原理是給圖像中的每一個像素分配一個速度矢量，根據各個像素的速度矢量特征，對圖像進行動態分析[2]，但光流計算方法相當復雜，且抗噪性能差；幀差法的基本原理是利用圖像序列相鄰兩幀之間的差異計算出變化的像素[3]；背景差法的主要思想是通過對序列圖像建立一個背景模型，估算出當前的最優背景圖像，再通過對前景圖像與背景圖像的差分來判斷場景中的運動物體[4]。

3.2 移動物體檢測

由于處理速度和資源都十分有限，本系統需要通過無線網絡來傳輸圖像，在這樣的硬件條件下難以完成視頻采集，如果使用幀差法前后兩幀之間的差異可能會很大；并且本系統主要起到監控報警的功能，通常所監控的環境移動物體很少，所以選用背景差法進行運動物體檢測。

3.2.1 移動物體檢測流程

首先要獲取初始圖像，系統上電后將第一次獲取的圖像作為初始背景，初始背景并不一定準確，但是隨著時間的推移，在自適應背景更新的過程中背景將會越來越趨近于真實的背景；接下來，將采集到的圖像與背景做差，得到背景差圖像，再對背景差圖像做中值濾波處理；之后，對中值濾波后的背景差圖像做二值化，從而提取出移動物體即背景差圖中的白色部分，在對圖像二值化過程中,本系統根據實際應用環境采用自適應的二值化閾值。

圖5 數據傳輸流程圖

3.2.2 中值濾波

由于噪聲和運動的相關性，會出現一部分殘留的噪聲和運動物體內部空洞的現象，需要利用形態學中開和閉運算進行必要的后處理。在眾多預處理方法中，中值濾波作為一種常用的圖像預處理方法，能夠有效地去除噪聲、平滑圖像，并能夠有效地保留圖像的邊緣信息，所以本系統采用中值濾波來處理圖像。

本系統所采用的是快速中值濾波[5]?？焖僦兄禐V波的處理過程為：首先獲得需要中值濾波處理的像素及其周圍像素，結果為一個3×3矩陣;然后分別計算每一行中3個數據的最大值max、中值med和最小值min；再在上面求得的3個最小值中求最大值max_of_min，最大值中求最小值min_of_max，中值中求中值med_of_med；最后在 max_of_min、min_of_max和 med_of_med中求中值 middle，middle即為所求,把 3×3矩陣的中間值換成 middle就完成了對Data5的中值濾波處理。

3.2.3 自適應閾值

由于閾值的大小對移動物體的檢測主要表現在：當閾值定得較大時，會忽略背景差圖中的一些微小變化；當閾值定得太小，又會導致出現太多的移動物體，造成錯誤的移動物體檢測。因此，可以根據經驗給移動物體個數規定一個上限和一個下限。當檢測到的移動物體個數大于所規定的上限時就適當的增大閾值，當移動物體個數小于所設置的下限時就適當地增大閾值。閾值的變化不是無限的，而是在所容忍的范圍之內變化的。本系統經過上述一系列處理后得到的結果如圖6、圖7所示：圖6為包含移動物體及背景的圖像，圖7為經過一系列處理后得到的對移動物體二值化處理后的結果，其中白色部分為移動物體。

3.2.4 背景自適應更新

現實環境中，即使是固定不變的背景也會因為天氣和光照條件的變化、周圍環境的影響、物體的經過以及攝像機的輕微抖動等因素而發生變化。因此在長期運行的運動檢測系統中背景的更新至關重要。背景更新一般有統計平均法和加權平均法兩種方法。統計平均即取幾幀圖像的平均值作為背景，其公式如下：

其中BK表示背景，N表示參與平均運算的圖像幀數。

加權平均法中，背景的更新公式如下[6]：

本系統采用的更新策略為加權平均，FK表示采集的圖像中扣除被判定為移動物的那部分圖像，對于移動物體部分,將會保留其原來的背景像素值。

本文重點介紹了圖像采集和移動物體檢測，系統主要著眼于對一個簡單實用型監控系統的研究，為此提出了一些有效的方法。隨著硬件技術的發展和芯片價格的下降，系統在日后可以作更大的改進和完善。

[1]王冠，俞一鳴.面向 CPLD/FPGA的 Verilog設計[M].北京:機器工業出版社，2007.

[2]MEYER D,DENZLER J,NIERMANN H.Model based extraction of articulated objects in image sequences for gait analysis[C].SantaBara,California:Proc IEEE International Conference on Image Processing， 1997：50-78.

[3]LIPTON A,FUJIYOSHI H,PATIL R.Moving target classification and tracking form real-time video[C].Princeton:Proc IEEE Workshop on Application of Computer Vision，1998.

[4]STEPHEN J,SUMER J,ZORAN D.Tracking groups of people[J].Computer Vision and Image Understanding,2000，80(1):42-56.

[5]侯景忠.基于運動物體檢測的智能監控系統[D].石家莊:河北工業大學，2008.

[6]湯武當.基于FPGA的運動物體檢測系統設計[D].長沙:湖南大學,2010.