基于FPGA的電子變焦系統設計*

梁 青，李廣卿，陳文藝，田 科

（1.西安郵電大學 電子工程學院，陜西 西安710061；2.西安郵電大學 物聯網與兩化融合研究院，陜西 西安710061；3.京信通信系統（中國）有限公司 無線接入產品事業部，廣東 廣州510530）

基于FPGA的電子變焦系統設計*

梁 青1，李廣卿1，陳文藝2，田 科3

（1.西安郵電大學 電子工程學院，陜西 西安710061；2.西安郵電大學 物聯網與兩化融合研究院，陜西 西安710061；3.京信通信系統（中國）有限公司 無線接入產品事業部，廣東 廣州510530）

針對數碼相機、手機等移動設備的特點，提出一種基于高分辨率傳感器的無損電子變焦模型，該模型同時克服了光學變焦模型和傳統電子變焦模型的缺陷，輸出圖像可以達到光學變焦的效果。針對圖像在縮放過程中的混疊現象，提出一種基于FPGA的抗混疊濾波和雙線性插值相結合的圖像縮放算法。通過MATLAB仿真表明，該算法得到的圖像質量較高,硬件實現簡單。

圖像；變焦；混疊；FPGA

0 引言

在圖像處理領域中，變焦技術發揮著非常重要的作用，此技術已被廣泛應用于公共生活、社會安全、醫療設備以及生活的各個領域。目前有很多科研工作者開展了這方面的工作：Seung Hwan Lee等設計了一種基于色度、色差、強度模型的電子變焦算法，這種顏色模型可以改善輸出圖像的色彩，提高圖像的清晰度和圖像質量[1]。Lukac等提出了在Bayer模式上進行電子變焦，采用了一種彩色濾波陣列，可以去除圖像的馬賽克和塊效應[2]。本文針對相機、手機等移動設備的特點，在研究了光學變焦和傳統電子變焦缺陷的基礎上，提出一種基于FPGA的高分辨率傳感器無損電子變焦的系統設計方案，在不降低分辨率的前提下，對圖像進行縮放。該方案可以通過電子變焦的模式實現光學變焦的效果，克服了光學變焦結構復雜、價格昂貴的不足，具有很大的現實意義。

縮放算法是本文基于FPGA的電子變焦系統設計的核心，目前應用于圖像縮放的傳統算法有：最近鄰域法、雙線性插值、雙三次插值等。最近鄰域法得到的圖像質量較差，雙三次插值實現復雜，雙線性插值算法為一般縮放引擎使用的算法，但是當縮放系數較大時，該算法

也會出現由頻譜混疊帶來的鋸齒狀效果?；趥鹘y縮放算法的不足，本文提出一種基于抗混疊濾波的圖像縮放算法。該算法根據縮放系數不同先進行濾波然后再做插值運算，克服了圖像尺寸變化帶來的混疊效應，即使針對較大縮放系數的情況下仍可以得到高質量的圖像[3-5]。

1 變焦成像模型

光學變焦是相機通過移動光學鏡頭來放大或縮小拍攝的對象，光學變焦倍數越大，能拍攝的景物就越遠。光學變焦示意圖如圖1所示。當感光器件在水平方向運動時，視角和焦距就會發生相應變化，較遠的景物變得清晰，讓人產生物體被拉近的感覺[6]。

圖1 光學變焦示意圖

傳統電子變焦是采用插值處理方式把影像照片內某一區域的像素面積擴大到整個顯示窗口，從而達到放大目的，傳統電子變焦示意圖如圖2所示。這種方法如同用圖像處理軟件把圖片的像素放大一樣，由于焦距沒有發生改變，圖像的清晰度會有一定程度的下降[6]。

圖2 傳統電子變焦示意圖

本文提出的無損電子變焦模型采用大尺寸圖像傳感器采集圖像，確保采集較大視場角的圖像，提高變焦倍數。該模型的核心部分就是將全景圖像“濃縮”到顯示圖像，即過采樣過程。無損電子變焦示意圖如圖3所示，正常顯示時，將全景圖像縮小到顯示圖像輸出，此時輸出的圖像為最大視場角圖像；當放大圖像時，過采樣程度就會減小，將較小的圖像縮小到顯示圖像輸出；直到放大到最大時，不需要過采樣，直接將原圖中心顯示圖像大小的圖像輸出。這個過程不同于傳統電子變焦的插值計算法，不會損失圖像精度和清晰度。

圖3 無損電子變焦示意圖

2 變焦系統基本結構

電子變焦系統功能框圖如圖4所示。根據設計要求，系統被劃分為5個組成模塊：視頻圖像輸入模塊、預濾波模塊、雙線性插值模塊、縮放控制模塊、視頻圖像輸出模塊。

圖4 電子變焦系統功能框圖

FPGA作為系統的核心控制芯片，采用預濾波和雙線性插值相結合的方法進行圖像縮小，通過縮放系數的變化控制預濾波方式和插值位置。外部設備采集2 560× 1 440分辨率的視頻圖像，縮放控制模塊根據縮放系數控制預濾波模塊選擇合適的濾波模板，以及為雙線性插值模塊提供插值坐標和插值系數。最終視頻圖像經VGA輸出320×240分辨率的視頻圖像，從而實現6倍光學變焦的效果。預濾波模塊根據縮放系數選擇不同的濾波器進行濾波，從而消除圖像縮小帶來的頻譜混疊。插值模塊采用雙線性插值法實現圖像的縮放?？刂颇K根據縮放系數的變化，為預濾波模塊選擇合適的濾波器，同時控制插值模塊生成合適的插值坐標和插值系數，實現全局控制。

3 縮放算法分析

3.1 頻譜混疊

式(1)中 x(t)為連續信號，x(n)為抽樣信號，抽樣間隔為T，若將抽樣頻率 fs減小到(1/M)fs，最簡單的方法是將x(n)中每M個點抽取一個，組成一個新的序列x′(n)：

上述過程為減采樣過程，圖5所示為抽樣頻率減小2倍的結果。

圖5 減采樣過程

下面討論 x(n)和 x′(n)的頻域關系，現定義一個中間序列 x1(n)：

式中 p(n)是一脈沖串序列，它在M的整數倍處值為 1，其余為0。

顯然：

式中 X′(ejw)和 X(ejw)分別是 x′(n)和 x(n)的 DTFT。從式(6)中可以看出，X′(ejw)是原信號頻譜 X(ejw)先做 M倍的擴展再在w軸上每隔2π/M的移位疊加。由抽樣定理可知，在第一次對 x(t)抽樣時要保證 fs≥2fc（fc為 x(n)的最高頻率，fs為抽樣頻率），則抽樣結果不會發生頻譜混疊[7]。當對x(n)作 M倍抽取后，若保證 x′(n)重建x(n)，則X′(ejw)的一個周期(-π/M～π/M)也應等于 X(ejw)，這樣要求抽樣頻率fs≥2Mfc，如果不滿足將發生頻譜混疊。因此理想的抗混疊濾波器為：

3.2 頻譜混疊仿真

數字圖像是通過對模擬圖像進行等間隔采樣得到的，需滿足采樣定理，即最高頻率在采樣頻率的1/2附近，因此一幅數字圖像中不同區域交界處的頻率在頻譜的附近[8]。本文采用環形圖像進行仿真，如圖6所示，該圖像為同心圓環，并且圓環從內到外的頻率在慢慢增加。通過對該圖像進行頻率分析，可以獲得該圖像的頻譜特性。首先進行一維數據的頻譜混疊分析，然后推廣到二維圖像。

圖6 圓環圖像

對于一維頻譜，抽取該圖像的中間一行進行分析，圖像的大小為301×301像素，抽取第150行數據進行分析，記為x(k)，對其進行一維離散傅里葉變換記為 X(K)，時域及頻域顯示如圖7所示，其中時域和頻域都進行了歸一化處理。

圖7 一行離散數據的時域和頻域顯示

從頻域可以看出，圖像的信息集中在低頻區域，主要在[-0.5，0.5]之間，高頻區域信息較少。首先，直接對該數據進行3倍減采樣，求其DTFT并觀察其頻譜，直接減采樣頻譜圖如圖8所示；其次，用凱賽窗設計一個FIR低通濾波器，截止頻率為 0.3，階數為 30，對該數據進行濾波后再求其DTFT，觀察濾波后減采樣頻譜如圖9所示。從頻譜圖中可以發現直接減采樣的數據發生了嚴重的頻譜混疊現象，而經過低通濾波再減采樣的數據沒有發生頻譜混疊，只是頻譜有所擴展。

圖8 直接減采樣頻譜

圖9 濾波后減采樣頻譜

同樣推廣到二維圖像，對上述圖像縮小3倍。首先，直接采用最鄰近插值的方法將圖像縮小3倍，直接減采樣如圖10所示；其次，使用窗函數法設計一個低通濾波器，階數為 21階，截止頻率0.3，對圖像進行低通濾波，然后再使用最鄰近插值縮小圖像，濾波后減采樣效果如圖11所示。對比兩幅圖可知，直接減采樣圖像產生了混疊，有明顯的鋸齒現象，濾波后減采樣圖像沒有發生混疊，圖像平滑，但是因為使用了低通濾波器使高頻信息受損，因此需要設計合適的濾波器，既要抑制混疊又要保留適當的高頻信息。

圖10 直接減采樣

圖11 濾波后減采樣

3.3 濾波器設計

本文的縮放模塊是采用先濾波、后采樣的方式，對每種縮放系數采用合適的抗混疊濾波器。根據FPGA的內部結構以及輸入輸出圖像的大小，縮放模塊的縮放系數選取1～1/6(約64/64～11/64)，這樣可分為53級縮放?；贔PGA硬件存儲資源的考慮，不可能每種縮放系數都采用不同的濾波器，因此當縮放系數在一定范圍變化時采用同一種濾波器。本文設計使用兩級濾波的形式，產生多種不同的濾波器，根據縮放系數的大小選擇濾波系數和濾波級數。濾波器結構如圖12所示。具體分為5個系數范圍，在這5個系數范圍分別采用合適的濾波器，使用預濾波與雙線性插值相結合的方法進行圖像縮放。

圖12 濾波器結構

采用兩個濾波器模板，實現多種組合，可以應對不同的縮放系數。本文選用圖13所示的兩個濾波器模板進行濾波，實現5種不同組合，分別對應5種縮放范圍。

圖13 濾波器模板圖

通過理論分析和仿真研究得到以下結論（*代表卷積）：

(1)當縮放系數在1/2≤?＜1時，不需要預濾波，直接雙線性插值。

(2)當縮放系數在1/3≤?＜1/2時，濾波模板為h(n)。

(3)當縮放系數在1/4≤?＜1/3時，濾波模板為g(n)。

(4)當縮放系數在1/5≤?＜1/4時，采用兩級濾波，k(n)=h(n)*g(n)。

(5)當縮放系數在 1/6≤?＜1/5時，采用兩級濾波，w(n)=g(n)*g(n)。

4 圖像評價

本文研究的是圖像縮小，首先將原圖縮小到目標圖像，其次在PC機上使用Lanczos插值算法縮放到相同尺寸，以該圖像作為參照圖像，進行客觀的比較。Lanczos插值算法是比較好的圖像處理算法，既可以抑制圖像混疊又可以保護圖像的邊緣，在混疊和銳化之間進行了權衡，通過實驗發現采用該算法進行圖像縮放可以得到較好的效果[9]。本文選取 6幅有代表性的圖像，如：風景、人物、房屋等進行綜合評價，比較圖像質量。對選取的圖像分別采用最鄰近插值、雙線性插值和三次立方插值以及抗混疊濾波縮放算法進行縮放，從主觀和客觀角度上進行評價。

4.1 主觀評價

圖14是將原圖縮小3倍的部分圖像，可以發現最鄰近插值得到的圖像鋸齒現象加重，圖像變得更加銳利，雙線性插值算法也會出現輕微的鋸齒現象，圖像較模糊；抗混疊濾波縮放算法得到的圖像在直觀上要優于前兩種算法，圖像較清晰。

圖14 圖像縮小主觀比較

4.2 客觀評價

分別對上述6幅圖像進行縮放，比較在各種算法下的峰值信噪比，結果如表1、表2所示。

表1 圖像縮小3倍PSNR比較dB

表2 圖像縮小4倍PSNR比較dB

當縮放系數不是很大時，由于縮放前進行了預濾波，在客觀比較上峰值信噪比可能不如雙線性和立方插值，但是由于算法插值前進行了預濾波，這樣有效抑制了頻譜混疊的發生，從直觀上看優于最鄰近插值和雙線性插值，隨著縮放系數的增大抗混疊濾波縮放算法得到的峰值信噪比提高，明顯優于雙線性和立方插值算法。

5 小結

本文提出了一種基于高分辨率傳感器的無損電子變焦模型，該技術區別于傳統的電子變焦模型，變焦過程不損失圖像精度和清晰度，進而實現通過電子變焦達到光學變焦的效果?？s放算法使用一種抗混疊濾波器和雙線性插值相結合的圖像縮放算法，該算法有效避免了圖像縮小帶來的混疊現象。從仿真中可以發現，當縮放系數較小時，由于雙線性插值存在低通濾波的效果，因此不需要再進行濾波，雙線性插值適應的縮放范圍為1～1/2。當縮放進一步擴大時，雙線性濾波已經不能滿足要求，這樣需要在插值前進行預濾波，本文使用兩級濾波結構產生多種濾波器，根據不同的縮放系數使用不同的濾波器。通過仿真比較，當縮放兩倍以上時，該算法優于雙線性和立方插值，同時硬件實現簡單。

[1]Seung Hwan Lee，Dong Hwan Koh，Yang Wang，et al.Digital Zoom based on HCI ColorModel(Hue-Chroma-Intensity)[C].Intelligent Systems Modelling&Simulation(ISMS)，2013 4th International Conference on，29-31 Jan.2013.

[2]LUKAC R，MARTIN K，PLATANOITIS K N.Digital camera zooming based on unified CFA image processing steps[J]. Consumer Electronics，IEEE Transactions on，2004，50(1)：15-24.

[3]譚亮，孫俊喜，顧播宇，等.基于FPGA局部視頻圖像任意比例縮放系統[J].電視技術，2013(9)：42-44.

[4]嚴利民，田鋒，顧裕燦.圖像縮放算法的研究及FPGA實現[J].儀表技術，2012(7).

[5]Alakarhu Juha，Salmelin Eero.Partinen Nokia PureView oversampling technology proceedings of SPIE-The International Society for Optical Engineering，v8667，2013.

[6]王金華，嚴衛生，劉旭琳，等.基于視景通道的透鏡成像過程仿真技術研究[J].系統仿真學報ISTIC PKU，2010(9).

[7]賈中云.一種利用采樣率轉換方法的灰度圖像放大算法[J].杭州師范學院學報：自然科學版，2005(5)：360-363.

[8]李秀英，楊杰，王麗平.用于改變圖像大小的 M帶插值濾波器設計[J].現代電子技術，2005(9)：28-29.

[9]張善文，戎蒙恬，李萍.基于非均勻采樣重構的圖像插值算法[J].信息技術，2011(3)：1-4.

陳文藝(1964-)，教授，主要研究方向：通信集成電路設計、視頻圖像實時處理及傳輸。

Electronic zoom system design based on the FPGA

Liang Qing1，Li Guangqing1，Chen Wenyi2，Tian Ke3
(1.Department of Electronic Engineering，Xi′an University of Posts and Telecommunications,Xi′an 710061，China；2.Internet of Things and Integration of IT Application and Industrialization Institute，Xi′an University of Posts and Telecommunications，Xi′an 710061 China；3.Department of Wireless Access Products,Comba Telecom Systems(China)Co.，Ltd.，Guangzhou 510530 China)

First of all,according to the characteristics of digital cameras,mobile phones and other mobile devices,a nondestructive electronic zoom model based on high resolution sensors is proposed.The model overcomes the defects of optical zoom model and the traditional digital zoom model at the same time and the output image can achieve the effect of the optical zoom.Secondly a kind of image scaling algorithm based on FPGA combining anti-aliasing filter and bilinear interpolation is put forward to solve the aliasing phenomenon in the process of scaling the image.By Matlab simulation,the image quality of this algorithm is superior and the hardware implementation is simple.

image；zoom；aliasing；FPGA

TN492

A

0258-7998(2015)04-0069-04

10.16157/j.issn.0258-7998.2015.04.015

2014-11-18)

梁青(1966-)，女，教授，主要研究方向：無線傳感器網絡。

李廣卿(1989-)，通信作者，，研究生，主要研究方向：數字集成電路設計，E-mail：215754286@qq.com。

國家自然科學基金資助項目（61202490）；陜西省教育廳科學研究計劃基金資助項目（12JK0559）