基于生成對抗網絡的車牌圖像超分辨率重建方法

趙艷芹,張 鈺

(黑龍江科技大學 計算機與信息工程學院,黑龍江 哈爾濱,150022)

車牌識別在智能交通系統和公共安全領域中起著重要作用,但是由于攝像機與車輛距離較遠、光照不足、相對運動等原因,往往導致獲取的車牌圖像分辨率較低,從而影響了車牌圖像的讀取辨識能力及其后續應用[1]。因此,為了增強車牌識別精度,從低分辨率車牌圖像重建得到高分辨率圖像顯得尤其重要。圖像超分辨率重建是由Tsai等[2]首次提出,之后一些學者在此基礎上進行了改進和發展[3]。SRCNN是由Dong等[4]提出的,之后為了加速和改進SRCNN,Dong等[5]提出了FSRCNN。2014年,Goofellow等[6]首次提出了生成式對抗網絡(Generative Adversarial Networks,GAN)。受GAN的啟發,Ledig等[7]首先將生成式對抗網絡應用于單幅圖像超分辨率重建任務中,提出了SRGAN。隨后,Wang等[8]對SRGAN進行了改進,將殘差密集塊(Residual-in-Residual density Block,RRDB)引入到生成器的網絡中,并提出了增強超分辨率生成對抗網絡(ESRGAN),ESRGAN使用相對判別器來預測相對真實度,而不是SISR中的普通絕對差。然而,現如今的車牌圖像超分辨率重建算法樣本訓練過程太耗時,需要大量的計算資源和時間[8],限制其在交通監控等實時應用中的實用性。為此,筆者提出一種輕量化的基于生成對抗網絡的車牌圖像超分辨率重建方法(S-ESRGAN)。

1 相關理論

ShuffleNet是一個高效的卷積神經網絡架構,其設計目的是減少計算資源和內存使用,同時在各種計算機視覺任務上仍然取得最先進的性能。Zhang等[9]設計了ShuffleNet V1模型,該模型有效的降低了計算量。為了彌補點態群卷積的缺陷,提出了Channel Shuffle操作。該操作在可微的同時又能嵌入進網絡結構中進行端對端訓練,可以加強網絡性能。為了構建一個更輕量級的模型,Ma等[10]提出了ShuffleNet V2,指出瓶頸單元和逐點組操作會增加內存訪問成本,大量的群組會降低并行度。針對這些問題,Ma等[10]又提出了信道分裂來替代分組操作,將輸入信息分成兩個分支。

2 S-ESRGAN

2.1 S-ESRGAN網絡框架

S-ESRGAN生成器結構主要有3個部分:淺層特征提取、深層特征提取和重建模塊(圖1)。LR是輸入的低分辨率圖像,輸入的低分辨率圖像首先會進入淺層特征提取網絡,淺層特征提取網絡包括卷積層和LeaklyReLU函數部分。淺層特征提取網絡主要用于提取邊緣信息,完成空間維度到特征維度的映射。本層的激活函數使用LeaklyReLU函數,以避免丟失小于0的數據。然后,進入深層特征提取網絡部分,將特征信息傳入無序擠壓和激勵模塊(SSEB)提取深層特征,無序擠壓和激勵模塊是特征提取的主要模塊。最后,進入重建模塊,經過卷積和上采樣操作,得到生成的高分辨率圖像(SR)。

圖1 S-ESRGAN生成器網絡結構

S-ESRGAN使用相對判別器作為判別器網絡[11](圖2)。與其他普通判別器不同,相對判別器輸出的是相對概率,即真實圖像和生成器的生成圖像之間的相對真實概率。判別器的特征提取部分由卷積層組成,BN為批處理規范化層,Dense為全連接層。

圖2 S-ESRGAN判別器網絡結構

2.2 無序擠壓和激勵模塊

為了實現車牌圖像超分辨率重建的輕量化,本次研究在算法框架中引入ShuffleNet V2的設計概念和利用SE網絡[12]結合殘差學習,提出無序擠壓和激勵模塊(Shuffle Squeeze and Excitation Blocks)。

無序擠壓和激勵模塊結構見圖3。其中,DWCONV為深度卷積層,FC為全連通層。在每個無序擠壓和激勵模塊的開始,先執行通道分裂(Channel Split)的操作。把輸入的特征圖一分為二,左側的分支直連接觸層(Concat),右側的分支又分為卷積分支和殘差分支,這兩個分支最后逐個元素相加,并且在ReLu激活函數之后連接到底部殘差分支。卷積分支的上部包含3個卷積層和1個SE模塊。通過觸點的操作,輸入通道的數量等于輸出通道的數量,從而使內存訪問量最小化。最后,利用Channel Shuffle操作進一步增強信息交換。

圖3 S-ESRGAN中的無序擠壓和激勵模塊結構

無序擠壓和激勵模塊結構中的SE模塊主要分為3個部分:擠壓、激勵和縮放(圖3)。GAP表示全局平均池化層。在擠壓段引入全局平均池化層,添加基于通道維數的全局空間信息。此外,在激勵部分,2個完全連接的層被用來收集來自前一部分的信息。激勵部分是為了捕獲通道之間的信息依賴關系。最后,使用Sigmoid函數獲得0～1之間的歸一化權重,分配給輸入特征圖的每個通道。

2.3 損失函數

判別器網絡損失函數:鑒別器DRa可以得到2個輸出,分別為Dreal和Dfake。表達式如下:

Dreal=C(IHR)-E(C(ISR))

(1)

Dfake=C(ISR)-E(C(IHR))

(2)

其中,Dreal表示DRa的結果是真實圖像(HR圖像)的平均概率,Dfake表示DRa的結果是生成圖像(SR圖像)的平均概率,C(·)是鑒別器的函數,E(·)表示對小批量數據求平均值的函數。

生成器網絡的損失函數:本次研究使用感知損失函數、內容損失和對抗損失的總和作為生成器網絡的損失函數。

(3)

式中α,β為平衡各種損失項的系數。

2.4 算法性能評價指標

2.4.1峰值信噪比(Peak Signal-to-Noise Ratio,PSNR) PSNR是一種用于度量重建圖像與原始高清圖像之間的差異的評價指標。PSNR指標越高,圖像質量越好。

(4)

其中,MaxI表示圖像中像素值中的最大值,MSE表示2個圖像之間對應像素之間差值的平方的均值,MSE是原圖像與處理圖像之間均方誤差。單通道圖像的MSE計算公式為:

(5)

2.4.2結構相似性指標(Structural Similarity Index,SSIM) SSIM是一種用于度量重建圖像與原始高清圖像之間的結構相似性的評價指標,其取值范圍為[0,1]。SSIM的值越大,表示圖像失真程度越小,圖像質量越好。

給定2個圖像,結構相似性可按照以下方式計算:

(6)

其中μ為圖像的平均值,σ2為圖像的方差,C1=(k1L)2,C2=(k2L)2,C1和C2是用來維持穩定的常數,其中的L是像素值的動態范圍。當2張圖像完全相同時,SSIM的值等于1。

2.4.3FLOPs(FLoating point Operations Per Second) FLOPs是每秒浮點運算次數,用來衡量深度學習模型的計算復雜性或成本的一個指標。

3 試 驗

數據集使用的是中國城市停車數據集(CCPD)。該數據集是一個大型的、多樣化的,而且被仔細標注過的開源數據集,但是數據集中的圖片數量過多,無用的信息過多,不能直接作為本次研究算法的數據集,因此需要對數據集進行預處理?？紤]到計算資源,首先要從CCPD數據集圖片中選取2 000付車牌圖像,其中80%為訓練集,20%為測試集。因為數據集中的圖片無用信息過多,所以需要進一步對數據集處理,使用OpenCV裁剪出車牌區域圖片,之后使用MATLAB對圖片進行降采樣處理,然后使用高分辨率的圖片和相應的低分辨率圖片進行對抗訓練。

在運行時間方面,為了保證重建車牌圖片的質量,S-ESRGAN運行時間只和基于生成對抗網絡的算法作對比。本次研究計算了用其他基于生成對抗網絡的算法和S-ESRGAN將輸入的40×20的低分辨率圖像重建為320×160圖像所需的時間。結果表明,在運行時間方面,S-ESRGAN運行時間優于SRGAN和ESRGAN。SRGAN處理每幅圖像的平均時間為76.14 ms,ESRGAN處理每幅圖像的平均時間為91.04 ms,而S-ESRGAN處理每幅圖像的平均時間為74.54 ms,相較于ESRGAN縮短了18.1%(表1)。

表1 各算法重建圖像運行時間

各方法8倍重建圖像評價指標見表2。試驗結果表明,與SRGAN比較,S-ESRGAN的PSNR值和SSIM值分別提高了0.437 7 dB和0.005 5。雖然S-ESRGAN的PSNR和SSIM指標略小于ESRGAN的,但是S-ESRGAN的算法計算量遠遠少于ESRGAN,實現了輕量化。

表2 各算法8倍重建圖像評價指標對比

典型車牌圖像重建對比圖見圖4～圖7,典型圖像使用不同算法重建的評價指標見表3?？梢钥闯?基于生成對抗網絡的算法比基于卷積神經網絡的算法具有更高的PSNR值和SSIM值。S-ESRGAN的PSNR和SSIM指標比Bicubic, SRCNN, FSRCNN等非生成對抗網絡的方法有很大的提升。與其他基于生成對抗網絡的方法對比,S-ESRGAN的指標PSNR和SSIM指標平均只有小幅度提升,而與重建圖像效果最好的ESRGAN相比,只是遜色少許。

表3 典型車牌圖像使用不同算法重建的評價指標

圖4 典型車牌圖像1各算法重建效果對比 圖5 典型車牌圖像2各算法重建效果對比

圖6 典型車牌圖像3各算法重建效果對比 圖7 典型車牌圖像4各算法重建效果對比

本次研究設置無序擠壓和激勵模塊的數量在15～25之間,然后用數據集進行驗證,計算不同數量的無序擠壓和激勵模塊平均PSNR和SSIM的值。隨著模塊數量增多,PSNR和SSIM平均數值越來越高,但是到達某個值之后,評價指標數值會開始降低(圖8,圖9)。當模塊數量達到18個時,SSIM和PSNR達到最高值,所以設置無序擠壓和激勵模塊的數量為18個。

圖8 S-ESRGAN中無序擠壓和激勵模塊數量對PSNR的影響

圖9 S-ESRGAN中無序擠壓和激勵模塊數量對SSIM的影響

4 結 論

為了實現車牌圖像超分辨率重建的輕量化,提出了一種基于生成對抗網絡的車牌圖像的超分辨率重建方法S-ESRGAN,引入了ShuffleNet V2的設計概念,提出了無序擠壓和激勵模塊,在保證重建圖像質量的前提下實現了輕量化。試驗結果表明,雖然S-ESRGAN在PSNR,SSIM這兩個圖像評價指標上略遜色于生成效果最好的ESRGAN,但在計算量和重建時間方面都明顯優于ESRGAN。