基于邊緣和局部熵融合的視覺安全性評估方法

胡 慧，徐正全

武漢大學 測繪遙感信息工程國家重點實驗室，武漢430079

1 引言

隨著網絡技術的飛速發展，圖像和視頻數據成為人們獲取信息的重要來源。為了保障安全，研究者們提出了大量實用性強的圖像和視頻加密算法[1-3]；同時，基于處理代價和安全性的綜合考量，人們往往希望其存儲和傳輸的加密圖像達到特定的保密性即可。保密性體現在抗密碼分析攻擊的能力及視覺安全性兩個方面，其中關于視覺安全性的研究也越來越受到重視。視覺安全性[4]是指加密后的圖像對于人眼的不可理解程度，視覺安全性越高，非授權用戶從加密圖像中獲取的信息量越少，在不破解密鑰的情況下進行視覺分析攻擊來獲取有價值信息的難度越大。視覺安全性評估在很多領域都有應用，例如移動端視頻加密[5-6]、生物識別系統[7]、指紋圖像保護[8]等，因此對可視媒體數據進行視覺安全性評估是一項重要的研究工作。

圖像視覺安全性評估可分為兩大類：基于打分制的主觀評估方法[9-10]和基于指標的客觀評估方法。其中基于打分制即MOS分（Mean Opinion Score，MOS）的主觀方法易受人的主觀感受和測評環境的影響，而且需要做大量的實驗，費用高，評價速度慢，無法自動進行處理，因此該方法在評估加密圖像的視覺安全性時只是作為自動處理方法的一種輔助參考方法。理想的客觀方法在自動處理的情況下達到與主觀人工方法接近的結果，但遺憾的是，大多數客觀方法都不是特別理想。目前比較常用的客觀評估指標有均方誤差（Mean Square Error，MSE）和峰值信噪比（Peak Signal Noise Ratio，PSNR）[11]，通過比較原始圖像和失真圖像的像素值間的差異來評估失真圖像的質量[12]，模型簡單，但側重于評估失真圖像的質量而不是視覺安全性，不能很好地反映出人的主觀感受。之后有學者將人眼視覺系統（Human Visual System，HVS）融入到了圖像評估中，提出了基于結構相似度（Structural Similarity Index，SSIM）[13]，基于局部邊緣梯度[14]的評估指標，Guo等[15]提出了基于邊緣相似度和紋理相似度的評估指標（Visual Security Index，VSI），文獻[15]中通過提取原始圖像和加密圖像的灰度共生矩陣（Gray-Level Co-occurrence Matrix，GLCM）來獲得紋理相似度，認為加密圖像的邊緣和紋理相似度越低，圖像視覺安全性更高，但當圖像模糊，受損嚴重時評估加密圖像的視覺安全性并不準確[16]。針對經過加密算法處理得到的受損嚴重，質量較低的圖像，Sun和Wu等[17-18]提出了基于信息熵的評估指標，其中Sun等[17]通過局部熵來表征圖像的混亂程度，但是存在塊效應，對于單個塊內各個像素值相似的加密圖像，不可以進行很好地區分，同時只有在圖像足夠混亂時評估效果較好。因此需要引入圖像的邊緣特征，一方面可以消除塊效應，同時保證了在圖像加密強度較低的時候也可以有較好的評估效果。

2 基礎算法研究

2.1 加密圖像的視覺安全性評估

隨著各種高效加密算法例如選擇加密算法的發展，評估加密圖像的視覺安全性至關重要。人眼從圖像中獲得的信息量越少，圖像的視覺安全性越高。

加密圖像的視覺安全性可以通過衡量加密圖像和原始圖像的關系來得到，設原始參考圖像為O，待評估的加密圖像為O′,f(?)為評估指標計算函數，S為評估指標，則：

為了便于比較，將指標進行歸一化處理，使得S∈[0 ,1]，且f(?)需保持單調性。

理想情況下，評估圖像的視覺安全性希望是無參考圖像的，即S=f( )O′?，F有一些基于機器學習的方法來進行無參考圖像的圖像質量評估[19-21]，但評估的圖像主要是針對噪聲、模糊、壓縮等原因產生的失真圖像，圖像的受損程度低。一方面，加密產生的失真和這些失真類型不相同，另一方面，加密得到的圖像往往質量更差，因此用無參考的質量評估算法來衡量加密圖像的視覺安全性偏差較大，算法的魯棒性差。綜上，本文采用有參考圖像的評估方法，旨在提出評估準確、魯棒性強的加密圖像視覺安全性評估指標。

2.2 基于局部熵的視覺安全性評估算法

基于密碼學理論和香農信息論之間的聯系[22]，圖像在被加密后圖像熵會變大，其中理想安全圖像的信息熵最大，因此可以通過計算加密圖像與理想安全圖像的熵之間的接近程度來衡量加密圖像的視覺安全性。

設一幅大小為M×N的數字圖像O的灰度等級數目為L，例如8位灰度圖像，則L=256，灰度級取值范圍為[0，255]。將圖像O中灰度級為l的像素數目用nl表示，則灰度級l出現的概率為Pl≈nl/MN。根據信息熵的定義類比，圖像熵定義[17]如式（2）所示：

而當圖像的灰度級等概率分布時，圖像具有最大的熵，將具有最大熵的圖像稱為理想安全圖像T[17]，其熵值為：

圖像熵反映的是整個圖像的統計特性，不能很好地反映出不同圖像在視覺上的區別，因此需要引入圖像像素位置信息。通過將圖像分成m×n個子塊，圖像O可表示為O={oij}m×n，其中oij可以是一個大小為k×k的子塊，根據式（2）可求得oij對應的局部信息熵hij，則一幅圖像的信息熵可以描述為一個二維的局部信息熵矩陣，如式（4）所示：

對于理想安全圖像T，希望其子塊內的像素灰度級均等概率分布，所以每個子塊的局部信息熵hij為一個常數，記為hd，則定義基于局部熵的評估指標為SLE（Local Entropy，SLE：

2.3 圖像的邊緣相似度度量

圖像的邊緣信息對于人眼視覺系統是至關重要的[23]，對于一幅受損的加密圖像，人眼獲得信息量的來源首先就是圖像的輪廓即邊緣。

而邊緣相似度衡量的是兩幅圖像邊緣相似的程度[24]，為了計算邊緣相似度，首先需要使用邊緣檢測算子提取出兩幅圖像的邊緣輪廓。圖像邊緣檢測應該滿足兩個條件：一是能有效地抑制噪聲；二是必須盡量精確地確定邊緣的位置。常見的邊緣檢測算子有微分算子如Sobel算子、Robert算子、Laplacian算子、Canny算子，其中Laplacian算子對噪聲比較敏感，Sobel算子對邊緣定位不是很準確，Robert算子提取的邊緣比較粗，而Canny算子不容易受噪聲影響，能夠檢測到真正的弱邊緣。

因此在本算法中采用Canny算子進行圖像的邊緣檢測，通過計算加密圖像和原始圖像共有的邊緣占原始圖像邊緣的比例來衡量邊緣相似度。

原始圖像為O，加密圖像為O′，經過邊緣檢測算法EdgeDet(?)處理得到的圖像為DO=EdgeDet(O)和DO′=EdgeDet(O′),則DO和DO′是圖像像素取值為{0,}1的二值圖像，其中1表示邊緣點，0表示非邊緣點。假設原始圖像和加密圖像共有的邊緣二值圖像為D，則定義如下：

其中，(i,j)對應圖像的第i行，第j列，Oi,j和O′i,j分別表示原始圖像和加密圖像在位置(i,j)處的像素值。

DOi,j和DO′i,j分別表示原始圖像和加密圖像的二值圖像在位置(i,j)處的像素值，l∈[ ]0,255表示的是Oi,j和O′i,j亮度變化的閾值，當原始圖像和加密圖像在位置(i,j)處均有邊緣點，且亮度差異在l以內時，認為位置點(i,j)為原始圖像和加密圖像共有的邊緣點，像素取值為1，否則像素取值為0。

則定義邊緣相似度為SES（Edge Similarity，SES：

其中，N()?表示的是L1范數，SES∈[ ]0,1,SES越小，加密圖像和原始圖像共有的邊緣越少，加密圖像的視覺安全性越高。

3 局部熵和邊緣相似度自適應融合

3.1 基于局部熵評估算法的局限性

基于局部熵的思想，引入圖像像素位置信息，需要將圖像分塊，子塊的大小選取要適宜，若太小，每個子塊的樣本數太少，統計不滿足最小樣本數目的要求；若太大，總的子塊個數太少，且子塊不能很好地顯示出圖像的空間特征，Sun等在文獻[17]中選取的子塊的大小為8×8。

但是上述算法只考慮了不同圖像子塊的空間特性，而沒有考慮到每個子塊內圖像像素的位置特性，由于圖像具有空間相關性，對于某些加密算法處理得到的圖像，圖像視覺差異很大，但分得的子塊內的像素值可能相同，從而無法得到和主觀感受一致的評估結果。

如圖1所示，將Lena圖像分成大小不同的子塊，進行位置的隨機置亂，其中從Level1到Level8對應的加密圖像的視覺安全性依次增強。再根據式（5）計算出各個等級的加密圖像的SLE值，得到如圖2所示的結果。

圖1 Lena圖像置亂加密的不同安全級別的加密圖像

圖2 不同安全等級的加密圖像的局部熵均值

SLE越小，加密圖像的局部熵均值越大，加密圖像的視覺安全性越高，因此從Level1到Level8對應的加密圖像的SLE指標值應該保持單調遞減的趨勢，圖2的實驗結果不完全相符。當加密圖像質量差，模糊程度高的時候，使用基于局部熵的評估指標SLE評估得到的結果和主觀評估結果一致。而當圖像質量較好時，SLE這個指標不太敏感，使用局部熵進行評估的意義不大。這是因為在圖像質量較好的情況下，圖像熵更多的是由圖像內容本身的變化決定的，而圖像內容的細微變化引起的熵值的變化不大，只有當圖像受損嚴重時，圖像的像素分布變化大，使用局部熵可以得到較好的評估結果。

3.2 圖像的邊緣相似度度量的局限性

圖像的邊緣信息是圖像的重要特征，它和圖像內容緊密相關，但隨著加密強度的增大，圖像內容越發混亂，使用邊緣相似度度量加密圖像的視覺安全性將會存在偏差。因為隨著圖像內容的破壞，依據圖像特征的評估指標準確率會下降，計算得出的邊緣相似度大小不能真實地反映出人眼獲得信息量的大小。

使用如圖1所示的加密圖像進行實驗，計算各個等級的加密圖像和原始圖像的邊緣相似度，其中式（6）中的l取值為20，得到如圖3中實線所示的結果，然后選取了Matlab工具箱中自帶的部分圖像，通過塊置亂加密后進行實驗，得到的結果如圖3中虛線所示。

圖3 不同安全等級的加密圖像的邊緣相似度

邊緣相似度越小，加密圖像的視覺安全性越高，因此從Level1到Level8對應的加密圖像的邊緣相似度應該保持單調遞減的趨勢，圖3的實驗結果不完全相符?？梢钥闯?，當加密等級較低的時候，使用邊緣相似度得到的評估結果和主觀評估結果一致。而當圖像質量很差的時候，邊緣相似度這個指標不太敏感，使用邊緣相似度進行評估意義不大。

3.3 融合算法

綜合上述分析，基于邊緣相似度和基于圖像局部熵的評估方法都存在應用上的局限性：其中邊緣相似度依賴于圖像的內容和特征，只有當加密強度較低，圖像內容保持一定的完整性的時候評估效果較好；而局部熵與圖像的內容無關，只關心圖像像素的變化情況，只有當加密強度較大，圖像足夠混亂的時候評估效果較好。因此可以考慮將兩個評估方法進行融合，來消除彼此的局限性，拓寬算法的應用范圍。

通過將基于局部熵和邊緣相似度的評估方法進行自適應融合，提出融合指標SLEES（Local Entropy and Edge Similarity，SLEES：

其中，α是自適應調整的權重，衡量的是SES對評估指標SLEES的影響程度，α∈[0 ,1]。由于邊緣對圖像的視覺感知起著更為重要的作用，所以α∈[0.5,1]，且α的取值隨著SES的減小而減小。這是因為圖像加密強度越大，SES越小，圖像邊緣信息更加模糊，圖像更加混亂，采用SLE評估加密圖像的重要性就會增加，( )1-α增大，即邊緣信息對于加密圖像視覺安全性的影響隨著加密強度的增加而減小。

同時根據經驗以及3.1、3.2節的實驗可以分析出，圖像的受損程度同圖像邊緣受損程度以及圖像局部熵的關系趨勢如圖4所示，在圖像受損程度較低時，圖像邊緣損失程度隨著圖像受損程度的增大而增加，而當圖像受損到一定程度時，圖像的邊緣已經趨近于完全模糊不可見；而基于局部熵的評估指標，當圖像受損程度低，圖像混亂程度低時，指標的值變化不大，隨著圖像受損程度的增大，圖像足夠混亂，圖像局部熵均值的變化和圖像受損程度成正相關。

圖4 圖像受損程度和邊緣受損程度以及局部熵的關系

通過上述分析以及圖4可知，圖像的邊緣受損程度和圖像的受損程度呈現非線性關系，且進一步說明邊緣相似度對于視覺安全性的影響隨著加密強度的增加而下降，則SES的權重α的變化應該是非線性的。

基于上述對α取值的討論，在本論文中定義權重系數α如下：

其中，SES∈[ ]0,1，則α∈[0.5,1]，且α的取值隨著SES的減小非線性的減小，則式（8）可以表示為式（10）：

則SES和SLE越小，SLEES越小，加密圖像的視覺安全性越高。

4 實驗結果及分析

對于圖像而言，加密的基本思想有兩個方面，一方面是改變圖像像素的空間位置分布，另一方面是改變圖像像素值的大小。因此通過改變這兩個方面來對圖像進行加密，獲得安全等級遞增的加密圖像，看客觀評估指標得到的結果是否與主觀評估的結果一致，從而驗證本文算法的有效性。同時為了展示算法的性能，計算常用的評估指標MSE、PSNR、SSIM，基于邊緣相似度和紋理相似度的指標VSI[15]，以及融合前的評估指標SLE和SES，將本文提出的融合評估指標SLEES和這幾個指標進行對比。

加密圖像與原始圖像的差異越大，人眼對于加密圖像的理解程度越低，加密圖像的視覺安全性越高。因此對于加密等級遞增的圖像，MSE應該單調遞增，PSNR、SSIM、VSI、SES和SLEES應該單調遞減。

4.1 基于改變像素空間位置的視覺安全性評估

通過依次減小用于空間位置置亂的圖像子塊的大小，用洗牌法置亂圖像子塊的空間位置分布，從而得到視覺安全性逐漸增強的加密算法。以256×256的Lena圖像為例，圖5中Level1到Level5的圖像安全等級依次增高，其中置亂的圖像子塊大小依次為128×128、64×64、32×32、8×8、4×4。

圖5 Lena圖像不同安全等級的加密圖像

基于式（6），使用Canny算子提取圖5中各個等級的加密圖像和原始圖像的共有邊緣，得到的二值圖像如圖6所示。

圖6 加密圖像與原始圖像的共有邊緣

計算得到各個評估指標的結果如表1所示，同時將各個指標的變化趨勢用折線圖表示，由于各個指標的取值范圍差別很大，為了對比直觀性，將指標進行歸一化處理，統一將取值范圍映射到[0，1]，得到如圖7所示的結果。

表1 各個評估指標的實驗對比

圖7 各個評估指標的變化趨勢圖

通過表1和圖7可以看出，MSE、PSNR、SSIM、VSI、SLE和SES都不具有單調性，而SLEES指標單調遞減，和主觀評估結果一致。

與原始圖像相比，Level1和Level2的加密圖像的內容相似度的差異大，而Level4和Level5的加密圖像的內容相似度的差異小，而從圖7中可以看出，SLEES的下降趨勢是先快后慢，從Level1到Level2急劇下降，而從Level4到Level5緩慢下降，和主觀評估結果一致，這也進一步說明融合指標SLEES性能良好。

4.2 基于改變像素值大小的視覺安全性評估

圖像數據代表了圖像內容所含的信息，編碼這些信息可以實現加密的目的。以Lena圖像為例，首先分析圖像不同部分的重要性，然后根據它們的重要性來分類出圖像數據的關鍵信息，從而得到視覺安全性逐漸增強的加密算法。

圖8給出了灰度等級數為256的圖像的比特位平面，其中比特平面7代表了所有圖像像素均由最高比特位組成的二值圖像，比特平面0代表了所有圖像像素均由最低比特位組成的二值圖像。由圖8可知，比特平面7最接近于原始圖像，而隨著比特平面的下降，比特平面與原圖像的差異越來越大，比特平面0接近于白噪聲。由此可見，比特平面0是最不重要的平面，隨著比特平面的上升，比特平面的重要性也依次增加，比特平面7是最重要的比特平面。

圖8 Lena圖像的比特平面分解效果圖

基于Logistic混沌序列對圖像的比特面進行加密，通過組合加密不同的比特面，獲得加密等級依次增強的加密圖像。根據表2中的組合情況，獲得的安全等級遞增的圖像如圖9所示。

表2 比特面加密組合情況

基于式（6），使用Canny算子提取圖9中各個等級的加密圖像和原始圖像的共有邊緣，得到的二值圖像如圖10所示。

計算得到各個評估指標的結果如表3所示，其中MSE單調遞增，PSNR、SSIM、SLE、SES和SLEES單調遞減，單調性和理論分析結果一致。

圖9 Lena圖像不同安全等級的加密圖像

圖10 加密圖像與原始圖像的共有邊緣

表3 各個評估指標的實驗對比

將單調遞增的指標MSE和單調遞減的指標PSNR、SSIM、SLE、SES和SLEES分別放在兩個折線圖中，將指標進行歸一化處理，統一將取值范圍映射到[0，1]，得到圖11所示的結果。

和前面實驗的分析類似，各個評估指標從Level1到Level5的變化趨勢應該是先急劇后緩慢，其中嚴格符合這個變化趨勢的指標有PSNR、VSI和SLEES。

綜合兩個實驗結果可以看出，本文提出的融合評估指標SLEES得到的結果和理論分析結果一致，且和主觀觀察的圖像變化趨勢相符，整體性能優于其他評估指標。

4.3 評估指標的魯棒性分析

為了進一步驗證本文提出的SLEES評估指標具有良好的魯棒性，以Matlab工具箱中自帶的120幀traffic視頻序列為例，分別使用4.1節和4.2節的加密方式對圖像進行加密，產生從Level1到Level5的加密視頻幀。

圖11 各個評估指標的變化趨勢圖

首先每隔4幀取一幀加密圖像計算出融合指標SLEES值，得到加密視頻序列的SLEES分布曲線，結果如圖12所示。

圖12 不同安全等級的S LEES變化趨勢圖

通過圖12可以看出，對于通過兩種典型加密方式處理得到的不同安全等級的視頻幀，加密等級越高，SLEES越小，和主觀評估結果一致。

接下來依次畫出融合前指標局部熵指標SLE，邊緣相似度SES和融合后指標SLEES的盒須圖，分析各個安全等級下的指標的分散情況，得到的結果如圖13所示。

圖13 融合前后指標的盒須圖

通過圖13可以看出，對于兩種典型加密方式，SLE指標在加密等級較高的情況下表現良好，SES指標在加密等級較低的情況下表現良好，與3.3節的分析結果一致。同時，融合后的指標SLEES整體分布要比融合前的指標SLE和SES的分布更加均勻，表明本文提出的自適應融合算法指標SLEES具有良好的魯棒性。

5 結束語

本文針對基于局部熵進行加密圖像的視覺安全性評估存在的局限性，引入圖像的邊緣特征，進行圖像的邊緣相似度度量，通過將基于圖像邊緣相似度和局部熵的評估方法進行自適應融合，提出了SLEES指標，一方面消除了局部熵評估算法的塊效應，同時拓寬了算法的評估范圍，使得算法在各個加密強度下均具有較好的評估效果。通過兩種最典型的加密方式處理獲得加密等級遞增的加密圖像，實驗結果表明本文提出的融合評估指標得到的評估結果和主觀評估結果一致，整體性能優于其他幾個典型評估指標，并且在加密視頻幀上進行實驗，實驗結果表明融合后的評估指標的整體分布比融合前的指標的分布更加均勻，驗證了算法的魯棒性。本文是針對加密圖像來進行安全性評估，加密圖像的質量整體相對較差，在接下來的研究工作中，將嘗試提出可以同時評估圖像質量和圖像視覺安全性的評估指標，進一步擴大應用范圍。