基于球面Haar小波和卷積神經網絡的飛行員虹膜識別

賈 博 馮孝鑫 李 軍 俞碧婷 趙 倩 吳 奇*

①(東航技術應用研發中心有限公司 上海 201707)

②(上海交通大學電子信息與電氣工程學院 上海 200240)

③(伍倫貢大學 澳大利亞 伍倫貢 2500)

1 引言

隨著機器視覺的不斷發展，各種新興的生物識別技術開始出現并得到廣泛應用，虹膜識別就是其中很有代表性的一種。由于虹膜識別具有唯一性、穩定性、安全性等優點，以及虹膜作為眼球的一部分，一般情況下不會受到損壞，相對于其他生物識別技術來說具有較高的優越性，因此廣泛應用于如移動支付、門禁系統以及智能手機和計算機的解鎖等涉及身份信息確認的眾多場景。但是傳統虹膜識別由于拍攝和圖像轉換等原因準確率并不高，如何提高虹膜識別的準確率和識別速度就成為熱門的研究話題。顯然，提高虹膜識別有兩種有效途徑：一是提取更加有效的虹膜特征，二是建立更為有效的分類器。本文的出發點在于，提取一種更加新穎的虹膜球體表面特征，獲取更加精細的虹膜球體局部信息。

2002年Ma等人[1]提出使用一組Gabor濾波器來捕獲局部和全局虹膜特征，設計一種基于加權歐幾里得距離的虹膜特征識別方法，該方法顯著改善了識別精度與模型運行時間。Yao等人[2]提出了一種基于改進的Log-Gabor濾波器的虹膜識別算法。由于具有嚴格帶通的特性使得Log-Gabor濾波器比復雜Gabor濾波器更適合于提取虹膜相位特征。Nabti等人[3]采用多尺度邊緣檢測方法作為預處理步驟以有效地定位虹膜，并提出了一種使用矩不變量的特征向量表示和基于異或運算的快速匹配方法。2012年，Proen?a等人[4]提出一種基于虹膜顏色和形狀的多特征融合識別方案，實現無噪聲虹膜動態劃分。Santos等人[5]提出1維小波、2維小波、Gabor、局部二值模式(Local Binary Patterns, LBP)和尺度不變特征轉換(Scale-Invariant Feature Transform, SIFT)的多特征融合的虹膜識別方法，識別結果得到了顯著改善。Tan等人[6]提出結合虹膜紋理、虹膜顏色、皮膚紋理和睫毛分布的虹膜識別方法。這種方法包含了虹膜外部有效特征，但也使得運算更為復雜，且易受干擾。2015年Huo等人[7]提出一種融合Gabor濾波器和直方圖變換的虹膜識別方法，該方法也獲得了良好的識別效果。2016年Kumar等人[8]提出一種基于2維離散余弦變換(Discrete Cosine Transform,DCT)的虹膜特征提取與識別算法，其中2維DCT可以用于提取虹膜上最具區分度的特征。2019年劉元寧等人[9]使用2維Haar小波提取虹膜紋理特征作為頻域特征并與使用二分統計局部二值模式提取的空域特征相結合，提出一種特征加權融合的虹膜識別算法。將Gabor濾波與Haar小波相結合，提取虹膜特征實現虹膜2次識別的方法也能取得較好的效果。

上述方法在不同數據集上都取得了不錯的虹膜識別效果，但是這些研究大多使用虹膜平面圖像信號，未曾涉及虹膜球體表面信號。虹膜是一種復雜球狀體，其表面是一種復雜曲面，而不是一個平面。曲面的幾何特征信息是虹膜圖像的有效特征信息。顯然，研究一種可以表達球體表面信號的方法對于虹膜識別至關重要。球面Haar小波基(Spherical Haar Wavelet, SHW)具有球狀表面信號分析能力[10]，而目前比較有代表性的SHW主要有以下3種：

第1種是以Bio Haar小波基為代表的半正交球面Haar小波基，其對于平滑的函數和信號具有較好的處理能力，利用其定位特性，可以簡單高效地實現很多球面圖像處理算法，比如局部平滑和增強。但由于其為半正交小波基，不能使用K最大近似策略(K-largest approximation strategy)得到最佳近似，因此與其他正交或幾乎正交(nearly orthogonal)的小波基相比，尋找Bio Haar小波基的最佳近似會更困難。

第2種為以Pseudo Haar小波基為代表的偽Haar小波基，其并不是L 2(S2,dω)空間中的基，與真正的球面Haar小波基相比，偽Haar小波基并不需要在運行時計算濾波系數，其濾波系數始終與平面的非標準Haar小波相同。偽Haar小波基不能表示較小的細節信息，與正交基和幾乎正交基相比，在近似球面信號時效率更低。

第3種是以Nielson和Bonneau小波基為代表的幾乎正交球面Haar小波基。當球面三角形域逐漸變為平面時，該類型小波基變為完全正交的小波基，其解決了對稱性和完全正交性無法同時實現的問題，同時與Bio Haar小波基相比，在相同的分解尺度下以及使用相同比例的小波系數時，均方根誤差更小，在提升了效率的同時計算復雜度并沒有增加。但當球面三角網絡細分層度較低時，其正交性較差，此時使用其近似球面信號誤差較大。

由此可見，大部分球面Haar小波基都不可避免地存在各種缺點，無法保證在各種條件下對球面信號的分析和近似表示始終保持較高的精度。因此，本文聚焦一種正交對稱的球面Haar小波基，它可以有效表示虹膜球體表面信號。目前，對正交對稱的球面Haar小波基的研究很少見報道。它可以處理復雜拍攝條件下出現曲面扭曲，以及無法獲得很好的特征表示等問題。

顯然，發展正交且對稱的球面Haar小波基對于虹膜識別是一種全新的特征提取方法，具有重要理論意義和巨大的應用價值。正交對稱球面Haar小波(Orthogonal and Symmetric Spherical Haar Wavelet, OSSHW)基是以球面內接正八面體為基礎使用球面三角形劃分球面，并在此基礎上構建一種離散的OSSHW基。本文提出一種基于正交對稱的Haar小波和卷積神經網絡的飛行員虹膜識別方案。使用OSSHW得到的虹膜特征輸入卷積神經網絡中進行識別，如圖1所示。

圖1 仿真實驗流程圖

本文的結構如下：第2節給出球面諧波函數以及各類球面Haar小波基；第3節給出正交且對稱的球面Haar小波基的定義與推導過程；第4節給出仿真實驗，使用球面諧波函數以及5種不同的球面Haar小波基對球面虹膜信號進行處理，提取虹膜特征，并使用構建深度學習網絡實現對虹膜特征的識別，對比球面諧波函數和這些球面Haar小波基的優點與不足；第5節是結論。

2 球面Haar小波基與球面諧波函數

2.1 球面Haar小波基

2.1.1 Bio Haar小波基

考慮由測地球體構造形成的球面三角形Tj,k?S2,k ∈K(j)， 若α (Tj,k) 為三角形的球面面積，則定義尺度函數和雙重尺度函數為

其中，χTj,k為特征函數。對于一般化的Haar小波的構造，本文只需要考慮一個確定的三角形 Tj,?的子三角形 Tj+1,l=0,1,2,3，將這些基稱為Bio Haar函數。小波函數(m=1,2,3)為

2.1.2 Nielson小波基

Nielson小波基是定義在嵌套三角形域上的Haar小波基，其主要特點為“幾乎正交”，即當球面三角形域逐漸變為平面時，小波基變為完全正交的小波基。由于小波基的正交性在計算最佳近似時十分重要，在這方面，完全正交的小波基優于半正交小波基，具有幾乎正交特性的Nielson小波基就是對半正交小波基的改進。

2.1.3 Bonneau小波基

Bonneau小波基針對Nielson小波基做了改進，Nielson小波基的重構矩陣各項為關于子三角形面積的2次項，Bonneau小波基同樣為幾乎正交的，但重構矩陣具有更低階次的系數多項式。

2.1.4 Pseudo Haar小波基

Pseudo Haar小波基根據最優三角Haar小波基構造，球面小波基于測地線構造得到，使用測地平分線劃分球面三角形。為在細分層l 的第i個三角形。對于第l層，定義第i個尺度函數(ω)為

l Tli

定義3種在第層與 相關聯的小波函數為

2.2 球面諧波函數

球面諧波函數為球坐標下3維拉普拉斯方程角度部分的解，經過歸一化后，球面諧波函數可以使用伴隨勒讓德多項式來表達，即

定義在球面上的函數f (θ,φ)可以使用球諧函數與系數的線性組合方式來表達，即

為研究球面諧波函數對于球面信號處理的能力以及使用球面諧波函數提取虹膜特征并用于虹膜識別的效果，本文嘗試使用球面諧波函數對球面虹膜信號進行分解和重構，重構后的函數作為原球面虹膜信號的近似，對該近似球面虹膜信號進行可視化，從而可以直觀地展示球面諧波函數對球面信號處理的效果。

對球面上的每一個采樣點上通過求解伴隨勒讓德多項式來得到對應的一系列球面諧波基函數的函數值。將每一個采樣點從球面坐標映射到2維紋理坐標中，有效地避免紋理扭曲現象，使用映射后的2維紋理坐標獲取輸入圖像的采樣點對應的信號值，使用蒙特卡羅積分估算法得到球面諧波基函數與原函數積分的近似值，從而獲得系數。

根據球面諧波基階數不同，獲得的球面諧波系數的數量也不同，從而使用球面諧波系數對原信號進行近似重構時，效果也相應不同。重構原信號使用如式(7)

實驗中使用虹膜圖像作為原始信號，使用球面諧波函數對原信號進行分解，提取球面諧波系數，并使用球面諧波系數進行近似重構，并對重構出的函數進行可視化。

根據圖2所示的重構圖像可以看出，隨著球面諧波基階數的增加，重構出的球面信號具有越來越多的細節信息，但在階數為60時，球面諧波系數已經有 6 12=3721個，重構出的信號與階數為80時的重構信號相比，仍然丟失了很多高頻細節，從而可以看出球面諧波函數在處理高頻信號時的不足。在虹膜識別時，如果使用球面諧波函數進行虹膜圖像的特征提取，虹膜中的很多細節紋理信息會丟失，而且形成的特征碼維度會非常大，不利于后續的識別和處理。

圖2 球面諧波函數重構圖像

3 OSSHW小波變換

3.1 劃分方案

OSSHW小波基定義在P={Tj,k|j ∈J,k ∈K(j)}上，位于最粗糙層級上的域T0,k由一個各面為三角形的多面體向球面投影得到，位于下一層級的域由4部分的細分形成。因此每一個 Tj,k具有4個子域。

子域通過在組成Tj,k的每一條邊上插入一個新的頂點得到，因此，位于最粗糙層級的域T0,k是劃分樹集合的根節點，而P 由這些樹的并組成。

與Schr?der和Sweldens的劃分方法不同，OSSHW小波基并未使用測地平分線來確定新的頂點的位置，而是通過保證3個外部的子三角形,和具有相等的面積來劃分。這同時也是保證小波基同時具有正交性和對稱性的關鍵。

3.2 尺度基函數

對于一個類Haar基，尺度基函數φj,k在其支撐區域Tj,k上為常數，因此

其中，ηj,k為歸一化常數，使得尺度函數滿足

根據 Tj,k的不相交性，對于確定〈的j，同在〉第j層的尺度基函數相互正交，即φj,k,φj,k′=0,k /=k′。根據在S2上的內積的定義，求得歸一化常數和尺度函數分別為

圖3 球面三角形劃分方案

根據尺度基函數性質，得濾波系數為

3.3 OSSHW小波基函數

根據快速小波變換的理論，小波合成步驟可以通過如式(14)的矩陣形式表示

根據尺度基函數的性質，每一個第 j層的尺度基函 數φj,k都 可以寫為第j +1 層 的尺度函 數φj+1,l的線性組合的形式，即

同時第 j 層的小波基函數ψj,m同樣可以寫為第j+1 層的尺度函數φj+1,l的線性組合的形式，即

從而可以看出，若要求小波基滿足半正交性，即需滿足尺度函數與小波函數內積為0，若要求小波基滿足正交性，即需滿足兩個不同的小波函數內積為0，根據內積的線性性質，則濾波系數需滿足如式(17)的條件

在此基礎上需滿足外部3個子三角形面積相等的條件，此時，合成矩陣滿足對稱性，合并上文中推導出的小波基的半正交性以及正交性的條件，列出如式(18)的兩個等式

假定c =1，求解式(17)和式(18)兩個等式可以得到OSSHW小波的小波基函數為

3.4 OSSHW實驗分析

為比較各類球面Haar小波基近似球面信號的效果，分別使用Bio Haar小波基、Nielson小波基、Bonneau小波基、Pseudo Haar小波基以及OSSHW小波基對相同的輸入信號進行小波變換，使用相同數量的系數對原信號進行最佳近似重構，其中，除半正交基Bio Haar小波基外，其余小波基均可以使用K最大近似策略得到最大的 k個系數即可。將重構后的信號與原信號進行比較，分別計算l1和 l2范數誤差，得到不同小波基的誤差隨使用系數數量k 變化的情況，并繪制圖像進行比較。

圖4給出了虹膜信號不同球面小波基的兩個范數誤差與保留系數的關系。由于這些小波基的重構誤差相對接近，因此橫坐標使用對數坐標軸，以使曲線易于區分和對比?？梢钥吹絆SSHW小波基在細分層數為7時誤差與Nielson, Bonneau和Pseudo Haar小波基非常接近。在 l2范數誤差中，OSSHW小波基的重構誤差小于其他小波基。4個小波基中，Nielson和Bonneau小波基的重構誤差基本相等，隨著保留系數數量的增加，它們的重構誤差逐漸接近于OSSHW小波基。Bio Haar和Pseudo Haar小波基具有更高的重構誤差。在 l1范數誤差中，Bio Haar小波基的重構誤差明顯較高，其他4個小波基的誤差基本相等。顯然，OSSHW小波基對虹膜圖像有部分優勢。

圖4 虹膜信號重構誤差

對于作為球面信號的虹膜圖像，當細分層數為3時，小波基之間的差異顯著增加。Nielson和Pseudo Haar小波基的 l1和l2范數誤差較大，Bio Haar和Bonneau小波基的誤差較小。隨著保留系數的增加，除OSSHW小波基之外的4個小波基誤差逐漸接近并且仍然高于OSSHW小波基。顯然，OSSHW小波基比其他4個小波基更具優勢。

表1給出了使用5種不同球面Haar小波基進行虹膜信號重構l2誤差。表中數據為使用5層球面細分層數保留1.56%的小波系數時各類小波基的重構誤差，可以看到，OSSHW與其他4種小波相比，誤差更小，具 有更好的提取并近似球面信號精細特征的能力。

4 仿真

4.1 虹膜圖像預處理

實驗中使用的虹膜圖像部分來自IITD虹膜數據庫，另一部分為使用數字CMOS相機采集的東方航空公司飛行員的虹膜圖像。由于采集到的虹膜圖像通常包含眼瞼、睫毛等眼睛的其他部位，同時也包含如拍攝過程中由于反光導致的瞳孔中的亮點等噪聲干擾。因此在使用小波變換提取虹膜特征以及識別之前需要對虹膜圖像進行預處理，保留虹膜紋理信息的同時盡可能地去除干擾因素。

首先需要對虹膜進行定位，即在一張虹膜圖像中確定虹膜的內外邊界以及瞳孔的位置。對于虹膜的內外邊界，使用Canny邊緣檢測與Hough變換[12]來確定對應的邊界圓。其中，為減小Hough變換的計算量，加快其運算速度，選擇合適的比例系數按比例將原圖像縮小。之后對虹膜圖像進行裁剪，只保留虹膜外邊界內部的部分，設定相應的閾值，同樣使用Hough變換確定虹膜內邊界圓的位置，如圖5所示。

表1 使用5種球面Haar小波基進行虹膜信號重構l 2誤差(保留1.56%的小波系數，level=5)

完成虹膜的定位后，需要將虹膜圖像中的噪聲干擾去除。首先，將圖像中虹膜內邊界內部區域即瞳孔部分的灰度值置為NaN，去除瞳孔中的亮點。對圖像進行二值化，可以將睫毛和瞳孔的區域分離出來，由于之前已經得到了虹膜內外邊緣的位置信息，因此以眼睛上睫毛為例，可以將瞳孔以上的虹膜外邊界以內的區域選為感興趣區域，在這個區域中檢測睫毛，并確定睫毛的最低點。之后對原圖像進行水平方向的Canny邊緣檢測，對得到的邊緣圖像使用Hough變換檢測直線，即可大致確定眼瞼的位置。最后將眼瞼的位置與睫毛最低點位置比較，即可確定對虹膜圖像上部分的裁剪范圍，如圖6所示。

使用同樣的方法對眼睛的下眼瞼和睫毛進行檢測，并對虹膜圖像進行裁剪。同時，以虹膜外邊界內部的區域為感興趣區域創建掩模，從而去除虹膜外邊界周圍的噪聲干擾。為避免虹膜在圖像中的位置不同對虹膜識別造成的影響，將虹膜調整到圖像中心，即虹膜外邊界圓心與圖像中心點重合。最終得到圖7所示的虹膜圖像。

4.2 特征提取

對輸入圖像信號進行小波變換?？梢宰C明，當層級j 趨向于無窮時，球面三角形上的函數與該三角形上的尺度函數相同。由于實驗中無法將球面無限細分下去，因此將最精細層近似看作無窮層，可以通過將該層球面三角形上的函數值除以尺度函數的歸一化常數得到尺度函數系數。

圖5 檢測得到虹膜內外邊緣

圖6 檢測得到睫毛和上眼瞼

圖7 分離出的虹膜圖像

從最精細一層的球面三角形開始，4個子三角形的尺度函數系數與分解矩陣相乘即可得到父三角形的尺度函數系數以及小波函數系數，以此類推，即可遞歸求得所有的系數。之后為方便尋找最大的k個系數，將最頂層的尺度函數系數和各層級的小波函數系數按線性索引存儲，在系數矩陣中，小波函數系數按層級存儲，而每一層級的小波函數系數按其所屬的3個不同類型的小波函數分開存儲。使用排序算法對系數進行排序，此步驟的計算復雜度為O(NlgN)， 之后選取從大到小排序后的第k 個和第 k+1個 系數的平均值作為閾值，保留前k 個系數，將第 k +1個及以后的所有系數置為0。從而可以 使用最大的k 個系數對原信號進行近似重構。

4.3 虹膜識別

本文使用的虹膜圖像來自IITD虹膜數據庫和中國東方航空公司的飛行員，包括來自112只眼睛的560張圖像，每只眼睛5張圖像。隨機選取80%的圖像作為訓練集，20%的圖像作為測試集。由于卷積神經網絡能夠更好地處理高維度數據，本文方法OSSHW的小波系數如前文所述細分層數為7時為131072，傳統機器學習方法對于這種規模的數據學習非常困難，而卷積神經網絡可以構建更有效的模型進行識別[13]。因此本文使用卷積神經網絡來學習OSSHW變換提取的虹膜特征。卷積神經網絡結構如圖8所示。網絡結構包含4個卷積層，使用1維卷積，每個卷積層中的卷積核尺寸均為4、步長為1。每個卷積層后連接BN層和池化層，4個卷積層后連接兩個全連接層，神經元個數為1024，使用Dropout來防止過擬合，dropout rate設為0.5。

為驗證OSSHW+CNN模型的優越性，與部分傳統算法[14,15]以及深度學習算法[16,17]在IITD虹膜數據集上進行對比，實驗采用正確分類率(Correct Classification Rate, CCR)作為評價此虹膜識別系統精確度的指標，表示正確分類次數與總分類次數之比。根據表2中數據，使用球諧函數+CNN進行虹膜識別的準確率為91.07%，顯著低于使用5種球面Haar小波基時的準確率。其中Bio Haar小波基的識別準確率最低，僅為95.53%。在球面Haar基中，OSSHW小波基+CNN提供的虹膜識別準確率最高，為98.21%, Nielson+CNN提供的準確率為96.42%, Bonneau+CNN和Pseudo Haar+CNN提供的準確率為97.32%。

圖8 卷積神經網絡結構圖

表2 使用不同球面信號分析方法的識別準確率

與主流虹膜識別算法相比，OSSHW+CNN模型的虹膜識別準確率高于傳統算法以及絕大部分深度學習算法，僅僅略遜于IrisConvDeeper算法。而以IrisConvDeeper算法為代表的深度卷積網絡均需構建復雜的深度卷積網絡用于虹膜圖像特征提取，模型的識別準確率及精細特征提取能力很大程度依賴于網絡的深度和復雜度，因此具有參數量大、計算復雜度高、模型訓練時間長等缺點。與之相比，本文提出的OSSHW小波基與CNN結合的虹膜識別框架主要使用球面小波基對虹膜精細特征進行提取生成特征向量，因此僅需構建包含4層卷積層的CNN模型即可實現對虹膜的高精度識別，訓練時間、參數量以及計算復雜度均遠遠優于上述各類深度學習模型?？紤]到虹膜識別系統運行速度等原因，OSSHW的球面細分層級設為5，使得提取的虹膜特征維度適中，保證了識別速度，但并不能完全保留虹膜紋理信息，從而也導致識別準確率優勢不夠明顯。

5 結論

本文提出一種基于正交對稱的球面Harr小波的虹膜識別方法，它能有效地避免平面虹膜圖像造成的紋理扭曲現象，提高虹膜識別的準確率。本文的貢獻主要歸納如下：

(1)提出一種基于球面Haar小波的使用球面信號來代替平面信號進行虹膜特征學習的方法，它比傳統球諧函數以及其他各類球面Haar小波基具有更強的球體表面信息捕獲能力。

(2)提出一種正交且對稱的球面Haar小波基OSSHW的構建方法，并推導出其尺度基函數和小波基函數。

(3)對比分析了Bio Haar小波基、Nielson小波基、Bonneau小波基和Pseudo Haar小波基對球面虹膜信號進行分解和重構的性能。

(4)提出基于正交且對稱的球面Haar小波和CNN的聯合學習框架，實現虹膜圖像的精確識別，并與主流虹膜識別算法進行比較。實驗結果表明，使用具有正交性的球面Haar小波基相對于球諧函數和半正交小波基等各類球面Haar小波基具有更高的準確率。