基于傅里葉成像網絡的全息粒子成像技術研究

李宇杰, 程偉哲, 余 樂, 王華英, 王 丹, 李學燕,李伯仕

1. 河北工程大學數理科學與工程學院, 河北 邯鄲 056038; 2. 北京理工大學深圳研究院, 廣東 深圳 518057

粒子場主要由各種微小的物體構成,如細胞、環境中的微顆粒等,在醫學和環保領域有重要應用。近年來,越來越多的人將三維成像用來檢測粒子的形態、運動狀態、空間位置等。例如,根據紅細胞的數量來判斷患者的健康狀況,進而在臨床醫學假設病理過程,紅細胞濃度可作為判斷分子生物學化學用量的指標[1]。另外,燃燒后產生的顆粒物可以判斷不同燃料的燃燒效率,顆粒越小表明燃燒得越充分[2]。在許多產業使用光散射分析顆粒大小用來把控產品的質量,例如制藥業、美容化妝品行業、聚合物生產和食品業等[3]。數字全息術通過物光波和參考光波的干涉生成一張包含物體三維信息的全息圖,且只需要一張全息圖就可以重建物體的三維信息的特點,使數字全息術成為熱門的三維成像方法。而數字全息關鍵點就是重建,傳統全息重建算法對噪聲敏感且計算復雜度高使得它們在實時或大規模應用方面表現不佳。隨著深度學習的出現,發現可以有效解決傳統算法遇到的問題,且各種網絡架構已經證明可以有效處理圖片方面的任務,例如卷積神經網絡(CNN)[4]、循環神經網絡(RNN)[5]以及生成對抗網絡(GAN)[6],其出色的擬合能力,有效地解決線性或非線性映射任務。而且深度學習在數字全息方面已經有很多應用,例如,Rivenson等[7]使用CNN對全息圖重建和相位恢復,同時對雙像和空間偽影有很好的抑制效果。通過Y-Net網絡可以大幅縮短全息重建時間[8]。O’Connor等[9]提出一種多尺度卷積網絡有效去除全息重構過程中的負一級像與零級像。傳統數字全息粒子場恢復方法需要通過圖像處理以及各種算法才能獲得粒子三維坐標、半徑。而深度學習通過其強大的特征提取能力,可以有效地根據特定參數來表征顆粒,只需通過全息圖就可以獲取粒子的信息,不需要額外圖像處理,進而加快數據處理效率。2021年,Shimobaba等[10]使用U-net網絡對全息顆粒表征,并在三維粒子場中重建顆粒坐標和半徑,實現了比理論值更高的定位準確性。此外,在2021年,吳羽峰等使用Dense_U_net網絡對全息顆粒表征,有效提取粒子坐標、半徑以及深度信息[11],雖然實現了很好的定位,但在重建質量上以及在大密度粒子群提取粒子時仍有不足,并且真實的粒子群往往是以大數量高密度出現。鑒于此,本文基于傅里葉成像網絡(Fourier imager network,FIN)[12],提出一種融合注意力機制的傅里葉成像網絡(squeeze and excitation Fourier imager network,seFIN)用來對全息粒子場定位。在CNN網絡中卷積層的感受野大小的限制,對于一些尺寸較大的全息圖會導致重建精度不足。而傅里葉成像網絡利用經過訓練的空間傅里葉變換(spatial Fourier transform,SPAF)模塊[13]替代CNN網絡中的卷積操作來處理全局空間頻率信息。而加入的通道注意力機制(squeeze and excitation,se)模塊可以實現不同通道間權重分配不同的優先級,抑制作用不大的通道,提高網絡對圖像細節的提取,從而實現高精度的顆粒表征。首先使用模擬生成三維粒子全息圖,并將其作為網絡的輸入數據,使用表征法對全息圖表征,作為網絡的真實值。同時我們對seFIN網絡的輸出結果與Dense_U_net網絡的結果質量進行比較,使用結構相似性(structural similarity index,SSIM)和峰值信噪比(peak signal to noise ratio,PSNR)作為網絡輸出圖像的質量評判。最后,通過實驗采集同軸全息圖驗證了傅里葉網絡的可行性和有效性。

1 基礎理論

1.1 層結構角譜法

數字全息經過物光和參考光干涉,生成包含物體振幅和相位信息的圖像,投射到CMOS傳感器在計算機上生成相應的全息圖。記錄過程表示為

(1)

(2)

λ為波長,k為波失,z表示物體到傳感器距離。

在數字全息中,使用角譜法來進行數值重建。在角譜法中,全息圖在頻域內進行傅里葉變換和逆傅里葉變換,以還原物體的三維信息,包括振幅和相位:

E(x,y,z)=F-1{F{Iz(x,y)}×G(fx,fy;z)}

(3)

其中F和F-1為傅里葉變換及其逆變換,fx和fy表示頻域坐標,z表示傳播距離,G為傳遞函數:

(4)

同樣地,基于角譜法的思想,我們將光場信息根據其深度距離z進行分層劃分。每一層都代表了光場在不同深度的信息。這種分層方法允許我們分別處理每個深度層的光場信息,形成了一種適用于層次性光場處理的角譜法的變體[14]。

EHi(x,y,z)=F-1{F{Izi(x,y)}×G(fx,fy;zi)}

(5)

(6)

其中EHi(x,y,z)為每一層全息圖的復振幅,zi表示每一層全息圖的傳播距離,通過累加所有層后可以獲得一個完整的全息粒子場。

1.2 粒子場模擬生成及表征

在通常情況下,空氣中的微粒子表現出布朗運動,這是由于它們不斷受到氣體分子的碰撞和熱運動的影響。在不考慮重力或磁場等額外力的情況下,這些微粒子的運動是隨機的、無規律的,它們在空氣中無法被精確預測。為了體現粒子運動的無規律性,本文通過圖1所示生成邊長為5.12 mm的立方體區域在其中隨機生成1～300個粒子,粒子大小在5～10 μm之間,每個粒子隨機分布在距離傳感器1～2.048 mm之間。然后通過將三維粒子場分層,并對每層粒子通過層結構角譜法得到子全息圖,將子全息圖在干涉面疊加,生成包含整個粒子場的全息圖。最后根據模擬粒子場得到對應的粒子表征圖,粒子表征使用(x,y,z,R)的形式來描述,(x,y)表示粒子的質心位置,(z)表示粒子縱深,(R)表示粒子的直徑,通過粒子表征方法,將每個粒子的(x,y,z,R)坐標編碼成一個512×512px的灰度圖像。為了描述粒子特征,采用二維矩形而非二維圓形主要考慮到操作上的便利性。矩形在圖像處理中易于檢測和識別,同時測量其尺寸和計算灰度平均值的過程也更加直接和簡單。使用矩形中心坐標表示粒子中心的位置(x,y)。用矩形邊長代替粒子半徑(R),矩形的灰度值作為粒子在z軸的縱深。其中灰度值與粒子深度位置(z)關系:

圖1 粒子的模擬生成及表征

(7)

其中,2.048表示3D粒子場的深度范圍(單位為mm)。

2 seFIN結構

近年來,隨著神經網絡的快速發展,它在光學成像領域的應用不斷增加。經典的卷積神經網絡(CNN)在成像任務中表現出卓越的能力,但它們仍然受限于感受野的大小。本文中,介紹了一種名為seFIN的網絡,它使用傅里葉變換來將對象轉化到頻域,以有效處理全局空間頻率信息,從而提高網絡性能。

如圖2所示,seFIN網絡基于FIN架構進行了優化。其中,se注意力模塊使模型能夠更加專注于關鍵信息,加快模型收斂速度。該網絡采用多級殘差連接結構,提升了特征抽取效果。為減少深度增加帶來的信息丟失,網絡結合了多個SPAF組,每組包含se通道注意力模塊、兩個SPAF模塊和一個卷積核大小為1的卷積層。通過殘差連接,網絡的容量得到增強,同時沒有明顯增加其大小。SPAF模塊通過線性變換W來濾除頻域張量中的高頻信息,并通過窗口大小k截斷高頻信號:

圖2 seFIN架構

(8)

其中F∈c,2k+1,2k+1是表示輸入到SPAF模塊經過二維離散傅里葉變換后的截斷頻域表示;W∈c,2k+1,2k+1代表可訓練權重;c是通道數,k為窗口大小。完成線性變換后,通過逆二維傅里葉變換將數據重新轉換到空間域,并在之后使用PReLU作為激活函數:

(9)

a是一個可學習參數。

本實驗使用了遞減的窗口大小k,形成了一個金字塔狀結構。這種結構可以將全息衍射圖案的高頻信息映射到前幾層的低頻區域,并以較小的窗口大小傳遞這些低頻信息給后續層,從而更好地利用多個尺度上的特征,同時大幅減小模型大小,可以避免可能存在的泛化和過擬合問題。

其次對于3D粒子場全息實驗,本網絡所使用的損失函數:

Lloss=αLMAE+βLcomplex+γLpercep

(10)

(11)

(12)

3 仿真結果分析

3.1 數據集及網絡配置

網絡的數據集分為訓練集和驗證集,通過模擬的手段生成數據集,包括8000張訓練集和2000張驗證集,以及使用(x,y,z,R)表征粒子對應標簽圖。seFIN網絡訓練了100個epoch,每個batch_size包含8000張圖片。我們為這個網絡設置了0.0001的學習率,因為在之前的實驗中,這個值為我們的模型提供了最佳的驗證性能。在我們的網絡中,“殘差深度”指的是網絡中包含的殘差塊的數量,我們選擇了22作為這個值,因為它為我們的特定任務提供了良好的性能。對于Dense_U_net,我們使用了一個batch_size包含8000張圖片,并訓練了800個epoch,學習率設置為0.001。

3.2 網絡預測結果分析

如圖3所示,我們對比了兩種網絡在不同顆粒子數量下(分別為75、150和300顆粒子)的預測結果。為了細致地對比,我們將預測結果進行了局部放大。在75和150顆粒子的場景下,兩種網絡的預測結果看起來非常接近。但在圖3中,特定的黃色圓形區域標注出了一個被放大6倍的單一粒子。在這里,seFIN展示出了清晰的邊緣,而Dense_U_net與真實值之間存在明顯的差異,特別是粒子邊緣的像素塊顯得模糊不清。然而,當粒子數量增加到300顆時,Dense_U_net的預測開始出現明顯錯誤。相比之下,無論是在75、150顆粒子還是300顆粒子的場景中,seFIN都展現出了穩定而準確的預測,不論是圖像的細節還是深度信息都與原圖高度一致。

圖3 seFIN和Dense_U_net網絡的預測結果

3.3 評價函數

為了更直觀地體現兩種網絡的差異通過使用評估圖像質量的兩種算法來評估網絡預測的圖像與原始圖像之間的差異。表1是兩種網絡在不同粒子數量下的兩種指標的結果?？梢钥闯?在隨著粒子數量的增加,Dense_U_net網絡的SSIM指數逐漸下降,尤其到300顆粒子時明顯下降,但是seFIN網絡卻保持在0.99內的一個穩定的數值,同樣的seFIN網絡的PSNR值無論哪種數量級的粒子始終高于Dense_U_net網絡,從而可以得出seFIN網絡在預測粒子方面性能始終優于Dense_U_net。

表1 seFIN與Dense_U_net預測圖的SSIM和PSNR

3.4 粒子場重建結果分析

最后根據網絡預測粒子信息重建粒子場,如圖4所示,在粒子數量為75和150顆粒子時,兩種網絡的預測結果的準確率在95%以上,但是提升到300顆粒子,Dense_U_net只可以預測到位置(x,y)的信息,對于縱深z軸已經失去預測能力,反觀seFIN網絡依然可以準確地預測,且預測準確率依然在95%左右。

圖4 seFIN和Dense_U_net根據預測信息重建粒子場后與真實粒子場對比

通過計算平均絕對差,我們比較了兩種網絡在預測粒子的橫向和軸向位置以及大小的誤差。具體的計算方法是:對每個粒子,取其原始值Aj和預測值Bj之間的差的絕對值,然后計算這些差的平均值。公式為

(13)

其中Aj和Bj是第j個粒子的原始值和預測值,P表示粒子的總個數。根據表2的數據,seFIN網絡在75和150顆粒子的數據集上,無論是橫向位置還是粒子大小,誤差都為0,即完全準確。盡管在軸向位置的預測上存在5左右的誤差,但相比Dense_U_net網絡,仍有約55%的性能提升。在300顆粒子的數據集上,seFIN網絡的橫向位置和大小預測出現了輕微誤差,但都小于0.1,而Dense_U_net在此數據集上的預測能力已經完全喪失。這表明在處理較大規模數據集時,seFIN網絡顯示出更強的魯棒性和準確性。

表2 seFIN和Dense_U_net的預測粒子與原始粒子的平均絕對差值對比

4 實驗驗證

通過實驗進一步驗證網絡的性能,圖5展示了實驗光路,其中采用激光的波長為532 nm,使用CMOS(MV-UBS500M,1944×2592,2.2 nm方形像素)捕獲。通過捕獲分布在乙醇溶液中的約200～300個聚苯乙烯顆粒(直徑20 nm),生成同軸全息圖。通過角譜法重建并結合手動閾值化及強度加權質心計算,我們獲得了真實測量下的粒子位置。這些粒子的位置和大小被編碼為2D矩形。我們的訓練數據集由從全息圖中隨機裁剪的400張1024×1024像素的圖片組成,并附帶它們對應的粒子位置信息。為了增加樣本多樣性,我們采用了圖像增強技術,如垂直和水平鏡像,從而將訓練數據集擴展到2500個樣本。圖6展示了粒子的三維分布,驗證了該方法在真實復雜粒子預測上的有效性。并且如表3所示粒子的平均絕對誤差,橫向誤差和大小誤差均控制在0.3以內,這顯著證明了橫向位置和大小的高精度預測能力。盡管軸向誤差最大達到6.56,但仍在可接受的范圍之內,指明了未來研究的主要優化方向。

表3 預測粒子與原始粒子的平均絕對差值

圖5 實驗裝置圖

圖6 通過seFIN對實驗全息圖重建結果

5 結論

本文介紹了一種通過傅里葉成像網絡來重建粒子的三維位置的方法。該網絡采用了空間傅里葉變換模塊,并結合了可學習的濾波器和全局感受野,以快速而準確地處理全息圖中的空間頻率信息。相比傳統方法,傅里葉成像網絡不僅提高了數據處理的效率,而且具備了更強大的特征提取能力。這使其能夠成功地表征和區分不同的顆粒特性。與Dense_U_net網絡的預測結果相比,seFIN在不同數量級的粒子場的重建質量和準確率都表現得更為優越。