用于磁共振成像重構的級聯UGR-Net模型

段繼忠,賈 偉

(昆明理工大學 信息工程與自動化學院,昆明 650500)

1 引 言

磁共振成像(Magnetic Resonance Imaging,MRI)技術是臨床應用中最廣泛的醫學影像診斷技術之一,相對于其他影像技術有比較突出的優勢,例如:無電離輻射危害,軟組織成像分辨率高,可以實現任意斷層的成像,多參數成像,可以獲得更全面更豐富的臨床診斷信息等.雖然MRI有著顯著的優勢,但其成像原理導致了較長的掃描時間,這成為了磁共振成像最主要的缺點.因此,在保證質量的情況下縮短掃描時間對于磁共振成像至關重要.

近年來,一些學者提出了壓縮感知(CS)理論[1],可利用少量的測量數據重構出精確的原始信號.Lustig等人[2]將壓縮感知應用于磁共振成像中,用少量的采樣數據重構磁共振圖像,有效的減少了磁共振成像的掃描時間.CS理論提出以來,已經發展了多種CS-MRI方法,這類方法稱為傳統重構方法,主要有:基于固定稀疏變換的重構方法,如基于小波變換的重構算法[2]、基于小波變換的重構算法[3]等;基于自適應稀疏變換的重構方法,這類方法的典型代表有DLMRI算法[4]、TLMRI算法[5]等;還有基于非局部低秩矩陣的重構方法,如CS-NLR算法[6]等.

深度學習已在傳統圖像處理領域取得巨大成功,例如圖像分割[7-9]、超分辨率[10-12]和目標檢測[13,14]等.它能夠從數據中提取特征來構建高度抽象的表示,這得益于充分利用海量的訓練數據來構建良好的網絡模型.

隨著深度學習的迅速發展,研究者們開始將深度學習應用到磁共振成像的重構中,既能加快成像重構速度,又能提高重構質量.例如:熊承義[15]等將ADMM-Net與ResNet級聯用于MR圖像重構,有效的提高成像質量.Souza等[16]提出用于訓練端到端的CNN的頻域/圖像域混合級聯模型;Schlemper等[17]提出級聯的CNN,其中包含數據一致性層;Hammernik等[18]訓練了一個變分網絡來解決CS-MRI;Sun等[19]提出的RDN模型將遞歸學習、空洞卷積、殘差學習很好的結合在一起,取得了不錯的效果;Liu等[20]提出IFR-Net,與IFR-CS[21]相比,該網絡不僅可以學習模型參數和特征增強算子,而且可以將關鍵工作從在線優化階段轉移到預先的離線訓練階段,從而縮短重構時間.

深度學習需要依賴大量數據進行訓練,越復雜的網絡結構需要的數據量越多.而由于患者隱私等問題,大量的醫學數據很難獲得.因此,本文提出一個在小數據集上表現很好的深度學習MRI重構方法.受U-Net的啟發,結合GoogleLeNet和ResNet的優勢,對U-Net進行改進,提出了UGR-Net模型,并與數據一致性層結合得到級聯的UGR-Net.使用3種欠采樣模式對腦部復數數據進行欠采樣,并對級聯CNN網絡、級聯U-Net模型、以及新提出重構模型(即:級聯UGR-Net模型)的重構性能進行了比較.仿真實驗結果表明,本文提出的級聯UGR-Net模型的重構質量在采樣率不同的各種欠采樣模式下均優于所比較的重構模型.

論文結構安排:第1節為介紹,第2節為磁共振重構問題描述,第3節為本文提出的網絡架構即級聯的UGR-Net描述,第4節為實驗結果和分析,第5節為本文的結論.

2 問題描述

通常,基于壓縮感知磁共振成像的重構問題可以表示為如下形式:

(1)

其中,x∈N表示待重構的2D圖像數據堆疊為N=m×n的列向量(m和n是圖像的長和寬,N表示圖像的所有像素點數),y∈M(M?N)表示欠采樣的k空間數據(M是欠采樣k空間數據點的個數),Fu=PF表示感知矩陣,P=M×N表示欠采樣矩陣,F∈n×n是傅里葉變換矩陣,R(x)是正則項,是數據保真項,λ為正則化參數,用于平衡正則化項和保真項.在k空間中采樣索引的相應子集表示為Ω.

雖然傳統的CS-MRI重建方法不僅可以減少掃描時間,而且對磁共振成像的質量也有提高,但是傳統的正則項方法不容易去除混疊偽影,因此一些學者將深度學習用于磁共振成像重構中,能有效的去除混疊偽影.

基于深度學習模型的磁共振成像重構問題可以表示為:

(2)

這里fDL是由θ參數化的UGR-Net前向映射,包含數百萬或數千萬個可調整的網絡權重,該映射接收需要重構的零填充圖像xu,并且直接產生重構結果作為輸出.

在UGR-Net中,參數θ是根據損失函數L(θ)來調節的,可表示為:

(3)

3 提出的網絡架構

為了降低網絡顯存和計算量,提升網絡的表達能力,防止網絡退化,從而重構出高質量的磁共振圖像,本文提出一個基于UGR-Net的級聯神經網絡模型的重構算法.

3.1 UGR-Net

結合GoogleLeNet和ResNet的優勢,對U-Net進行改進,本文提出了一個新的網絡:UGR-Net.該網絡的輸出為公式(3)中的xDL,尺寸與欠采樣圖像相同.

整個網絡由收縮路徑(用于降低特征圖分辨率)和擴張路徑(用于提高特征圖分辨率)組成.在收縮路徑中,所有的下采樣均采用最大池化.在擴張路徑中,每個層次的開始都與收縮路徑相對應層次的卷積結果做組合處理,目的是為增加圖像本身的特征.上采樣方式使用Up-sample函數,而非傳統的反卷積函數,每次上采樣使得圖像大小加倍,最后的輸出卷積核為1×1.

整個網絡的收縮路徑和擴張路徑都具有多個層次,在每個層次中,特征圖的分辨率都保持不變,在兩個3×3卷積核基礎上添加1×1的卷積核,步長為1,每個卷積層都伴隨著激活函數,激活函數均使用ReLU.借鑒GoogleLeNet模型的優勢,添加1×1卷積核的作用是加入非線性,在前一層的學習表示上添加了非線性激勵,提升網絡的表達能力.另外,在擴張路徑中,1×1卷積核不僅加入非線性,而且還起到了降維的作用.收縮路徑和擴張路徑由重復的模塊M組成,M結構如圖1所示.

圖1 本文提出的M結構圖(每個特征下方數字代表通道數)

另外,在深度學習的神經網絡中,隨著網絡層數的增加,網絡會發生退化的現象,訓練集損失逐漸下降,然后趨于飽和,這時再增加網絡深度,訓練集損失反而會增大.所以在前向傳輸的過程中,隨著層數的加深,特征圖包含的圖像信息會逐層減少,而ResNet直接映射的加入,保證了L+1層的網絡一定比L層包含更多的圖像信息.因此,在此基礎上本文加入了ResNet模型的思想,具體為用“global shortcut”連接編碼器和解碼器的相應級別.最后,由于MR圖像的數據量比較小,所以為了改善訓練神經網絡時的收斂性,要盡量縮小模型復雜度,這可以通過減少通道數實現,因此整個網絡的通道數不變,均為64.本文提出的UGR-Net模型結構如圖2所示.

圖2 本文提出的UGR-Net模型結構圖(每個特征下方數字代表的是通道數)

3.2 數據一致性層

式(2)的解可通過以下方式得到:

(4)

其中,F-1是逆傅里葉變換,I是單位矩陣,PT是P的轉置.式(4)實際是利用采集的k空間數據對UGR-Net輸出的圖像進行保真處理.具體是:將UGR-Net輸出的圖像進行傅里葉變換后得到k空間數據,然后用采集的原始k空間數據替換掉該數據中相應的部分,合并后的k空間反傅里葉變換可獲得最終的圖像.

3.3 級聯的UGR-Net模型

本文提出的級聯UGR-Net網絡模型是在多個UGR-Net模塊之間穿插數據一致性層(DC),并用于訓練端到端的級聯神經網絡模型,級聯深度用nc表示.

級聯UGR-Net網絡模型接受來自于欠采樣的零填充數據,由于是復數數據,所以模型的輸入數據分為實部和虛部兩個通道分別處理.模型結構如圖3所示.

圖3 級聯的UGR-Net模型結構

3.4 參數設置

目標函數使用逐像素平方誤差.由于級聯UGR-Net模型需要耗費大量的顯存,因此在實驗中使用batch_size=1來訓練網絡,這并不會影響模型的收斂性.使用Xavier初始化權重,用Adam優化器訓練整個網絡模型,α=5×10-4,β1=0.9,β2=0.999,l2參數權重衰減為10-7.

4 實驗結果和分析

4.1 實驗設定

本文采用Calgary-Campinas的腦部原始數據(1)https://sites.google.com/view/calgary-campinas-dataset/home來驗證新提出重構模型的有效性.訓練數據集來自20個受試者的100個圖像,測試集來自其余4個受試者的8個圖像.為了提升模型的收斂速度和精度,本文對數據進行了歸一化處理.

在隨后的實驗中,本文將進行回溯性的仿真實驗.使用高斯欠采樣、笛卡爾欠采樣和泊松欠采樣圖案對腦部成像數據進行欠采樣(采樣圖案如圖4所示),再使用所比較的算法進行重構,評價其重構性能.

圖4 實驗中使用的欠采樣圖案

在后面的實驗中,本文將比較深度級聯模型[17](即Cascaded CNN,選用D5-C6.D5表示CNN深度為5,C6表示有6個DC層.)、經典的Cascaded U-Net模型[8]、以及本文提出的網絡模型(Cascaded UGR-Net).UGR-Net和U-net均在pytorch框架(2)https://pytorch.org下實現,而Cascaded CNN采用作者公布的代碼(3)https://github.com/js3611/Deep-MRI-Reconstruction.所有的實驗都在配置為Intel Core i7-8700@2.6GHz CPU,16GB內存,Nvidia RTX 2070(8G顯存)顯卡,Ubuntu 18.04操作系統(64位)的服務器上進行的.

在以下實驗中,峰值信噪比(Peak Signal to Noise Ratio,PSNR)[16]、標準均方根誤差(Normal Root Mean Square Error,NRMSE)[16]、結構相似性(Structural Similarity,SSIM)[22]和高頻誤差范數(High-Frequency Error Norm,HFEN)[4]用于定量評估重建圖像的質量,PSNR和SSIM的值越高,NRMSE和HFEN的值越低,說明重構質量越好.

4.2 級聯網絡層數nc的選擇

本實驗探索了不同級聯深度nc∈{1,2,3,4,5,6}對模型重構性能的影響,每個級聯深度執行1000次反向傳播.圖5顯示了4倍加速因子下的高斯欠采樣、笛卡爾欠采樣和泊松欠采樣下不同nc的級聯UGR-Net模型的重建性能比較.從圖5可以看出,隨著級聯深度nc的不斷增加,重構誤差變得越來越低,所需顯存也逐漸增加.實驗設備的顯存僅能支持nc=6的情況,因此以后的實驗取nc=6對模型進行評估.

圖5 3種欠采樣圖案下不同nc的級聯UGR-Net模型對重建性能的影響

4.3 不同加速因子的重構性能比較

表1、表2和表3分別列出了3種加速因子下的高斯欠采樣、笛卡爾欠采樣和泊松欠采樣模式下,使用模型Cascaded CNN、Cascaded U-Net和提出的Cascaded UGR-Net進行重構的PSNR、NRMSE、HFEN和SSIM的比較結果,所有評價指標的值均為8張測試圖像的平均值,表中的AF代表加速因子.

表1 不同加速因子的高斯欠采樣下各重構網絡模型的PSNR,NRMSE,HFEN和SSIM

表2 不同加速因子的笛卡爾欠采樣下各重構網絡模型的PSNR,NRMSE,HFEN和SSIM

表3 不同加速因子的泊松欠采樣下各重構網絡模型的PSNR,NRMSE,HFEN和SSIM

表4列出了在高斯欠采樣、笛卡爾欠采樣和泊松欠采樣模式下,Cascaded UGR-Net分別與Cascaded U-Net和Cascaded CNN的所有加速因子平均PSNR值的差. 從表4可以看出,在3種欠采樣模式下,Cascaded UGR-Net比Cascaded U-Net分別高0.53dB、0.53dB和0.37,Cascaded UGR-Net比Cascaded CNN高1.01dB、0.67dB和0.73dB.因此,Cascaded UGR-Net的圖像重構質量均優于Cascaded CNN和Cascaded U-Net.

表4 在3種欠采樣模式下,Cascaded UGR-Net模型與比較模型的平均PSNR差

4.4 視覺比較

圖6給出了在4倍加速因子的泊松欠采樣模式下,使用Cascaded CNN、Cascaded U-Net和Cascaded UGR-Net的重構圖像(頂行)和重構誤差(底行).

從圖6可以看出,在4倍加速因子的泊松欠采樣模式下,Cascade CNN重構圖像質量較差,重構圖像過于平滑,丟失了一些細節,Cascade U-Net保留了更多細節從而改進了重構質量,Cascade UGR-Net則更準確的重構了更多細節.

圖6 4倍加速因子的泊松欠采樣下3種模型的重構圖像及誤差圖對比

5 結 論

本文提出了一種用于磁共振成像重構的級聯UGR-Net模型算法.該方法在U-Net模型基礎上,結合GoogleLeNet模型和ResNet模型的優點,同時加入數據一致性層,實現對磁共振圖像的高質量快速重構.大量的實驗結果表明,級聯UGR-Net在視覺和PSNR、NRMSE、HFEN和SSIM等定量指標上均優于級聯CNN模型和級聯U-Net模型.特別需要注意的是,新提出的級聯UGR-Net模型即使在小數據集上訓練也能夠得到較好的重構效果.未來將探索把UGR-Net模型用于并行磁共振成像的重構中,讓提出的算法在多種場景下適用.