基于復卷積雙域級聯網絡的欠采樣磁共振圖像重建算法

邱華祿，藺素珍*，王彥博，劉 峰，李大威

（1.中北大學 計算機科學與技術學院，太原 030051；2.昆士蘭大學 信息技術與電子工程學院，澳大利亞 布里斯班 4702；3.中北大學 電氣與控制工程學院，太原 030051）

0 引言

磁共振成像（Magnetic Resonance Imaging，MRI）能提供比許多其他成像方式更好的軟組織對比度，可以清晰反映人體組織的不同層次結構以及解剖特點；然而，較長的信號采集時間通常會導致磁共振（Magnetic Resonance，MR）圖像上產生因患者在采集期間的生理運動（即心臟運動和呼吸運動）所引起的偽影［1］。為了提高MRI 速度，大多數研究的重點都集中如何在加快K空間信號采集的情況下提高圖像保真度。

目前，并行成像和基于壓縮感知理論對K空間數據進行欠采樣是提高MRI 速度的主要手段。并行成像先采用多通道線圈同時進行MR 信號欠采樣，再利用線圈靈敏度編碼對MR 圖像重建。具有代表性的并行成像技術有基于圖像域重建的靈敏度編碼（Sensitivity Encoding，SENSE）［2］和基于K空間域重建的泛化自動校準部分并行采集（GeneRalized Autocalibrating Partially Parallel Acquisitions，GRAPPA）［3］算法。研究結果表明：并行成像可以顯著提高成像速度，但高昂的成本制約了其應用推廣。感知壓縮理論既可以與多線圈信號采集相結合，也可與現有的單線圈信號采集相結合，核心是解決和稀疏變換不相關的K空間軌跡設計、圖像最優稀疏表示和快速魯棒的非線性圖像重建問題?；趬嚎s感知理論加速采樣MR 信號成本低、效果明顯，但仍然存在算法迭代時間較長、參數不易調整等問題［4］。

近年來，深度學習在解決逆問題（包括圖像去噪、圖像超分辨率重建）方面表現出優于傳統算法的性能［5-6］。如Aghabiglou 等［7］利用密集連接殘差塊分別代替級聯卷積塊和U 型網絡（U-Net）中間層的卷積重建MR 圖像。Chatterjee等［8］將改進的殘差網絡作為網絡主干，從欠采樣圖像中去除偽像，結合數據一致性（Data Consistency，DC）處理，通過將網絡輸出與K空間欠采樣數據融合在一起，改進了重建質量。Zhao 等［9］提出了新的通道分裂串行融合網絡，將卷積提取到的特征分解為一系列子特征之后，將這些子特征串行集成在一起，而后采用密集連接融合中間特征，實現了對單幅MR 圖像的超分辨率處理。此外，Han 等［10］提出了完全數據驅動的K空間插值深度學習算法用于欠采樣MRI 重建，有效解決了低秩漢克爾矩陣完成問題時矩陣分解計算量大和對應矩陣存儲需要較大存儲空間的問題。Du 等［11］提出了通道和空間注意力并行的U-Net 實現了對多切片MRI 的K空間域的并行重建。另外，Lee 等［12］先利用一個U-Net 重建幅值圖像，再用重建結果消除欠采樣相位周圍的隨機相位效應，之后將相位圖像利用另一個U-Net 實現重建。Eo 等［13］將欠采樣MR 數據的實部和虛部分成兩個通道，經過K空間、圖像域、K空間和圖像域交叉域級聯的卷積網絡，并以增量方式訓練網絡。Souza 等［14］提出了插入數據一致性層的卷積神經網絡交替地從K空間和圖像域提取特征，以端到端的方式實現了MR 圖像重建。Zhang 等［15］提出了雙任務雙域網絡，該網絡利用部分卷積在K空間中提取特征，以恢復MR 圖像。該模型還設計了一個輔助網絡根據采樣的K空間數據估計采樣掩碼。這些研究雖取得了較好的效果，但或利用幅值圖像進行重建、或將幅值和相位圖像分別用兩個網絡進行重建、或將實部和虛部分兩個通道訓練，均未考慮實部和虛部之間的相關性［16］，并且僅使用實值卷積限制對MRI 復值數據的特征提取能力。其實，復值數據更容易被復值網絡優化，不僅學習速度快，而且具有較強的抗噪聲記憶能力和較好的泛化特性［17］。因此，Wang 等［18］將復數卷積引入MRI 多切片并行重建并取得了較好的效果。目前，關于MRI 單切片重建的研究依舊火熱［7-9，13-15］。相較于多切片MRI，單切片MRI 體積中的不同切片信息不能相互利用，每個切片都需獨立恢復，因此，單切片MRI 重建更為困難。

為此，本文將復值網絡與雙域學習結合，提出了復卷積雙域級聯網絡（Complex Convolution Dual-Domain Cascade Network，ComConDuDoCNet），以實現對單一切片的MRI 重建。具體地，網絡將原始欠采樣MRI 數據作為輸入，通過級聯殘差特征聚合（Residual Feature Aggregation，RFA）［19］塊交替提取MRI 數據的雙域特征，最終重建出具有清晰紋理細節的MR 圖像。每個殘差特征聚合塊使用復卷積作為特征提取器，使用CLeakyReLU 作為激活函數。不同域之間通過傅里葉變換或逆變換進行級聯，并加入數據一致性操作實現對原始MRI 數據的保真。

本文的主要工作如下：

1）提出了基于殘差特征聚合塊的串行雙域網絡。通過在圖像域和K域間交替學習，將欠采樣得到的數據進行最大化利用，提高對欠采樣單切片MR 圖像的重建性能。

2）將復數卷積及激活函數應用到所提出的串行雙域網絡，使復卷積能夠自適應地學習MRI 數據實部和虛部之間的相關性信息。

3）為了證明提出算法的優越性和魯棒性，在公開膝關節數據集上進行了大量實驗；同時通過實驗證明了殘差特征聚合塊相較于鏈式殘差塊、復卷積相較于普通卷積在MRI 重建方面的優勢。

1 重建算法

1.1 網絡結構

所提出的ComConDuDoCNet 模型總體架構如圖1 所示。網絡以原始欠采樣的K空間數據作為輸入，經過K空間和圖像域交替地學習來重構K空間矩陣，并去除偽影，并重構K空間矩陣，最后對該矩陣進行幅值計算，得到清晰的圖像。

圖1 ComConDuDoCNet總體架構Fig.1 Overall architecture of ComConDuDoCNet

網絡由N個級聯塊組成，每個級聯塊包括1 個圖像域塊和1 個K空間域塊。圖像域塊和K空間域塊具有相同網絡結構，都是由1 個RFA 塊和1 個域變換（Domain Transfer，DT）塊構成，而域變換塊由數據一致性層以及傅里葉變換或傅里葉逆變換組成。圖像域塊與K空間域塊的RFA 塊結構相同。每個RFA 塊使用復卷積作為特征提取器，使用CLeakyReLU作為激活函數。不同域塊之間通過傅里葉變換F或逆變換F-1進行級聯，并且加入數據一致性層fdc實現原始數據保真。

1.1.1 殘差特征聚合塊

殘差學習被廣泛用于圖像超分辨率重建，圖2 所示殘差塊被使用在EDSR（Enhanced Deep Residual Networks）［20］和ESRGAN（Enhanced Super-Resolution Generative Adversarial Networks）［21］圖像超分模型中。通過鏈式堆疊圖2 所示殘差塊能產生原始低分辨率圖像的分層特征。不過，在鏈式殘差（Chain of Residual，CR）塊中，第一殘差塊（Residual Block，RB）的特征必須經過重復的加法和卷積運算才能到達最后一個塊。這樣，殘差特征很難被充分利用，在整個網絡學習過程中只起到局部作用。

圖2 殘差塊結構Fig.2 Structure of residual block

因此，引入RFA 塊，結構如圖3 所示，RFA 塊中每個RB模塊與圖2 結構相同。RFA 塊以MRI 實部和虛部數據作為輸入，之后經過4 個RB，與CR 塊不同在于該結構將前三個殘差塊特征與最后一個殘差塊特征進行通道上的拼接，而后通過一個1×1 卷積進行融合，將融合結果與輸入做殘差后即得到RFA 塊的最終輸出結果。為了提高網絡對MRI 復值數據的特征提取能力，每個復數RFA 塊中第一個RB 的第一個復卷積包含兩個輸入通道，其余復卷積具有32 個過濾器，而最后的1×1 融合復卷積具有2 個過濾器。

圖3 殘差特征聚合塊結構Fig.3 Structure of residual feature aggregation block

1.1.2 復卷積

由于MRI 數據本身是復數形式，因此使用復數卷積處理復值數據是必要的。假設輸入圖像域數據xˉ=a+bi，過濾器k=m+ni，則復卷積操作可表示為：

其中：?表示卷積運算，復卷積的每次卷積操作都在實值上完成，即分別將過濾器k的兩個核分別與圖像域數據xˉ的實部和虛部進行卷積，如圖4 所示。K空間域的復卷積操作與上述圖像域復卷積相同。

圖4 復卷積示例Fig.4 Example of complex convolution

1.1.3 復數激活函數

本文算法使用的激活函數為CLeakyReLU，該激活函數的具體形式如式（2）所示，即分別對圖像域數據xˉ的實部和虛部使用LeakyReLU 進行激活。K空間域的復數激活函數操作與上述圖像域復數激活函數相同。

1.1.4 數據一致性層

在每一個級聯塊之間添加數據一致性層，旨在保留采樣K空間域數據中的可信值，使得域塊專注于恢復丟失的數據。數據一致性層具體操作如式（3）所示：

其中：xk表示原始MR 數據經過采樣后得到的數據，S表示原始MR 數據欠采樣后保留的點的集合，j表示原始MR 數據中的某個點，fθ表示預測數據所對應的之前所有RFA 塊，θ表示fθ所表示的所有RFA 塊中可學習參數的集合。當該點數據沒有被采樣到時，該點的數據使用網絡估計的數值；當該點數據被采樣到時，選擇網絡估計值和采樣值的線性組合作為該點最終的輸出結果。本文將λ值設置為0，表示如果該點被采樣到，直接使用采樣值。

1.2 損失函數

除了使用均方損失外，還加入了感知損失［22］（如式（5）所示）增強細節，避免重建圖像出現過平滑現象［23］。

因此，本文總的損失如式（6）所示：

其中β為超參數。

2 實驗與結果分析

2.1 實驗設置

2.1.1 實驗數據與處理

本文采用的數據集為FaceBook 人工智能研究中心與紐約大學醫學院高級成像創新與研究中心分享的FastMRI 數據集。在公開賽的數據集中隨機選取10 092 張脂肪抑制和無脂肪抑制質子密度（Proton Density，PD）加權的全采樣膝關節MR 切片數據，之后將每個MR 切片裁剪成256×256 大小。其中7 012 個用于訓練，2 080 個用于驗證，1 000 個用于測試。為了證明本文算法的有效性，采用笛卡爾采樣掩碼（二維高斯分布采樣（2DGaussian）、泊松分布采樣（POSSION））和非笛卡爾采樣掩碼（徑向采樣（Radial））對全采樣的數據進行模擬加速采樣。

2.1.2 實驗環境與超參數設置

實驗環境 實驗使用的Pytorch 版本為1.12.1，訓練以及測試使用的硬件平臺為英偉達TeslaV100GPU 服務器。

超參數設置 在保證重建效果的前提下，為了避免網絡訓練過于復雜，最終將串行塊的個數N設置為3。經過實驗比較，最終將訓練模型的學習率值設置為0.000 05，總共訓練30 個epoch，batch_size 為2，總損失中β的值設置為0.002 5，使用Adam 優化器進行優化。

2.1.3 評價指標

本文采用三種常用的圖像質量評價指標評估網絡重建的結果，分別為標準化均方誤差（Normalized Root Mean Squared Error，NRMSE）、峰值信噪比（Peak Signal-to-Noise Ratio，PSNR）以及結構相似度（Structural SIMilarity，SSIM）。

2.2 對比實驗

為了證明本文算法的有效性，選擇與目前具有代表性的單切片MRI 重建研究及主流算法在三種不同的采樣率以及三種不同采樣掩碼下進行對比：單域的正則殘差網絡（regularised Residual Network for MR image Reconstruction，ReconResNet）［7］、雙域的混合卷積神經網絡（Hybrid Convolution Neural Network，H-CNN）［14］以及雙任務雙域網絡（Dual-task Dual-domain Network，DDNet）［15］。

2.2.1 定性對比

為了可視化比較本文算法與對比算法，在測試集分別隨機抽取了兩張脂肪抑制與無脂肪抑制的圖像。對10%泊松分布采樣后的數據進行重建，重建后的可視化結果如圖5 和圖6 所示，其中ZF（Zero-Filling）表示零填充的輸入圖像，GroundTruth 表示真實圖像。

圖5 無脂肪抑制質子密度加權圖像定性可視化Fig.5 Qualitative visualization of proton density weighted image without fat inhibition

圖6 脂肪抑制質子密度加權圖像定性可視化Fig.6 Qualitative visualization of proton density weighted image with fat inhibition

如圖5 和圖6 所示，其中，右邊矩形框表示對全采樣圖像與重建圖像的感興趣區域進行放大的結果，左邊矩形框表示重建圖像與全采樣圖像感興趣區域誤差放大結果。

如圖5 所示，對于無脂肪抑制的膝關節MR 圖像，從誤差圖可以明顯看出ComConDuDoCNet 重建圖像誤差最小。如圖5（a）所示，H-CNN 重建結果的邊緣信息比較模糊，而ReconResNet 和DDNet 能重建出較為清晰的邊緣信息，但組織上的紋理信息比較模糊，信噪比較低，并且ReconResNet 重建結果從整體上看過于平滑。而ComConDuDoCNet 能夠重建出少量組織紋理信息，信噪比較高。

如圖6 所示，對于脂肪抑制的膝關節MR 圖像，從誤差圖來看，ComConDuDoCNet 與DDNet 的誤差較小。和無脂肪抑制圖像重建結果類似，H-CNN、ReconResNet 以及DDNet 重建結果組織上的紋理信息模糊，信噪比低。而ComConDuDoCNet 從圖6（a）中可以比較明顯地看出組織上的一些紋理信息，視覺效果更加逼真。

總的來說，雖然不同算法的重建結果相較于零填充圖像都有不同程度改善，但都存在不同程度的信息丟失問題，原因在于K空間的采樣率過低，導致了K空間中大量低頻和高頻信息的丟失；而本文算法不僅能重建出較清晰的邊緣和組織紋理細節，而且實現了更加逼真的重建效果。

2.2.2 定量對比

對不同采樣率（10%、20%及30%）以及不同采樣掩碼（二維高斯分布、泊松分布以及徑向分布）下的不同算法的重建結果進行定量比較，結果如表1 所示。

從表1 可以看出，與雙任務雙域網絡（DDNet）相比：在采樣率為20%二維高斯采樣掩碼下，所提算法的NRMSE下降了13.6%，PSNR 提升了4.3%，SSIM 提升了0.8%；在采樣率為20%的泊松采樣掩碼下，所提算法的NRMSE 下降了11.0%，PSNR 提升了3.5%，SSIM 提升了0.1%；在采樣率為20%的徑向采樣掩碼下，所提算法的NRMSE 下降了12.3%，PSNR 提升了3.8%，SSIM 提升了0.2%?？偟膩碚f，本文算法除了在10%泊松分布采樣以及10%徑向分布采樣的SSIM 略低于DDNet 外，其余指標在九種不同采樣模式下均優于對比算法。

本文提出的算法和DDNet 的重建結果在3 個指標上都優于單域重建網絡ReconResNet，并且H-CNN 除了SSIM 指標低于ReconResNet，其他兩個指標均高于ReconResNet。實驗結果表明，雙域重建優于單域重建。

其次，為了進一步證明提出算法的魯棒性，將所提算法與對比算法在現有公開的IXI 腦部MRI 數據集上進行測試。IXI 數據集收集了近600 個正常健康受試者的腦部MRI 影像數據，數據集中每個切片大小為256×256，從中隨機選取2 048 個T1 加權的腦部MRI 切片用于測試。將提出算法與對比算法在不同采樣率（10%、20%及30%）以及不同采樣掩碼（二維高斯分布、泊松分布以及徑向分布）下進行測試，測試的定量結果如表2 所示。

如表 2 所示，除了在 10% Radial 采樣下，ComConDuDoCNet 的SSIM 指標低于ReconResNet，其余評價指標在9 種采樣模式下均優于對比算法。實驗結果表明，所提算法可以在不需要二次訓練的情況下重建人體不同部位的MR 圖像，即在不同類型的MRI 數據下，所提算法具有較強的泛化性。

值得注意的是，在IXI 數據集得到了與FastMRI 數據集類似的結果：除了IXI 數據集的10% Radial 采樣的SSIM 指標外，DDNet 與ComConDuDoCNet 重建結果的評價指標在九種不同采樣模式下均高于ReconResNet。H-CNN 除了SSIM 指標低于ReconResNet，其余兩個指標在9 種不同采樣模式下均高于ReconResNet。實驗結果表明，雙域網絡的重建效果要優于單域網絡。

此外，本文對不同算法的參數量以及推理時間進行統計，統計結果如表3 所示。

表3 不同算法的參數量及推理時間對比Tab.3 Comparison of parameter quantities and inference time among different algorithms

結合表1，從表3 可以看出，本文算法使用較少的參數量實現了最優的重建效果，但由于復卷積計算的復雜性，導致提出算法具有較長的推理時間。

2.3 消融實驗

2.3.1 復數網絡有效性

為了證明復數網絡的有效性，將本文網絡分別應用于復數卷積及復數激活函數和實值卷積及實值激活函數在采樣率為20%（采樣率為隨機選?。r，用不同采樣模式進行對比，結果如表4 所示。

表4 采樣率20%時不同卷積的定量結果Tab.4 Quantitative results of different convolutions with sampling rate of 20%

從表4 中可以看出，在不同采樣模式下，網絡使用復數卷積及復數激活函數得到的重建結果，在3 種評價指標下都優于網絡使用實值卷積及實值激活函數得到的重建結果。

2.3.2 殘差特征聚合模塊有效性

為了證明殘差特征聚合塊相較于鏈式殘差塊，能夠實現局部特征重用，從而達到更好的重建效果，將本文網絡的級聯塊分別使用殘差特征聚合塊和鏈式殘差塊對在采樣率為20%（采樣率為隨機選?。┑腗R 圖像進行重建。結果如表5所示。

表5 采樣率20%時不同殘差塊的定量結果Tab.5 Quantitative results of different residual blocks with sampling rate of 20%

從表5 可以看出，網絡使用殘差特征聚合塊后，在二維高斯分布采樣下，重建結果的3 個評價指標都有提高，在其他兩個分布采樣下，重建結果的1～2 個評價指標也有一定提高。

3 結語

目前大多數MRI 重建研究直接對幅值圖像進行重建，或者將MRI 數據的實部和虛部分為兩個通道，沒有考慮到實部及虛部之間的相關性，并且僅使用實值卷積限制了對MRI 復值數據的特征提取能力。針對此問題，本文提出了單一切片的MRI 重建算法ComConDuDoCNet。該網絡以原始MRI 復值數據作為輸入，使用復卷積殘差特征聚合塊交叉提取MRI復值數據的雙域特征，最終重建出具有清晰紋理細節的MR圖像。不同域之間通過傅里葉變換或逆變換級聯，并加入數據一致性層實現MRI 復值數據的保真?？偟膩碚f，ComConDuDoCNet 不僅能夠交替學習MRI 不同域的數據特征，而且考慮到了MRI 數據實部和虛部之間的相關性，能夠以少量的參數實現更加逼真的重建效果，并且對不同人體部位的MRI 數據具有較強泛化性；但是復卷積計算的復雜性也給網絡帶來推理時間較長的代價。

未來將進一步提高ComConDuDoCNet 的重建精度，并且采用網絡量化、網絡剪枝等技術來降低網絡的推理時間。