胎兒大腦三維表面重建算法

蔡凱雄 王強 陳添峰 鄭力新

摘要： 通過核磁共振設備獲得多個離散間距的磁共振切片圖像，采用CARESU_NET卷積神經網絡對圖像進行分割，獲取胎兒大腦區域圖像。采用CARESU_NET卷積神經網絡對間斷切片進行邊緣重構，恢復完整的邊緣信息。對邊緣重構后的圖像組提取邊緣像素，生成三維點云，運用泊松重建方法重建點云表面，得到胎兒大腦三維表面模型。結果表明：基于核磁共振圖像的三維表面模型直觀生動，提高診斷效率和準確性。

關鍵詞： 胎兒大腦； 三維重建； 邊緣重構； 點云處理； 核磁共振

中圖分類號： TP 399文獻標志碼： A?? 文章編號： 1000-5013（2024）01-0078-08

Fetal Brain Three-Dimensional Surface Reconstruction Algorithm

CAI Kaixiong1， WANG Qiang2， CHEN Tianfeng2， ZHENG Lixin1

（1. College of Engineering， University of Huaqiao， Quanzhou 362021， China；

2. Children′s Hospital， Quanzhou Maternal and Child Health Hospital， Quanzhou 362000， China）

Abstract： Multiple discrete space magnetic resonance slice images are obtained using a nuclear magnetic resonance device，a CARESU_NET convolutional neural network is used to segment image to extract the fetal brain region images. A CARESU_NET convolutional neural network is used to reconstruct edge on discontinuous slices，complete edge information is restored. A three-dimensional point clouds are generated by extracting edge pixels from the edge-reconstructed images，? and the point cloud surface is reconstructed using the Poisson reconstruction method to obtain a three-dimensional surface model of the fetal brain. The results show that the three-dimensional surface model based on nuclear magnetic resonance images is intuitive and vivid，? the diagnostic efficiency and accuracy are improved.

Keywords：fetal brain； three-dimensional reconstruction； edge reconstruction； point cloud processing； nuclear magnetic resonance

醫學三維重建在醫學診斷、病理研究中有著重大意義［1］，相比二維模型，三維模型可以很快地觀察到病變區域，從而加快醫學診斷速度。完整的醫學三維重建包括點云采集、點云配準、點云表面重建、表面紋理融合等過程。點云表面重建［2-4］工作是影響重建模型效果的關鍵技術［5-7］。

大腦三維重建需要對表面進行重建，從表面信息中得到頂點和面信息，并在計算機中仿真出大腦形態［8-10］。馬阿敏等［11］通過閾值分割得到二值腦組織圖像，再通過數學形態學處理得到腦部輪廓，但該重建方法只能應用在較為簡單的大腦圖像中，而切片要求足夠密集，才能防止腦部信息缺失。Hu等［12］使用樹形圖卷積生成對抗網絡，通過單張磁共振圖像生成大腦點云，較好地還原大腦的點云，但單張網絡切片的信息素過低，生成的大腦結構難以讓人信服。

基于深度學習的點云表面重建算法在公有數據集中表現較好，文獻［13-15］利用網絡提取特征，計算每個點在空間中的占有概率，然而深度學習的網絡泛用性較低，無法針對特殊的點云重建得到正確的重建結果?；趲缀蔚狞c云表面重建算法分成顯式重建算法和隱式重建算法。顯式重建算法有滾球算法重建［16］、德勞內三角化算法［17］，然而顯式重建算法要求點云分布均勻，當點云分布不均勻時，就會形成大量孔洞。隱式重建算法（如一般泊松算法［18-19］）使用隱式函數擬合局部表面的點，從而構成一個等值面，隱式重建算法在孔洞填充、表面平滑上有較好的表現?；诖?，本文提出胎兒大腦三維表面重建算法。

1 算法流程圖

在專業醫師的協助下，獲取500人10 715張胎兒腦顱磁共振圖像。同時，每張圖像包含對應的分割標簽圖像和邊緣重構標簽圖像。算法流程圖，如圖1所示。由圖1可知：A過程獲取原始磁共振圖像；B過程的切片按順序排列，初步得到帶掃描間距的三維點云信息；C過程的稀疏散點處理使用深度學習方法，解決了掃描間距帶來的信息缺失；D過程的圖像組點云化實現了圖像到點云的轉換，為下一步網格化做數據準備；E過程使用泊松曲面重建算法，實現從點云到網格的生成，生動展現了當前胎兒的大腦發育狀況，有效輔助醫生醫學診斷。算法提供了一系列處理方法，實現了從磁共振圖像到三維模型的生成。

2 點云的獲取

2.1 連續切片的生成

對胎兒腦顱圖像進行排列（z軸），分割得到胎兒大腦圖像。離散的切片排列，如圖2所示。圖2中：白色部分為原始的腦顱內腔圖像中分割出來的大腦組織。由圖2可知：由于胎兒大腦組織采樣間距為2～5 mm，因此，大腦姿態、大小存在較大差異。將切片按照z軸的順序排列，x軸和y軸的值是二維圖像中的x軸和y軸的值，z軸的值是每張圖像的索引編號乘每張圖像之間的像素距離（索引編號從0開始，第1張掃描圖像的索引是0，第2張的索引是1）。

像素距離與長度轉換，如圖3所示。像素距離表達式為

式（1）中：y2是圖3紅色方框中下方橫線的y坐標；y1是圖3紅色方框中上方橫線的y坐標。

為了提高計算的精度，簡化計算過程，假設儀器設置的掃描距離為5 mm，z軸像素距離表達式為

lz=0.5×（y2-y1）。（2）

通過對公式合并和簡化，減少中間過程的計算，降低誤差的傳播，從而提高計算的準確性。在實際應用中，合理選擇適當的計算方法可確保像素距離的精確度。通過綜合考慮分辨率、采樣間距和圖像數據特征，可得到更可靠、更穩定的像素距離。精確的像素距離計算對醫學圖像的測量和分析具有重要的意義。

切片點云化，如圖4所示。由圖4可知：由于每層切片的間距過大，三維可視化后會損失大量信息，難以具有參考價值。為了解決信息缺失帶來的問題，對點云模型，以像素為單位水平面切片。稀疏水平面，如圖5所示。

2.2 稀疏散點處理

圖像分割過程［20］和邊緣重構過程均使用了CARESU_NET卷積神經網絡，CARESU_NET卷積神經網絡基于U-Net網絡［21］進行改進。CARESU_NET卷積神經網絡還原的大腦信息，如圖6所示。由圖6可知：在下采樣模塊中加入了殘差注意力模塊，提升網絡的特征提取能力和表達能力；在上采樣跳躍連接處加入了通道注意力模塊，消除噪聲和分配同層通道的權重；端到端模型能從稀疏散點中得到大腦切片圖像，對邊緣進行連接和對內部進行填充，左邊輸入稀疏散點圖像，右邊輸出還原后的大腦圖像。

深度學習框架為tensorflow，梯度下降為隨機梯度下降（SGD）優化器，學習率為0.001，超參數為0.9，一個batch的圖像數為32。分割算法使用dice損失函數作為算法評價系數，在300個epoch訓練結束后，與標簽圖像對比，得出的圖像可以達到97%以上的還原度。

2.3 圖像邊緣獲取

利用胎兒大腦的邊緣數據能模擬出一個較好的大腦輪廓，而且能節省計算資源（用較少的數據完成可視化的工作）。選擇傳統的圖像邊緣化處理技術Canny算法［22］，完成邊緣化操作。二維圖像的像素點在x方向和y方向上的梯度分別為

像素點方向的梯度大?。╢θ）和方向（θ）分別為

Canny算法是以窗口的形式在圖像上滑動，從而進行卷積運算，因此，在兩側的邊緣中心位置一定會出現梯度值較小的偽邊緣。比較邊緣像素點（沿著梯度的方向）與兩側像素點梯度大小，若邊緣像素點的梯度值最大，說明它位于邊緣的中心位置，則保留；否則，抑制邊緣像素點。在進行邊緣檢測時，一些非邊緣的噪聲也會被檢測出來，需要對邊緣加以限定。

在Canny算法中，設置了高、低兩個梯度值閾值TH，TL。梯度值比TH大的點為強邊緣點，梯度值比TH小，但比TL大的點為弱邊緣點，梯度值比TL小的點則抑制。在進行梯度值閾值處理時，只有強邊緣點、與強邊緣相連的弱邊緣點會被保留。

2.4 圖像組點云化

在x軸方向，大腦圖層以一個像素為單位進行平鋪，得到每個點云的x軸、y軸和z軸坐標。點云的法向量計算是基于每個點的鄰域點進行計算，因此，在計算每個點的法向量時，取周邊4個鄰域點信息進行計算。通過鄰域點和當前點生成面，法向量正交當前面，指向外部、內部方向。當法向量跟質心和當前點生成的向量夾角小于90°時，則判斷為向外法向量。

3 網格化過程

3.1 泊松表面重建

泊松表面重建算法［23］有以下3個具體步驟：1） 采用指示函數擬合表面；2） 通過求解泊松方程提取等值面（在表面內部的空間值大于零，在表面外部的空間值小于零）；3） 對等值面使用Marching Cube重建算法，得到具有幾何實體信息的表面模型［24］。

在空間S（上部分的長方體結構）中，實體M包含點云集合和法向量集合，其邊界定義為M。通過散度定理可知，通過曲面的通量約等于曲面內部的向量，但由于曲面在正交方向上不連續，需引入一個平滑函數F（）來平滑邊界指示函數f（M）。平滑后的法向量場為

式（6）中：F（q-p）表示從點p到點q的平滑過程。

空間三線性插值，如圖7所示。根據每個鄰域點在q周邊的8個體素，q的法向量投影坐標為

式（7）中：x0，y0，z0分別為在體素下方的x軸、y軸和z軸的坐標；x1，y1，z1分別為在體素上方的x軸、y軸和z軸的坐標。

通過空間三線性插值求點q的向量，具體步驟為

式（8）中：V00，V10，V01，V11分別為點p00，p10，p01，p11的向量。

指示函數f（M）代表的表面向量場近似為在一個小范圍內{m，mM}，Ng（m）是點q的鄰接體素，指示函數f（M）中點q的向量可以近似表示為

散度公式為

最小二乘法可求解近似解，使用移動立方體算法對x提取等值面，得到頂點和三角形信息，從而完成重建工作。

3.2 改進泊松表面重建

一般泊松表面重建的大腦會呈現出多層次效果，一般泊松表面重建的圖像分割過程中的噪聲也會一起重建。

式（11）中：Ni為周邊法向量。

2） 噪聲抑制。為了節省計算開銷，采用八叉樹劃分法［25］將空間分成8等份（在根節點下有8個子節點）。如果每個子節點中的點云滿足繼續分割的數量要求，該節點作為父節點繼續分割成8個子節點，在八叉樹劃分中點越密集的區域樹深度越深，越稀疏的區域八叉樹深度越淺。八叉樹劃分將點云存在的空間進行劃分，噪聲也有了自己的重建空間，對大腦組織進行重建，也對噪聲區域進行重建。采用均勻劃分算法對空間進行劃分，為了減少計算量，計算空間所需長方體結構，長方體結構應能將物體點云囊括在內，以單位體積為13的體素把空間劃分成若干大小相等的格子。實驗結果表明，均勻劃分算法更考慮整體的結構，遠離大腦點云的噪聲由于無法形成封閉的曲面結構，無法重建。

4 實驗結果與分析

每組胎兒大腦磁共振由多張磁共振掃描圖像組成，掃描間距的存在導致每張大腦的姿態差距較大。分割對比圖，如圖8所示。由圖8可知：CARESU_NET分割后的圖像能在細節處更為敏感，分割后能保留下更多的大腦圖像信息。

U_Net卷積神經網絡的平均交并比、精確率、召回率和相似率分別為92.45%，92.65%，93.26%，92.64%，CARESU_NET卷積神經網絡的平均交并比、精確率、召回率和相似率分別為95.38%，95.72%，95.89%，95.68%，比U_Net卷積神經網絡分別提升了2.93%，3.07%，2.63%，3.04%。

在重構實驗中，任務較為簡單，只需對邊緣進行連接和對邊緣內部進行填充。U_Net卷積神經網絡的平均交并比、精確率、召回率和相似率分別為63.97%，96.49%，97.11%，96.62%，CARESU_NET卷積神經網絡的平均交并比、精確率、召回率和相似率分別為68.57%，97.32%，97.38%，97.43%，因此，兩個卷積神經網絡之間的差異較小。

重建效果對比，如圖9所示。由圖9可知：滾球算法在點云不規則排列的情況下，重建后會產生大量孔洞；一般泊松算法容易產生層次結構，對點云過于擬合；使用優化后的重建方法能避免過擬合重建，抑制結構層次化，解決孔洞問題，表面更加平滑。因此，優化后的泊松重建算法較一般泊松算法能更好地仿真胎兒大腦，重建的模型能更生動地展示給醫生，并進行醫學診斷。

重建后，滾球算法、一般泊松算法，優化后的泊松重建算法的頂點分別為18 186，47 120，23 032個；面分別為27 030，94 252，46 044個。由于滾球算法點云分布密度的不確定，因此，生成的頂點和面較少，表面會有大量孔洞；一般泊松算法相比于優化后的泊松重建算法形成了2倍多的頂點和面，從側面反映了各個位置的點云重建過于擬合；優化后的泊松重建算法使用了更少的頂點和面結構能很好地還原大腦形態，點云分布更加均勻，重建模型的表面更為平滑，較少的數據可以減少模型文件的大小和加快加載模型時的渲染速度。

使用深度學習的方法，從孕婦腹部磁共振圖像中獲取胎兒大腦組織基礎數據，由于圖像分割算法無法達到百分百的精度，因此，會存在噪聲。噪聲抑制展示，如圖10所示。

在點云采樣過程中，對噪聲進行采樣，一般泊松算法在圖像左下角同樣也會對噪聲空間進行重建，也是一般泊松算法過擬合的結果。U_Net卷積神經網絡和CARESU_Net卷積神經網絡的頂點分別為22 030，23 032個，面分別為44 044，46 044個。因此，CARESU_NET神經卷積網絡更為準確分割圖像，保留更多的胎兒腦部圖像信息，生成的大腦模型有更多有效的頂點和面信息。

重建對比圖，如圖11所示。由圖11可知：由于U_Net卷積神經網絡提供的圖像對細節和噪聲處理較差，采樣的點云不能很好地擬合大腦表面形態，在一定程度上影響醫學診斷；CARESU_NET卷積神經網絡給予重建算法更精準的點云數據，因此，重建結果更加擬合大腦，表面也更為光滑。

CARESU_NET卷積神經網絡提高了深度學習方法在圖像分割和邊緣重構的性能，為點云采樣提供了更準確的數據服務。同時，也對重建算法進行了一定的改進，抑制了層次化結構和噪聲的影響，為胎兒大腦三維可視化效果的提升做出了幫助。

5 結束語

在輸入一組胎兒腦顱磁共振圖像后，采用CARESU_NET卷積神經網絡對圖像進行分割，得到較為精確的胎兒大腦組織圖像組。對胎兒大腦組織圖像組進行堆疊后，從另一視角進行切片，構建切片間距較為密集、內容較為稀疏的圖像組，從而重構邊緣、填充信息、恢復圖像。運用傳統方法獲取大腦邊緣，采樣得到三維點云，采用改進的泊松表面重建算法可提高可視化效果。未來還將探索胎兒掃描過程中移動大腦造成的左右腦半球不對稱的解決辦法，從而提高三維可視化和腦容量計算算法的臨床能力。

參考文獻：

［1］ 劉剛戰，劉楷正.醫學圖像三維重建技術的研究與應用［J］.通訊世界，2016，9：279.DOI：10.3969/j.issn.1006-4222.2016.09.188.

［2］ 楊振發，萬剛，曹雪峰，等.基于幾何結構特征的點云表面重建方法［J］.系統仿真學報，2017，29（11）：2684-2692.DOI：10.16182/j.issn1004731x.joss.201711013.

［3］ PODDAR S，JACOB M.Recovery of point clouds on surfaces： Application to image reconstruction［C］∥IEEE 15th International Symposium on Biomedical Imaging （ISBI 2018）.Washington D C：IEEE Press，2018：1272-1275.DOI：10.1109/ISBI.2018.8363803.

［4］ BERNARD F，SALAMANCA L，THUNBERG J，et al.Shape-aware surface reconstruction from sparse 3D point-clouds［J］.Medical Image Analysis，2017，38：77-89.DOI：10.1016/j.media.2017.02.005.

［5］ SHANG Yang，SUN Xiaoliang，ZHANG Yueqiang，et al.Research on 3D target pose tracking and modeling［J］.Journal of Geodesy and Geoinformation Science，2019，2（2）：60-69.DOI：10.11947/J.AGCS.2018.20170626.

［6］ XU Yusheng，HUANG Rong，TONG Xiaohua，et al.Exploitingrobust estimators in phase correlation of 3D point clouds for 6 dof pose estimation［J］.Journal of Geodesy and Geoinformation Science，2021，4（3）：72-90.DOI：10.11947/j.JGGS.2021.0307.

［7］ LI Bin，ZHAO Xiaofa，CHEN Yong，et al.Three dimensional laser point cloud slicing method for calculating irregular volume［J］.Journal of Geodesy and Geoinformation Science，2019，2（4）：33-45.DOI：10.11947/j.JGGS.2019.0404.

［8］ 凡雪霖，王震寰，李丹輝，等.大腦扣帶回皮層的三維重建及可視化［J］.蚌埠醫學院學報，2019，44（8）：1001-1003.DOI：10.13898/j.cnki.issn.1000-2200.2019.08.006.

［9］ 李秀輝，王震寰，沈龍山，等.成人大腦顳平面的三維重建及三維可視化［J］.蚌埠醫學院學報，2018，43（4）：421-424.DOI：10.13898/j.cnki.issn.1000-2200.2018.04.001.

［10］ HENG Fang，XI Yang，TAICHI K，et al.Brainsurface reconstruction from mri images based on segmentation networks applying signed distance maps［C］∥IEEE International Symposium on Biomedical Imaging.Nice：IEEE Press，2021：1164-1168.DOI：10.1109/isbi48211.2021.9434070.

［11］ 馬阿敏，楊榮騫，寧海，等.腦部MRI圖像頭皮三維提取及重建［J］.計算機應用，2013，33（5）：1439-1442.DOI：10.3724/SP.J.1087.2013.01439.

［12］ HU Bowen，LEI Baiying，SHEN Yanyan，et al.A point cloud generative model via tree-structured graph convolutions for 3D brain shape reconstruction［C］∥Chinese Conference on Pattern Recognition and Computer Vision.Cham：Springer International Publishing，2021：263-274.DOI：10.1007/978-3-030-88007-1_22.

［13］ ?HUANG Zitian，YU Yikuan，XU Jiawen，et al.PF-Net： Point fractal network for 3D point cloud completion［C］∥IEEE/CVF Conference on Computer Vision and Pattern Recognition.Seattle：IEEE Press，2020：7662-7670.DOI：10.48550/arXiv.2003.00410.

［14］ MESCHEDER L，OECHSLE M，NIEMEYER M，et al.Occupancy networks： Learning 3D reconstruction in function space［C］∥Proceedings of the IEEE/CVF International Conference on Computer Vision.Long Beach：IEEE Press，2019：4460-4470.

［15］ TANG Jiapeng，LEI Jiabao，XU Dan，et al.Signagnostic optimization of convolutional occupancy networks［C］∥Proceedings of the IEEE/CVF International Conference on Computer Vision.Montreal：IEEE Press，2021：6504-6513.

［16］ 胡絲蘭，周明全，稅午陽，等.一種改進Ball Pivoting的散亂點云數據重建算法［J］.系統仿真學報，2015，10：2446-2452.DOI：10.16182/j.cnki.joss.2015.10.033.

［17］ ?LUO Yimin，MI Zhenxing，TAO Wenbing.DeepDT： Learning geometry from delaunay triangulation for surface reconstruction［J］.Proceedings of the AAAI Conference on Artificial Intelligence，2021，35（3）：2277-2285.

［18］ KAZHDAN M，HOPPE H.Screened poisson surface reconstruction［J］.Acm Transactions on Graphics，2013，32（3）：1-13.DOI：10.1145/2487228.2487237.

［19］ 歐陽寧，楊碧偉，林樂平.法向估計的屏蔽泊松算法三維點云重建［J］.電視技術，2017，41（11）：237-242.DOI：10.16280/j.videoe.2017.h11.045.

［20］ 鄭力新，蔡凱雄.一種基于U-Net模型的腦顱內腔分割方法及裝置： CN115601344A［P］.2023-01-13.

［21］ ARIKAWA T.Spatial W measurement based on U-Net convolutional neural network in large wave flume［J］.Water，2023，15（4）：647-662.DOI：10.3390/w15040647.

［22］ 李靜，陳桂芬，丁小奇.基于改進Canny算法的圖像邊緣檢測方法研究［J］.計算機仿真，2021，38（4）：371-375.DOI：10.3969/j.issn.1006-9348.2021.04.075.

［23］ 李皓冉，梅天燦，高智.全局ICP與改進泊松相結合的三維人臉重建［J］.測繪學報，2023，52（3）：454-463.DOI：10.11947/j.AGCS.2023.20220128.

［24］ 劉俠，劉歡，王淼淼，等.改進Marching Cubes算法的椎骨CT圖像三維重建與可視化［J］.哈爾濱理工大學學報，2019，24（6）：84-92.DOI：10.15938/j.jhust.2019.06.013.

［25］ 魯猛勝，姚劍，董賽云.法向約束的點云數據泊松表面重建算法［J］.測繪地理信息，2022，47（4）：51-55.DOI：10.14188/j.2095-6045.2020124.