基于影像三維可視化技術的解剖教學模式研究

卞冰陽,孫圣博,佟偉華,滕 巖,肖莉莉,孫 野,王 爍,苗 政,紀鐵鳳,張 磊

(吉林大學 第一醫院,長春 130021)

0 引 言

三維可視化技術是一種基于計算機圖形學的數據模擬,通過對現有數據進行提取,分析,使用包括虛擬現實、透射式增強現實(OST-AR:Optical See-Through Augmented Reality)、混合現實(MR:Mixed Reality)等可視化技術為用戶提供包含多類型實時交互模式的高可及性圖像信息。目前在迅速發展的計算機三維技術和光學技術合力推動下,醫學三維可視化技術已被廣泛應用于解剖示教、術前規劃、臨床教學等多領域并已獲得了較好的反饋與轉化成果,即將成為新醫學教學模式的重要組成部分之一。

在現有的臨床教學中,肝臟解剖已成為外科教學的重點之一,其復雜的脈管結構與多樣的變異類型在傳統外科教學模式中僅能通過簡化的示教模型,平面化的圖譜案例進行講解,借助單向教學模式的抽象化概念灌輸致使學生接受度偏低[1-3],難以形成系統化學習路徑[4]。而作為傳統教學素材的手術視頻常因拍攝環境影響導致預期效果與實際反饋差異較大。在信息化醫學教育工作的推動下,基于計算機圖形學與臨床醫學的醫學影像三維可視化技術已成為臨床教學模式的新方向。通過對現有二維斷層影像圖像序列進行后處理操作,影像數據由平面轉化為真實生動的三維圖像,器官的解剖結構與病理形態被精確而直觀地展示在課堂中。學生們通過手術切割操作模擬了基于真實病例的實操過程,在顯著降低練習與培訓成本的基礎上高效地完成了教學實踐。隨著遠程醫療技術的發展,基于混合現實(MR)技術的多視角共享與遠程標注可以把先進教學單位的技術成果實時傳輸至各地的科研與臨床教學部門,實現大范圍內的技術同步與經驗交流。因此,基于影像三維可視化技術的臨床教學模式將成為新醫學教學背景下的重點之一。筆者提出基于影像三維可視化技術的解剖教學模式,以提高臨床解剖教學改革質量,促進課程的教學水平,真正驅動解剖技能在未來工作中學以致用。

1 基于影像三維可視化技術的臨床教學模式

1.1 醫學三維可視化技術概述

醫學三維可視化是基于醫學成像技術的數據處理方式,其目的是將二維切片序列構建為可被直觀感受和理解的三維表現形式,其可分為醫學圖像的處理繪制技術與基于計算機圖形學的3D顯示技術。

1.1.1 醫學圖像處理繪制技術

醫學三維可視化的實現基礎是基于醫學成像設備對人體掃描獲取的二維影像斷層序列。從二維影像到可視化的過程如圖1所示。第1步,通過讀取生成的DICOM(Digital Imaging and Communications in Medicine)數據生成RGB(Red,Green,Blue)或灰度圖像。第2步,進行圖像預處理。濾除圖像生成過程中產生的干擾和失真,進行適當的配準融合操作,實現圖像的清晰化。第3步,基于不同組織的特性,使用特定的分割算法[5]對處理后的圖像數據按照需要對目標組織或器官進行邊緣檢測和圖像區域提取等操作,進而獲得需要進行可視化顯示的特定影像范圍。第4步,對提取后的圖像數據進行重建。重建方式的選擇取決于重建部位的結構特性,重建后的圖像數據將以三維點云或面片的形式展示。第5步,可視化渲染顯示。通過計算機可視化技術對重建的組織器官進行渲染和偽彩染色,便于醫學工作者進行觀察與研究。目前,已有多種影像處理軟件可以實現自動化的影像可視化渲染與數據分析[6],顯著降低了醫學研究者處理大量數據集的時間,大大提高了診斷與科研的精確性與效率[7]。

圖1 二維影像到三維影像可視化流程圖

圖像的三維可視化技術,即影像數據的重建方式可分為三維面繪制(Surface Rending)和三維體繪制(Volume Rending)兩種主要重建方向。三維面繪制是一種基于物體表面的三維重建方法。根據重建過程中對基本單元的處理差異,可分為基于切片級的重建與基于體素級的重建。

以輪廓連接法為代表的切片級重建提取二維輪廓特征,連接相鄰輪廓頂點構建三維面片,通過拼接擬合形成重建曲面。該類型重建方式簡單效率較高,但因面片拼接擬合的特性導致應用較為局限,在三維表面曲率變化較大時重建效果較差。而體素級重建的必要步驟是對等值面的提取與擬合?；贛C(Marching Cube)算法的Marching Tetrahedral方法通過將原有的立方體體素分割為四面體構建等值面,在避免原有算法出現二義性的同時實現了高精度重建。

三維體繪制有別于基于點面構建的面繪制方式,基于單個體素進行重采樣的色彩透明度融合投影可以清晰直觀地將內部信息表現出來。作為底層技術,光線投射算法由Levoy[8]提出,其原理是光線從每個像素點沿視線發出,在穿越三維數據場的過程中進行等距采樣,將顏色與透明度按照一定方向合成投射至二維平面上。體繪制高清晰度的繪制效果也伴隨著較為緩慢的處理速度,難以應用于實時交互。

隨著計算機圖形學技術的發展,基于已有重建方式的可視化算法不斷被提出,最大密度投影(MIP:Maximum Intensity Projection)與多平面重建(MPR:Multiplanar Peconstruction)也在三維可視化測量與轉換中發揮著不可替代的作用,多類型圖像處理繪制技術的共同作用也促進了可視化教學模式的發展與普及。

1.1.2 3D顯示技術

經過圖像繪制重建技術的處理,平面化的影像數據被轉換為立體直觀的三維圖像。而3D顯示技術的引入使三維圖像得以融入現實。虛擬現實、增強現實(AR:Augmented Reality)與混合現實(MR)技術的發展使自然化的實時交互成為可能。

虛擬現實技術[9]通過構建基于數字化的虛擬環境實現了自然交互與虛擬物體互動的效果,因光學硬件實現方案較為簡單,產品形態多樣化且開發難度相對較低[10],目前已作為較普及化的技術應用于三維可視化的教學與研究工作中。使用者在沉浸界面下通過自然交互手勢對重建模型進行提取、分割,并已獲得較為良好的使用反饋[11]。在臨床教學中,沉浸式的交互體驗能幫助學生認識并掌握器官的解剖結構等教學重點。

增強現實技術通過將虛擬影像疊加于現實環境中發揮信息標注與引導功能,其分為光學透視增強現實(OST-AR:Optical See-Through Augmented Reality)與視頻透視增強現實(VST-AR:Video See-Through Augmented Reality)兩種實現形式[12]。光學透視增強現實是通過偏振棱鏡、自由曲面鏡等光學方案將自然光與屏幕顯示的虛擬圖像按一定比例投射入人眼,相比視頻透視增強現實具有更好的現實接近感,與人眼的匹配精確度更高,因此已被應用于計算機輔助外科手術(CIS:Computer Integrated Surgery)中為醫生提供器官準確的空間信息與體征信息[13]。

混合現實技術(MR)是基于虛擬現實技術和增強現實技術衍生的一類新型可視化技術。相比增強現實,生成的虛擬影像將基于環境信息,符合正常的透視規則與自然視覺感受。相比虛擬現實,現實環境的良好融合將有助于用戶在習慣環境下進行觀察與模擬操作。優越的現實交互性可以在外科操作培訓中為學生提供針對化、擬真化的訓練與指導[14],并能在對弱視等疾病的診斷治療中發揮一定的作用[15]。

隨著5G等信息技術的發展,遠程醫療、實時手術指導與遠程操作等概念性設想也將逐漸成為現實?；谏眢w數據采集和傳感器感知技術的視覺融合教學也被證明了其可行性與使用價值[16]?；诘脱訒r通信的遠程共享、方案規劃與實時手術指導也獲得了受試患者與家屬稱贊[17],已有的研究成果也證明了開展可視化臨床教學模式的可行性與優勢性。

1.2 可視化臨床教學模式

可視化臨床教學模式是一種基于臨床教學重點,針對抽象內容將真實病例的影像數據通過可視化軟件進行處理后形成三維數據并融入傳統授課的教學形式,是目前在醫學中一種概念直觀化的教學方法。

1.2.1 臨床解剖教學現狀分析

在臨床教學中,解剖學對理論與實踐結合要求較高,僅通過教材的圖片資料與概念模型難以掌握器官解剖結構與脈管走行等知識點?；趯嶋H病例的影像學教學是輔助學生建立知識體系的重要環節,也是現有臨床教學模式的重點[18]。

在傳統的臨床教學過程中,教學者常采用影像學教材和解剖學教材如《醫學影像學》《局部解剖學》進行理論授課,使用CT(Computer Tomography)二維圖像與手術視頻等圖像資源進行輔助講解。但以肝臟為代表的器官解剖結構復雜且變異率高,由此產生的大量手術是難以通過有限的視頻資料實現全面的講解。同樣地,傳統的單向“教學-接受”模式并不適合抽象概念的講解,平面化的二維影像資料難以使學生對教學重點產生直觀認識,從而對相關知識體系難以建立完備的思維路徑與聯想能力。為解決此類問題,人們提出了基于三維影像可視化的臨床解剖教學模式概念。

1.2.2 臨床可視化教學策略

傳統授課模式以教材為基礎對相關器官的解剖及其疾病進行教學,包括形態、位置、生理與病理狀態及相關診斷方式,以PPT(Power Point)授授課作為教學形式,通過問診、影像檢查、鑒別診斷與治療策略等形式進行模擬接診訓練[19]?？梢暬M教學基于現有的影像序列資料進行三維重建與渲染等可視化操作,并使用模擬軟件進行手術練習和真實視頻資料的對比觀摩。

臨床可視化教學內容基于解剖學等學科,常采用傳統授課與可視化模擬教學相結合的教學策略。針對不同的教學內容,臨床可視化具有多樣性的教學方式,其中以3D系統軟件與3D打印示教為主要教學形式。

以3D-Slicer為代表的3D系統軟件具有醫學圖像的分析處理能力,可以將二維CT、MR斷層數據進行融合重建,實現直觀擬真的效果,目前已在國內外廣泛應用。通過對脈管走形等特征實現對器官的分段與染色[20]。并且隨著數字人技術的數據積累,3D解剖學數據庫也建立了針對移動端的可視化軟件[21]。模型素材采用臨床CT/MRI(Magnetic Resonance Imaging)影像數據進行重建,可根據需要進行旋轉縮放,隱藏顯示等操作,實現完整層次與空間關系的觀察。移動端可視化軟件相比桌面端系統軟件,具有不受環境與設備限制的優勢。隨著混合現實等虛擬現實技術的發展,沉浸式、高交互度與多感知的信息交互特性為基于現實環境的模擬解剖提供了可能。數字孿生體增強交互框架的構建[22]也拓展了可視化教學技術延伸的方向。

影像重建生成的三維數據奠定了3D打印技術在臨床可視化教學的發展,通過對模型進行切片疊加,使用光固化立體成形技術(SLA:Stereo Lithography Apparatus)或激光熔融沉積(LMD:Laser Melting Deposition)、金屬激光熔融沉積(LDMD)等方式[23]將材料分層固化并將二維輪廓疊加形成實體部件。在解剖學教學中,基于真實影像的實物可視化現場講解將有助于對解剖結構的理解。通過對現有影像處理提取生成的stl三維文件使用3D打印技術,可對不同組織進行模型打印與后期染色[24],幫助學生對解剖結構與病理類型形成更直觀的認識。

1.2.3 臨床教學三維可視化教學意義

醫學是一門實踐性很強的學科,臨床教學的目的是將學生培養為具有獨立診斷能力與較高操作水平的合格醫師[25]。臨床培訓對患者安全性的影響一直備受關注。臨床可視化教學通過建立高擬真度的虛擬模型實現了無接觸性的手術操作訓練,教學過程中積累的經驗可有效避免因訓練不足導致的并發癥[26]。同時,因可視化教學具有生動直觀優勢,學生的學習興趣更易被激發,提高課堂的活躍度,從而有助于提升學生對三維空間想象力,更有利于知識的記憶與鞏固。

通過總結現有的可視化教學研究報道,發現在理論解剖知識成績與滿意度方面,可視化教學組顯著高于對照組[27]。根據一項可視化教學滿意度的調查,97.5%的受訪者表示可視化技術相比傳統教學在解剖學教學中具有優越性,91.8%的受訪者認為可視化教學有助于提高解剖學測試的分數[28],由此說明臨床可視化教學將成為解剖學教學發展的新方向。

2 針對臨床教學的可視化拓展性研究

隨著醫學數據庫、計算機輔助檢測/診斷(CAD:Computer Aided Detection/Diagnosis)技術、視線追蹤技術在醫學的引入,針對臨床可視化教學的發展方向也將被延伸與拓展。

2.1 基于視線追蹤技術的臨床操作訓練研究

視線追蹤是一類基于傳感器獲取受試者當前注視方向的技術[29]。出于安全性考慮,非侵入式的視線追蹤可穿戴設備應用較為廣泛。在既往的研究中,針對視覺興趣點的注意力采集已被證明可有效解釋與理解影像科醫生的診斷決策與方案制定。1981年,Carmody等[30]對基于影像放射學的視線追蹤進行了探索性研究,通過采集放射科醫生在診斷過程中的視線路徑策略,得出視覺策略與診斷錯誤率呈高度相關?；贑T造影視頻的視線追蹤研究也表明了視覺策略與臨床經驗的相關性,經驗更豐富的閱片者具有更高的病變識別率[31]。

在基于腹腔鏡模擬手術的視線追蹤臨床可視化操作教學研究案例中,對受試者的眼動軌跡進行標定,使用操作視頻作為教學資源,實驗組使用附加有視線軌跡的教學視頻素材進行引導式學習,在眼動數據預采集后進行操作練習,期間獲取被試者的反饋信息與眼動采樣率,共重復10次操作。

研究結果顯示兩組分別10次操作的完成時間均隨著練習次數的增加而減少,前5次操作的結果趨于一致,在后5次操作中,視頻對照組平均完成時間為140.51±4.65 s,眼動組平均完成時間為116.59±14,29 s。眼動組平均操作時間明顯低于視頻對照組[32]。根據研究結果可知,通過觀摩熟練醫師在操作中的眼動軌跡有助于視覺與操作的協調,在針對學生的可視化教學中可提高培訓效率。

2.2 基于案例庫的臨床教學研究

案例教學又稱實例教學,是引導學生閱讀已有案例并進行分析,同時基于案例討論與教學的一種形式[33],案例庫的建立就是基于該教學模式形成的。

案例庫的構建基于現有的教學素材,通過教師的共享實現內容的擴充。對教師,案例庫的構建可以在減少重復工作的同時促進彼此間的溝通,有助于教學水平的共同促進。對學生,基于大量案例形成的教學素材具有更全面的知識涵蓋,有助于臨床知識體系的建立。同時,豐富的教學資源為教學形式的創新提供了可能。相比傳統的單向授課模式,包含PBL(Problem-Based Learning),CBL(Case-Based Learning)的引導式、討論式綜合授課模式可進一步激發學生的學習興趣與知識接受度。而整個教學過程收入教學案例庫,實現了基于自身的二次迭代,迭代的過程有助于優質教學資源的使用與積累。

作為指導診斷與治療方案的重點學科,基于醫學影像學的案例庫建設也被提上日程。由醫院病案系統提供的豐富影像數據不僅可以為醫學影像學專業的學生與醫師提供學習資源,也可以幫助其他醫學專業學生進行相關知識的認識與學習。87%的影像教學案例庫試用學員認為此類案例庫對臨床思維、知識拓展具有幫助作用[34]。

3 討論與展望

從接觸醫學知識到成為一名合格的醫務工作者,是一個漫長且艱難的過程?；谥R點的理論教學和基于臨床的實踐教學彼此交融。隨著醫學教學與臨床技能培養模式的發展,可視化教學與基于案例的學習(CBL)模式的融合式教學成為了新醫科教學發展的探索方向,如何建立針對臨床的可視化臨床解剖案例庫將成為討論的關鍵問題。

3.1 基于影像可視化技術的臨床解剖案例庫建設的討論

3.1.1 CBL教學模式

CBL教學模式是一類基于案例為教學驅動的學習模式,由以問題為基礎的學習模式(PBL)發展而來。其特點針對問題的共同學習模式,通過老師與學生對教學點的討論開展教學,依次遵循探索、發現、解決問題的流程。相比傳統教學,CBL教學具有更好的臨床融入性與基于案例的針對性,在解決同種方向的不同案例學習過程中,可以提供在多場景臨床技能實踐的機會[35]。

3.1.2 基于影像案例庫的CBL在教學的應用

基于案例的教學模式的開展離不開案例庫教學的支持,基于真實病例的案例庫建立也是評判案例教學效果的重要依據。國內外基于影像案例庫的CBL教學已有先例,并已經取得一定的成果反饋。

在針對急腹癥的教學過程中,潘淑淑等[36]以138名在放射科輪轉的住院醫師規范化培訓學員為研究對象。對照組采用傳統教學模式,實驗組采用CBL教學法,以急腹癥影像案例庫提供的影像學圖片和附帶的臨床病史資料作為教學素材,使用線上教學平臺進行探討教學,通過教學過程中的理論測試與閱片分析進行考核,同時提供問卷調查。結果顯示,實驗組學生的理論考核、閱片成績和總分均顯著高于對照組。問卷調查的結果也表明了實驗組學員對提升診斷思維、溝通交流的滿意度高于對照組,表明基于影像案例庫的急腹癥教學可以有效幫助學員接受理解所學知識,同時基于網絡平臺的教學模式有助于激發學生自主學習的能動性。

在針對口腔診斷的教學過程中,Tostes等[37]以59名本科口腔醫學專業學生為研究對象,對照組采用影像學斷層圖像作為教學資源,實驗組采用包含影像學資料的全病例案例進行教學,包含患者主訴、病史、體征與圖像學資料。通過對提供的資料進行學習研究,對兩組學生給出的診斷假設與真實病例的診斷結果進行比較分析,采用Likert五級評分量表進行針對CBL教學模式的問卷調查。結果表明,87.5%的調查問卷表示CBL教學利用案例的教學方式有助于相關知識的學習,表明基于影像學的案例庫教學有助于學生對醫學知識進行增強化的理解。Liu等[38]研究認為,基于融合CBL的案例教學模式對學生在知識認知與學習方面具有更好的幫助作用。由以上案例可見,基于影像案例庫的CBL教學模式在培養與提高學生發現與解決問題能力,提高教學質量等方面具有重要作用與研究意義。

3.1.3 基于影像可視化技術的臨床解剖案例庫的建立

由既往的影像學案例庫教學模式的實踐可見,雖然此類教學模式可幫助學生認識與理解抽象知識點,但采用的二維影像素材具有一定局限性,如前文所述,仍具有不易掌握空間關系,可接受度性相對較低的不足。同時,案例庫的相對封閉性與格式單一性制約著基于影像的臨床案例庫教學模式的普及,為此,筆者提出了一種基于影像可視化技術的臨床解剖案例庫教學模式。

基于影像可視化技術的臨床解剖案例庫是基于現有影像可視化技術,通過獲取PACS(Picture Archiving and Communication Systems)系統內CT、MRI等影像序列的記錄通過高級后處理中心進行三維可視化處理,結合HIS(Hospital Information System)系統內患者病史、體格檢查、臨床診斷、鑒別診斷、治療過程與預后轉歸形成基于真實病例的教學案例素材。使用包括混合現實的多類型可視化技術進行立體化的教學展示,并將曾使用本案例庫教學的記錄進行整理歸類建庫,實現基于案例庫的二級庫建立,結合使用中對案例考核產生的反饋實現自身的不斷優化與更新?；谌S可視化技術的影像解剖案例庫構建與應用如圖2所示。

通過教學團隊與院內各科室的共同合作與努力,案例庫涵蓋了神經、消化、呼吸系統等科室的案例。通過院內的高級處理中心將影像的后處理方面最大限度地圍繞正常、變異、疾病狀態下的解剖結構表現進行完美呈現。經信息處理形成基于真實病例的多媒體教學課件緊密關聯臨床案例與影像解剖學,進一步對課程素材提供精細化、深加工,形成優質教學資源。通過與學生溝通建立適合教學路徑的試題與詳盡準確的解析,并根據學生在教學過程中形成的反饋進行二次優化與迭代。

形成的可用案例通過細化到系統、器官、疾病和專題進行分類存儲,根據應用方向可分為專題與綜合型案例兩類。專題型案例可用于特定章節教學中知識點的針對性授課,包括理論教學、三維可視化影像觀察,并根據授課內容進行測試; 綜合型案例可用于面向臨床的教學,通過基于影像可視化的綜合案例討論進行學習,同時設置問題鞏固知識。明確且針對性強的案例分類有助于教學者開展案例式教學,幫助學生明確教學目的,增強主觀能動性。

教學人員將基于案例使用頻次與教學反饋對案例庫內的素材進行定期質量評估,對反饋誤差或針對教學目的的改進建議進行定向的修正與刪改,建立的評分機制將案例進行隊列排序,在較長時間區間內引用次數較少或低分反饋較多的素材將被重組或淘汰,基于臨床或教學過程中產生的新案例與教學思路將被記錄與評估,最終形成二級教學案例庫,為可視化案例庫提供更新的指導方向。

基于PBL、CBL與MDT(Multi-Disciplinary Team)等案例集的多模式教學將根據教學思路進行選擇,采用重建軟件、模擬操作與虛擬現實的可視化技術將根據不同的教學場景進行展示應用。教研組內人員可通過視線追蹤技術分析學生對案例的瀏覽重點進行針對性的試題編撰與考核,考核結果與學生反饋將作為類似方向的參考便于案例庫更新。

3.2 展 望

醫學三維可視化技術將平面而抽象的影像信息以生動直觀的立體結構展示在教學中,為教學者提供了新的教學思路與教學模式,拓展了醫學教育的發展方向。目前利用CBL案例教學模式進行的臨床教學已經在實際教學中取得較好的效果,相關的融合性研究也在不斷進行。

醫學成像技術和計算機圖形學的發展離不開科研者與工程師的共同努力,醫學教學案例庫的建設也并非一蹴而就。醫學可視化技術的教學應用是一項依賴臨床科室與教研人員長期合作、交流的工作,也離不開師生間積極的溝通反饋。由于醫學教育融合化的發展趨勢與特殊性,單一的教學模式受其局限性影像并不能取得較好的效果。因此,隨著可視化、視線追蹤和數據庫技術的快速發展與逐步引入,基于三維可視化技術的臨床案例庫教學模式將是今后研究的重要課題。隨著混合現實等新技術的深入,可視化案例庫教學也將具有廣闊的前景。