基于5G的遠程介入手術協作影像系統

王旭東,曾安宇,張凱 ,徐野

(西門子數字醫療科技(上海)有限公司,上海市 200126)

介入放射學是20世紀迅速發展起來的一門新興的診療學科,是在醫學介入影像設備的引導下,以影像診斷學和臨床診斷學做為基礎,同時結合臨床治療學原理,利用導管、導絲等醫療器材對各種疾病進行診斷及治療的一門微創學科[1]。近年來,隨著介入技術的發展和突破推動醫療設備的不斷進步,大量先進的介入醫療設備在各級醫院得到逐步的應用和普及。然而介入手術領域內醫療資源總體不足,局部配置不合理,對基層醫院的醫生來說:業務能力提升受環境限制、求師學藝難度大,需要脫產去外地醫院、提升階段獨立上臺心理壓力大。缺乏支持團隊、缺乏大型醫院幫扶、缺乏學習渠道。對介入專家來說,舟車勞頓、時間成本高、分身乏術。目前,主要的解決方案為數字化遠程介入手術系統實現手術室與遠端的雙向音視頻互動[2-4],雖然能夠部分滿足當前指導遠程介入手術的需求,然而普遍存在網絡延遲較高,音視頻壓縮較高;遠程專家只能通過片面的音視頻被動接收信息進行遠程手術指導,無法全面掌握患者多維的實時狀態。

因此,針對上述問題,基于5G[5]和人工智能物聯網技術,通過多種智能邊緣設備的應用組合構建本遠程介入指導系統,尤其IP KVM的使用實現醫院內網與公網的物理隔離,實現反向控制院內相關系統的同時又能保護患者數據。能夠特別針對卒中、冠心病、腫瘤等介入手術,精準對接相關領域的介入專家,實現對基層醫院遠程介入診療與手術指導的幫扶。

1 資料與方法

針對上述目標需求,本系統基于目前先進的5G、物聯網、邊緣計算等先進技術[5-6],通過IP KVM、視頻矩陣與視頻分割器的組合實現遠程專家對介入手術室內不同醫療信息系統的網絡隔離下的遠程訪問及控制,同時整合集成多個介入手術室內不同場景的攝像機和藍牙耳機實現遠程專家與手術室內醫生的實時無縫溝通。

本系統針對不同的功能需求和應用場景分別構建包括基層設備端、遠程專家端、微信小程序端、平板移動端、HoloLens端和云服務端六大客戶端模塊(如圖1)。

圖1 系統邏輯圖

1.1 設備端

作為本系統的核心模塊之一,通過創新性的應用組合IP KVM、視頻矩陣、視頻分割器、按鍵切換器和多場景攝像頭,實現能夠分享DSA設備主臺(計算機系統)的屏幕及其連接的其他輔助醫療設備,比如PACS、EMR和ECG等,且在手術室配置回推屏,可顯示DSA設備產生的手術圖像和遠程專家的視頻畫面。同時通過設備端安裝的攝像頭,能夠分享手術室內醫生和病人相關狀況影像,專家也可以通過云端自主調節術野影像。設備端醫生通過配備的攝像頭和麥克風與遠程專家就介入手術等技術問題進行音視頻溝通。

1.2 專家端

呈現遠端手術室相同信息副顯示器接受遠端設備間技師推送圖像如US、ECG、EMR、PACS,專家也可以自己通過切換直接選擇和調取三方會議同時指導遠端介入醫生和操作間技師,也可以通過按鍵切換器直接控制遠端術中云臺攝像頭,觀察手術細節。影像傳輸:a.造影 b.監護 c.第三方(OCT、FFR、IVUS等)。實時通話:視頻通話,術野攝像,影像同步無延遲。治療策略輔助:遠程專家在造影圖像上可以虛擬放置治療器械,如導絲、球囊或支架等(如球囊支架mark點定位、病變部位標記等)。

1.3 小程序端

基于微信小程序,可以通過掃一掃功能進行系統用戶登錄,并且管理用戶身份,設置醫療設備信息及邀請或刪除設備上的專家及醫生,個人信息資料管理。

1.4 移動平板端

遠端專家可以通過便攜式移動iPad設備在任何時間、任何地點對遠程的手術室內的影像設備進行訪問操作控制,脫離時間和空間的限制,與此同時能夠充分發揮便攜式移動設備的優勢,通過手勢進行視頻圖像的縮放及按鍵處理。

1.5 HoloLens端

本系統創新性的提供基于HoloLens的全息專家客戶端,能夠展示手術室內的多路攝像機和醫療信息系統的全息影像,并且通過手勢和眼部追蹤等操作進行遠程控制,提供更加身臨其境的感覺,大幅提升遠程會診的沉浸感。

1.6 云服務端

后臺管理模塊主要提供系統運行所需的各種相關服務,并提供web頁面進行管理配置。同時也能對支撐系統運行的各種服務進行實時的監控管理。

在遵循高內聚、低耦合、高擴展性和高復用的分層架構模式[7]下,進行整體系統架構設計及編碼實現,如圖2所示。通過5G網絡獨有的低時延特點,能夠滿足遠程介入專家的反向控制的精確度要求和實時性要求。能夠將基層醫院的影像設備的屏幕視頻流和病人畫面實時傳送到遠端專家屏幕上,還能實時遠程操控位于基層醫院的介入影像設備控制臺及其他配置的相關醫療信息系統。

圖2 系統架構圖

2 結果

該系統通過多次平臺優化及系統調優,達到以下主要技術指標,實現系統設計目標:

(1) 超低延時,能夠實現低于300毫秒的延時 ,進行本地或異地實時的手術直播示教與會診,減少進入導管室的人員帶來的不可預知的污染。同時能夠使遠端專家能夠進行異地的實時會診指導手術,解決下級醫院醫生資源缺乏的困境并能快速幫助低年資醫生積累經驗[9]。(2)實現多維度的音視頻的高保真、高實時的采集與傳輸。(3)遠程專家能夠快速便捷地進行不同醫療系統間進行靈活的切換及反向控制。(4) 實現兼容不同分辨率的影像系統進行采集及編解碼,從而更多支持醫療設備和臨床信息系統。(5) 實現導管室內系統的患者數據物理隔離,從而滿足高安全性的要求。(6) 能夠方便快捷地進行多維患者影像的聚合與切換,能夠實時地全方位地顯示患者的病變情況。(7) 將介入手術中所涉及到的多維度的患者影像實時推送至遠端,并能聚合反饋顯示到導管室內供手術醫生進行實時查看。(8) 遠程的專家可以進行遠程快速便捷地控制手術室內的術野攝像機和實時切換多維度的患者影像資料,使其對患者的病情有全方位的了解,提高遠程會診的效率。

北京大學第三醫院崇禮院區作為第24屆冬奧會張家口賽區醫療保障定點醫院,主要承擔冬奧會中多個賽事項目期間涉奧病患的救治任務。作為國內首家部署本系統的介入手術室,遠在北京大學第三醫院的專家和處于崇禮院區指揮中心的專家通過本系統實時觀看處于閉環內的DSA手術采集的圖像,并遠程給予手術醫生相應的手術指導意見,從而完成各類介入手術。

3 討論

綜上所示,本系統基于WebRTC的音視頻流媒體技術,同時結合IP KVM,視頻分割和矩陣技術,通過5G將介入手術室的血管機影像、專業影像工作站、電子病歷系統或手術麻醉系統等臨床信息系統,此外手術室術野影像、全景影像及音頻數據實時傳輸至遠程專家端,同時遠程專家可以實時反向控制已授權的影像設備,進行高效互動協作指導。使介入手術室內的醫師與遠程的專家能夠基于完全相同的患者臨床信息進行病例溝通。通過在手術端導管室內預先安裝的高清光學云臺攝像機與全景攝像機,用于捕捉醫生操作手勢與DSA機架等信息,指導端用戶可根據攝像頭反饋的影像對DSA機架投照角度、導絲塑形及皮膚切開等手術操作細節進行指導,最大限度地避免操作不規范帶來的誤差,帶來仿佛專家身臨其境一般的全新手術體驗。

本系統平臺是基于5G技術之上,將先進的科技與基礎醫療、遠程指導相結合,是具有重要示范意義的,同時也具有復制推廣的模式。通過本系統可以連接基層介入手術室的介入醫生和遠程專家,從而能夠突破空間的束縛,實現遠程專家對患者病情診斷、手術操作和手術方案提供遠程實時在線指導,規避疫情蔓延之下的差旅風險,真正意義上跨越時間與空間的限制,普及介入診療技術,為偏遠地區或基層醫院的介入醫生提供持續學習的機會,幫助醫院能夠快速獨立開展相關的介入手術,進一步推動介入技術的普及,促進優質醫療資源下沉,助力基層醫院的介入學科水平提升。使得我國衛生事業中存在著的醫療資源總量不足、資源配置不均衡等問題也有望得到相應的緩解與改善。從而加速推進健康中國2030的重要戰略目標——胸痛、卒中中心的建設。