遠程醫療中Kinect點云數據的實時傳輸

李　明, 陳怡霖,, 潘曉英

(1. 加州州立大學弗雷斯諾分校 數理學院, 加利福尼亞 弗雷斯諾 93740;2. 西安郵電大學 計算機學院, 陜西 西安 710121)

遠程醫療中Kinect點云數據的實時傳輸

李明1, 陳怡霖1,2, 潘曉英2

(1. 加州州立大學弗雷斯諾分校 數理學院, 加利福尼亞 弗雷斯諾 93740;2. 西安郵電大學 計算機學院, 陜西 西安 710121)

摘要:提出一種基于Kinect點云數據的遠程運動康復系統,并設計一套點云數據實時傳輸動態壓縮方案,來解決系統對網絡帶寬的高要求。設計方案通過幀丟棄技術確定實際需要傳輸的幀數，來計算點云數據傳輸的最低帶寬要求，和當前網絡可實現帶寬，得出點云數據最低壓縮倍數，然后得到16叉樹壓縮數據，來進行網絡傳輸。數值分析和工作流程模擬顯示，設計方案能夠在有限帶寬條件下提高數據傳輸質量，以保障整個系統的實時通信。

關鍵詞:遠程醫療；Kinect；點云數據；實時傳輸；16叉樹

Kinect是一款用于Xbox360游戲的體感周邊外設，它能夠以大約30fps的幀率同時捕捉目標物體的RGB數據和深度數據，或稱RGBD數據[1-2]。RGBD可被轉化為每幀含有大約300 000點帶顏色信息的點云數據(PointCloudData,PCD)，Kinect正是通過這些PCD，根據3D空間中相關位置變化，來識別玩家的肢體動作[3]。

得益于Kinect的三大功能，即3D影像偵測，人體骨架追蹤和音頻處理4-5]，Kinect也被應用于運動康復領域。點云庫函數(PointCloudLibrary,PCL)中包含諸多針對3DPCD處理的先進算法[6],對Kinect所抓取的實時PCD采用PCL進行處理，可提升其在運動康復領域的應用水平和效率。

對KinectPCD及其應用的研究目前還處于開始階段，相關工作多數處于算法研究[7-9]和系統設計層面[5]，KinectPCD在遠程醫療的運動能力康復領域還未有使用記錄。

將KinectPCD運用于遠程運動能力康復系統，必須首先進行系統整體設計，同時還要保證系統滿足PCD對網絡帶寬的高要求。本文擬提出一種基于KinectPCD的遠程運動康復系統，設計一套PCD實時傳輸動態壓縮方案，并借助數值分析與仿真模擬來驗證其可行性。

1Kinect PCD遠程醫療系統

基于KinectPCD的遠程運動康復系統具有智能診斷與實時診斷兩種工作模式，如圖1所示。

圖1　基于Kinect PCD的遠程醫療方案

將Kinect捕捉的病人運動信息與醫生設置的評判標準進行比對，即可診斷病人狀況。若病人對Kinect診斷結果滿意，則無需醫生對其進行實時監控，只需將Kinect采集到的數據生成視頻文件保存于用戶端，在網絡空閑時傳輸至監控端備份數據庫，以供醫生可能的查驗。否則，病人也可以轉入實時監控診斷模式，使Kinect將實時視頻數據傳輸到醫生所在的監控端進行人工診斷。Kinect智能診斷和醫生實時診斷相結合的方式可降低醫生的工作量，減少網絡傳輸數據量，節省帶寬。

系統對PCD的實時傳輸需要經過動態壓縮處理，以實現PCD在有限帶寬中的傳輸，保證實時診斷的質量和效率。系統設計應以PCD壓縮技術為核心，幀丟棄技術為支撐，能夠實現自適應的KinectPCD視頻動態壓縮，從而最大限度地降低對傳輸帶寬的需求，并保證傳輸質量，以滿足運動能力康復領域遠程醫療的需要。

2Kinect PCD壓縮方案

2.1基于16叉樹的點云壓縮

多數情況下，相鄰幀圖像信息的變化部分遠小于不變化部分，直接采用8叉樹[10]會無區別地將變化部分的信息和不變化部分的信息每過一幀傳輸一次，從而增加帶寬開銷。

為了減小帶寬開銷，只捕捉圖像信息變化的部分進行傳輸，而對于不變化的部分則繼續使用上一幀的圖像信息,使用16叉樹(差分8叉樹)來描述圖像中變化部分的位置信息，并對該位置信息的二進制編碼進行傳輸。這種16叉樹技術能夠將點云中沒有變化的位置信息作為冗余數據加以消除?；?6叉樹的點云壓縮原理如圖2所示。

圖2　基于16叉樹的點云壓縮

2.2點云位置細節壓縮

為了捕捉到每幀點云狀況的細微變化，可以不斷增加16叉樹的深度，用更多比特數來描述點云的位置信息，但這樣會使計算量呈指數形式遞增。為減少計算復雜度，只需將16叉樹葉節點的深度限制在一定范圍內，而在點云的葉節點處，以葉立方體的中心位置代表葉立方體內點云的位置信息，或用離散坐標的形式描述立方體內點云的位置信息。前者稱之為點云位置合并壓縮，后者稱之為點云位置細節壓縮。

點云位置信息在網絡傳輸時，與16叉樹(或8叉樹)二進制序列碼區分開來單獨編碼，稱之為位置細節二進制序列碼[8]。點云其他相關信息——如顏色、根節點所代表的立方體容積、8叉樹(或16叉樹)的深度值等——的編碼統稱為特征二進制序列碼。

2.3適合醫療環境的壓縮算法

KinectPCD壓縮方案可分為4種：第1種是包含點云位置合并壓縮的8叉樹壓縮；第2種是包含點云位置合并壓縮的16叉樹壓縮；第3種是包含點云位置細節壓縮的8叉樹壓縮；第4種是包含點云位置細節壓縮的16叉樹壓縮。

對于醫療環境中的實時監控，采用第1種或第3種方案，即使經過壓縮后，數據量仍然較大，并不適用于實時傳輸。16叉樹相對于8叉樹而言，能夠有效降低位數/像素(bitsperpixel，bpp)，壓縮精度更高。不過，若采用第2種方案，點云位置合并壓縮雖可降低壓縮算法的計算復雜度，但同時也會降低計算精確度，而點云位置細節壓縮在實時條件下不僅能夠降低壓縮算法的計算復雜度，而且能夠提高計算精確度。因此，選用第4種方案來設計具備動態特征的壓縮方案。

3醫療環境下的動態壓縮傳輸方案

3.1Kinect視頻傳輸的動態壓縮傳輸方案

在具體醫療環境中，病人行動相對緩慢，且經常需要醫生進行實時監控，故在設計壓縮方案時，應盡量剔除冗余信息，降低復雜度，節省帶寬，以滿足實時監控的需要。

在實時診斷中，考慮到需要傳輸的PCD幀數變化幅度較大，而且現實中的網絡可實現帶寬不穩定，為保證KinectPCD視頻的質量，將動態壓縮傳輸方案分為數據傳輸可行性判定和數據傳輸兩個階段。

Kinect視頻傳輸的動態壓縮傳輸方案可具體描述如下。

步驟1對病人進行Kinect視頻采集，得到KinectPCD。

步驟2由幀丟棄技術確定每秒的幀實際傳輸數預測值Ptransport。

步驟3由Ptransport計算最低帶寬要求Brequire，同時計算網絡可實現帶寬Breal。

步驟4由Brequire和Breal計算最低壓縮倍數N。

步驟5比較N和醫生自行確定的最大壓縮倍數Nh。如果N≤Nh，則轉至下一步，否則放棄傳輸。

步驟6用基于16叉樹的壓縮算法對KinectPCD進行壓縮。

步驟7將壓縮后的KinectPCD傳輸至服務器，即醫生所在的監控端。

其中步驟1～5即為數據傳輸可行性判定階段，步驟6～7即為數據傳輸階段。

3.2幀丟棄

在具體醫療環境數據實時傳輸條件下，可通過“幀丟棄”對基于16叉樹的點云壓縮加以改進。比較發送端當前幀和上一幀的圖像，若變化很小，則丟棄當前幀圖像，不予傳輸。此改進可在病人運動緩慢的情況下減少每秒傳輸幀數，節省帶寬。

確定是否丟棄當前幀的方案有兩套。

方案1在壓縮比例一定，即葉立方體大小一定的條件下，若從根節點開始，X層之內的異或結果均為00 000 000，則將當前16叉樹的異或結果當作全0處理，舍棄當前幀。其中X由當前壓縮比例所決定。

方案2從16叉樹根節點所在層的下一層開始，給每層設置權值，如第1層的權值為1，第2層的權值為a，第3層的權值為b……，之后用異或結果中的1與之相乘，再相加，最后得到一個加權和。對于加權和過低的幀，則丟棄。

在時長為t秒的時間段內，記其幀丟棄數為Fabandon(t)，幀實際傳輸數為Ftransport(t)，則此時間段末對下一秒的實際傳輸數預測值為

Ptransport(t)=Ftransport(t)-Ftransport(t-1)。

參考前一秒的壓縮倍數N(t-1),可得下一秒數據傳輸最低帶寬預測值Brequire(Ptransport(t),N(t-1))。

3.3網絡可實現帶寬

系統每隔一段時間(如30s)向服務器發送3個測試數據包并且請求響應,在接到響應后，根據每個測試包的大小和往返時延計算帶寬并取平均值,以確定網絡可實現帶寬。

設時刻t所發送測試包i(i=1,2,3)的大小為Pi(t)，其在網絡中傳輸的往返時延為τi(t)，則此刻網絡可實現帶寬為

不同于服務商提供的名義帶寬，此帶寬為實時測試所得，代表著網絡數據傳輸的真實能力，對于判斷系統傳輸PCD的可靠性至關重要。

3.4系統運行接受條件

在具體醫療環境中，醫生對病人的監控直接影響著病情診斷。傳輸開始階段，系統會自動判斷是否接受傳輸請求，以避免影響監控端視頻顯示質量，造成醫生對病人的病情誤判。系統運行接受條件的具體步驟可描述如下。

(1) 醫生根據醫療環境需要設定一個壓縮倍數最大值Nh，如果N(t)>Nh就有可能導致醫生對病人病情的誤判。

(2) 系統能夠實時自動計算時刻t+1最低帶寬要求的預測值Brequire(Ptransport(t),N(t-1))，以及時刻t網絡可實現帶寬Breal(t)，并由此計算出時刻t+1壓縮倍數的預測值N(t+1)。

(3) 對比Nh和N(t+1)，如果N(t+1)≤Nh,則系統繼續運行，否則系統終止運行。

3.5動態調整壓縮比例

現實醫療環境下的數據實時傳輸必須根據當前帶寬狀況，提供最佳監控端視頻顯示質量，這就需要對PCD進行動態壓縮，亦即，系統不對PCD按照固定比例進行壓縮，而是依據帶寬狀況自動調整壓縮比例。

對于包含點云位置細節壓縮的16叉樹壓縮，決定壓縮比例的是葉立方體的體積，或葉節點的深度值，或固定點云的bpp，此三者等效。不妨以葉立方體邊長p作為決定壓縮倍數N(t)的標量，其中p正比于N(t)。

壓縮比例的動態調整應與系統運行接受條件相結合。系統在計算出時刻t+1最低帶寬要求的預測值Brequire(Ptransport(t),N(t-1))以及時刻t的網絡可實現帶寬Breal(t)之后，通過

計算時刻t+1的壓縮倍數N(t+1)。

動態壓縮技術和幀丟棄技術的兩套幀丟棄方案并不沖突。其原因在于，壓縮比例只和葉節點在16叉樹中的深度有關，而方案1中“X層”是從根節點開始計算的，方案2中每層的權值是以根節點所在層的權值為最大，隨著層數增加，權值也依次遞減。在壓縮倍數N(t)增加的情況下，幀丟棄率也會增加，進一步節省帶寬。在壓縮倍數N(t)減小的情況下，對于方案1，如果“X層”中不包含新增立方體所在層，則不會影響幀丟棄率，反之，則會影響幀丟棄率，而對于方案2，16叉樹的深度越大，對幀丟棄率的影響越小，反之則越大。

4仿真實驗

使用C++編程模擬數據可行性判定階段的工作狀況。在Brequire(Ptransport(t),N(t-1))和Breal(t)一定的條件下，編程計算時刻t+1的壓縮倍數N(t+1)，以檢驗系統運行終止條件的工作狀況。

由于僅模擬系統在時刻t數據傳輸可行性判定階段的工作狀況，故可假設N(t-1)為常數，并不影響實驗的準確性。

假設系統每秒最多能夠傳輸30幀，每幀需要使用3MB數據量表示，則時刻t+1最低帶寬要求的預測值為720Mbps?？紤]到具體醫療環境，假設壓縮倍數的最大值為Nh=100。

在Ptransport(t)和Breal(t)的不同取值條件下，計算壓縮倍數的預測值N(t+1)，相應結果如表1所示。

表1　壓縮倍數的預測值

在康復診斷時，病人移動一般較為緩慢，每秒傳輸的幀數一般在5～10之間。如果帶寬為10Mbps，壓縮倍數則為12～24。根據文[8]，這個壓縮倍數的傳輸質量是較為滿意的。

以“0”代表進入數據傳輸階段，“1”代表放棄傳輸，則系統運行終止條件的工作狀況如表2所示。

表2　系統運行終止條件的工作狀況

實驗結果說明,KinectPCD視頻動態壓縮傳輸方案中的數據傳輸可行性判定階段具有良好的可實現性和可操作性。

5結語

提出一種基于Kinect點云數據(PCD)的遠程運動康復系統，它具備智能診斷和實時診斷兩種工作模式，患者可通過智能診斷進行自我康復狀態評估，或者可通過實時診斷由醫生評估患者康復狀態。針對PCD的實時傳輸帶寬的高要求，設計了PCD實時傳輸的動態壓縮方案。在16叉樹壓縮算法的基礎上實現了動態的最優壓縮。利用幀丟棄技術降低對實際帶寬的需求，同時提高了傳輸質量。整個系統可以自動計算各種參數并進行自行調節?；贑++的數值分析和工作流程模擬驗證了方案的可行性。

參考文獻

[1]CRUZL,LUCIOD,VELHOL,etal.KinectandRGBDImages:ChallengesandApplications[C]//2012 25thSIBGRAPIConferenceonGraphics,PatternsandImagesTutorials(SIBGRAPI-T).WashingtonDC:IEEEComputerSociety, 2012:36-49.

[2]張毅，張爍，羅元，等. 基于Kinect深度圖像信息的手勢軌跡識別及應用[J]. 計算機應用研究, 2012, 29(9): 3547-3550.

[3]NEUMANND,LUGAUERF,BAUERS,etal.Real-timeRGB-Dmappingand3-DmodelingontheGPUusingtherandomballcoverdatastructure[C]// 2011IEEEInternationalConferenceonComputerVisionWorkshops(ICCVWorkshops).WashingtonDC:IEEEComputerSociety, 2011: 1161-1167.

[4]丁晨，王君澤，瞿暢，等.Kinect體感交互技術及其在醫療康復領域的應用[J]. 中國康復理論與實踐, 2013, 19(2): 136-138.

[5]ANTOND,GONIF,ILLARRAMENDIA,etal.KiReS:AKinect-basedtelerehabilitationsystem[C]//2013IEEE15thInternationalConferenceone-HealthNetworking,ApplicationsandServices.WashingtonDC:IEEEComputerSociety, 2013: 456-460.

[6]RUSURB,COUSINSS. 3dishere:Pointcloudlibrary(PCL)[C]// 2011IEEEInternationalConferenceonRoboticsandAutomation(ICRA).WashingtonDC:IEEEComputerSociety, 2011: 1-4.

[7]FUJJ,MIAOD,YUWR,etal.Kinect-LikeDepthDataCompression[J].IEEETransactionsonMultimedia, 2013, 15(6):1340-1351.

[8]BLODOWN,RUSURB,GEDIKLIS,etal.Real-timecompressionofpointcloudstreams[C]//2012IEEEInternationalConferenceonRoboticsandAutomation(ICRA).WashingtonDC:IEEEComputerSociety, 2012: 778-785.

[9]FANYX,HUANGY,PENGJL,etal.Pointcloudcompressionbasedonhierarchicalpointclustering[C]//SignalandInformationProcessingAssociationAnnualSummitandConference(APSIPA).WashingtonDC:IEEEComputerSociety, 2013: 1-7.

[10] 權毓舒，何明一. 基于三維點云數據的線性八叉樹編碼壓縮算法[J]. 計算機應用研究, 2005(8): 70-71.

[責任編輯:瑞金]

Real-timeKinectpointclouddatatransmissionintelemedicineapplications

LIMing1,CHENYilin1,2,PanXiaoying2

(1.CollegeofScienceandMathematics,CaliforniaStateUniversity,Fresno93740,USA;2.SchoolofComputerScienceandTechnology,Xi’anUniversityofPostsandTelecommunications,Xi’an710121,China)

Abstract:A kinect point cloud data (PCD) based telerehabilitation system is proposed and a dynamic compression scheme for real-time PCD transmission to address the system requirement for high network bandwidth is designed. In this scheme frame skipping technology is used to decide number of frames to be transferred and then the lowest bandwidth requirement and the network realizable bandwidth for the estimation of the lowest required PCD compression ratio are calculated. These are then applied to obtain the differential octree compressed data for network transmission. A C++ based data analysis and a workflow simulation are carried out on this scheme. Results show that this scheme can keep transmission quality under limited network bandwidth, thereby ensure the system real-time communication.

Keywords:telemedicine, Kinect, point cloud data (PCD), real-time transport, differential octree

doi:10.13682/j.issn.2095-6533.2016.01.006

收稿日期：2014-08-26

基金項目：美國國家自然科學基金項目(1229213)

作者簡介：李明(1974-)，男，博士，副教授，從事無線網絡研究。E-mail:mingli@csufresno.edu 陳怡霖(1985-),男，碩士研究生，研究方向為多媒體數據傳輸。E-mail:xiyoucyl@126.com

中圖分類號：TP391

文獻標識碼：A

文章編號：2095-6533(2016)01-0033-05