基于峰值搜索和模板匹配的心電監護儀數值提取方法*

鄺又新,姚歡,婁昊,龔安民

(1.河南省人民醫院國際醫療中心(鄭州大學人民醫院),河南省護理醫學重點實驗室,鄭州 450002;2.武警工程大學,西安 710086)

0 引言

在醫院,心電監護儀作為廣泛使用的醫療設備,護士需定時通過其記錄患者的生命體征數據,提交醫生分析、判斷患者的健康狀況[1-4]。傳統的心電監護儀為模擬式顯示輸出,需要護士投入大量時間和精力,定時觀察并記錄數據。近幾年推出的數字式心電監護儀具備心電信息采集、存儲和智能分析功能,可實現動態監測預警,顯著提高心電數據采集的及時性、精準性;通過加裝聯網功能,可實現在護士站或者數據中心遠程動態采集所有患者的心電數據,降低護士采集信息的復雜度,還可對信息進行電子化管理和大數據分析[5-9]。然而將醫院的大批傳統心電監護儀全部更換為數字式網絡心電監護儀,需要一次性投入大額資金,增加了醫院采購成本,尤其對欠發達地區醫院負擔較重。為此,本研究提出了一種傳統心電監護儀的數字化方法,即在心電監護儀上加裝光學攝像頭,實時獲取心電監護儀的視頻影像,利用圖像處理的方法定時提取心電監護儀上的典型數值,并進行數據存儲與處理。

由于本研究提出的心電監護儀數字化方法僅需要固定攝像頭對心電監護儀畫面信息進行提取,其核心是對特定區域的圖像進行預處理、提取感興趣區域和數值識別[10-13]?；诖?本研究提出一種基于峰值搜索和模板匹配的心電監護儀數值提取方法。其主要過程為:首先,對圖像進行預處理,并在去除冗余部分后,搜索峰值、鎖定感興趣區域(regions of interest, ROI);然后,對字符進行分割,歸一化后采用模板匹配方法進行字符識別,最后整理數據并進行存儲。

1 心電監護儀數字化方法

心電監護儀顯示器上的輸出信息主要包括數值區域和圖形區域。其中,數值區域包括心率(ECG或者RCG)、血氧飽和度(SPO2)、呼吸頻率(RESP)、血壓(NIBP)4項,圖形區域一般包含心電圖、脈搏容積和呼吸波形3項。心率為65次/分;血氧飽和度正常范圍是90%～100%;圖中呼吸頻率為21次/分;血壓為130/72 mmHg。其中,心電圖是圖形區域核心內容,圖1顯示了二通道心電圖;脈搏容積(PLETH)表示心率和脈搏的強度;呼吸波形(Imped)為RESP的連續輸出。

圖1 心電監護儀顯示器輸出

在心電監護儀旁或病房內合適位置加裝光學攝像頭,即可獲取心電監護儀的視頻輸出;然后根據實際需要,按一定時間間隔提取關鍵視頻幀;再對單個圖像處理并提取圖像中的典型值,實現心電監護儀的數字化。其中光學攝像、關鍵視頻幀提取較易實現,本研究對提取的視頻圖像進行圖像預處理、圖像分割和圖像識別等操作,最后獲得圖像中的典型數值,其工作流程見圖2。

圖2 圖像數字化流程

2 算法設計與實現

2.1 圖像預處理

為利于后續字符識別,本研究首先對圖像進行銳化處理,將灰度變化明顯的地方進行增強,使輪廓更為清晰。

由于系統處理彩色圖像的數據量和運算量比處理灰色圖像大得多,而本研究關注的主要信息為心電監護儀顯示的數據,與顏色無關。為減輕計算壓力,提升運算速度,采用加權平均算法將圖像進行灰度化處理。通過計算 R、G和B分量的加權和,將RGB值轉換為灰度值:

gray=0.298 9R+0.587 0G+0.114 0B

(1)

2.2 圖像分割

由于心電監護儀不僅有數據顯示區,還有心電圖區等。為準確提取數據,需要獲取感興趣區域,對數據區域進行定位和分割。步驟如下:

(1)圖像邊緣檢測。選用Roberts邊緣檢測算子,用互相垂直方向上的差分來計算梯度,從而檢測圖像邊緣。對圖像做差分:

(2)

其中,f(i,j)、f(i,j+1)、f(i+1,j)、f(i+1,j+1)分別表示對應位置的灰度值。梯度幅值計算為:

(3)

選取適當門限Th,可得到邊緣圖像R1(i,j):

(4)

(2)圖像矯正。針對圖像傾斜問題,對圖像進行Radon變換,獲取傾斜角度θ,然后根據傾斜角度對心電監護儀圖像進行矯正。

(3)形態學運算,獲取感興趣區域。為獲取圖像的ROI并進行分割,首先對圖像進行腐蝕操作并進行形態學閉運算,填補輪廓上的縫隙使區域閉合。隨后采用掃描線種子填充算法對連通區域進行填充,使之完全覆蓋ROI,得到ROI1,即得到二值化圖像:

ROI?ROI1

(5)

為去除二值圖像中非ROI的小面積對象,需計算各連通區域的像素大小。根據掃描線填充算法確定圖像邊界生成連通區域Cloi,Rij表示該區域第j行左邊界的縱坐標;Lij表示該區域第j行右邊界的縱坐標;Lij-Rij+1則表示該區域第j行的像素個數,通過累加可得該連通區域的像素大小:

(6)

隨后將像素值小于K的連通區域去除,得到ROI2為:

(7)

(4)對圖像進行峰值搜索,分割提取ROI?？紤]到心電監護儀數字在縱向分布比較密集,因此,先對ROI2進行列遍歷,用Yj表示ROI2中第j列的像素大小累積和,找到其最大元素Ymax,其列數記為m。沿m分別向左、右檢索,設置門限K,當YL

確定ROI的列范圍后,根據YL、YR的數值對ROI2進行裁切,得到ROI3。隨后對ROI3進行同樣的行搜索,用YF表示ROI上側行邊界,YD表示ROI下側行邊界。最終根據(YF:YD,YL:YR)范圍對原圖像進行切割,得到ROI。此外,為提高后續識別率,將面積較小的區域直接濾除。

2.3 字符識別

為識別出數據區域的具體數值,需將每個待識別字符分割出來,再逐一進行識別。具體步驟如下:

(1)首先采用加權平均算法將分割后的圖像進行灰度化處理,然后設置閾值,將圖像二值化。隨后對圖像進行均值濾波和形態學閉運算,得到二值化圖像。

(2)采取先切割為行,再切割為字符的方式進行分割。首先對二值圖像每一行的元素進行遍歷相加,得到每一行的數據量。以數據量為零的行為界,對圖像進行分割,切割為字符行。然后再對字符行的二值圖像中每一列的元素進行遍歷相加,得到每一列的數據量。以數據量為零的列為界,對字符行進行分割,切割為字符。

(3)基于模板匹配進行字符識別,根據模板匹配模型的規則得出結果并進行存儲。

在一定范圍內,若兩個元素差異性最小,則可判定為同一元素。對于一個未知的字符圖像,首先根據目標字符的形態特征,生成一套與之相匹配的二值化字符模板,然后將目標字符圖像轉為二值圖并進行歸一化,采用立方卷積插值算法將圖像縮放到模板大小,最后將其與字符模板進行比較,找到差異性最小的字符。計算如下:

(8)

其中,M為圖像高度,N為圖像寬度,f(i,j)為歸一化的目標字符圖像,fk(i,j)為模板字符圖像,k為模板字符圖像的序號。

3 實驗結果及分析

3.1 實驗過程

為驗證本研究方法的實用性,選取一段某高清攝像頭拍攝的時長為9 s的心電監護儀視頻,圖像分辨率為1 920×1 080,幀速率為25 fps進行驗證。

3.1.1提取視頻幀 首先讀取視頻并獲取視頻的總時長和幀速率,然后以1 s為間隔,對視頻進行等間隔提取幀,提取整數張照片,單次提取9張照片。

3.1.2圖像預處理 對圖像進行銳化、灰度化處理,結果見圖3。

圖3 圖像預處理Fig.3 Image preprocessing

3.1.3圖像邊緣檢測及矯正 對圖像進行Roberts算子邊緣檢測,進行Radon變換,并矯正圖像傾斜角度。效果見圖4、5。

圖4 圖像邊緣檢測Fig.4 Image edge detection

圖5 圖像傾斜調整Fig.5 Image tilt adjustment

3.1.4感興趣區域獲取 采用峰值搜索算法進行圖像切割。首先進行整體搜索,再進行小區域的去除,獲取數值區域的ROI,見圖6。最后將感興趣區域與原始圖像匹配,進行二次定位剪裁,見圖7。

圖6 感興趣區域獲取

3.1.5字符分割 先將圖像二值化,然后對字符進行分割。本研究按先行后列的方式,先按不同的行劃分為4組,然后按照單個數字分割,見圖8。

3.1.6字符識別 本研究采取模板匹配的方法對每張圖片中的字符進行識別,并根據實際情況整理數據,最后將結果導出,見圖9。其中,ECG、SpO2、SBP、DBP、MAP分別表示心率、血氧飽和度、呼吸頻率、血壓收縮壓、血壓擴張壓和最高動脈血壓。

3.2 實驗分析

3.2.1室內光線對實驗的影響 在實際拍攝過程中,病房內的光線變化可能會影響拍攝效果,進而影響識別效果。經驗證發現,即使心電監護儀屏幕上存在部分反光,但經邊緣檢測和平滑處理后,仍可較清楚地識別出數據區域,見圖10。因此,正常光線對識別效果的影響較小。

3.2.2攝像角度對實驗的影響 圖10中的圖像存在約5°的水平傾角,由圖10可知,本研究方法對較小的攝像角度有一定適應性。但對于較大傾角的拍攝,需要進一步更新算法,即在第2.2節步驟4后增加字符調整環節。首先按現有方法提取感興趣區域中的行,結果見圖11(a);其次,根據數字傾斜程度,將切出來的行再進行一定角度的旋轉,便于垂直切割,結果見圖11(b);最后,將切出來的數值進行分割與提取,結果見圖11(c),即可實現對較大傾角下拍攝的數值提取。

圖7 定位剪裁后的圖像

圖8 字符分割

圖9 數據導出結果

3.2.3運行情況分析 根據調查,在醫院通常每30～60 min記錄一次心電監護儀的數據信息。對采集到的110段視頻進行測試,經統計,平均每張圖片運行時長為2.02 s;平均每張圖片提取時長為0.03 s;單次運行最大錯誤率為0.5%;平均錯誤率為0.3%。由實驗結果可知,每次提取幀后大約需要2 s的處理時間。由于在臨床中,記錄數據的間隔最高為30 min,因此,采取本研究方法對視頻進行處理,完全可以滿足實際需要。

圖10 屏幕反光圖像數值提取過程Fig.10 The process of extracting numerical values from screen reflective images

圖11 較大傾角拍攝的圖像感興趣區域定位與數值提取Fig.11 Localization and numerical extraction of regions of interest in images taken at large angles

4 結束語

本研究提出了一種傳統心電監護儀的數字化方法,通過將實時獲取的心電監護儀視頻影像進行分割、識別感興趣區域,并采用模板匹配方法對字符進行識別,定時提取心電監護儀上的典型數值,以實現心電監護儀的數字化。實驗表明,該方法適應環境能力較強,可滿足心電監護儀的數字化改進。針對攝像角度問題,通過圖像處理可消除其對屏幕圖像內容識別準確性的影響。此外,隨著具有微光夜視等功能攝像頭的出現,后續本研究將在微弱光線下的數據采集方面進行深入研究。