?

醫院服務機器人運用計算機視覺定位系統的探討

2023-11-23 15:01
今日自動化 2023年7期
關鍵詞:畸變攝像機坐標系

周 俊

(上海市兒童醫院,上海 200062)

一般醫院巡查公共診療區域、重點區域(實驗室、水電氣設備機房等),會通過監控室監控員對監控電視墻上的多個畫面進行人工巡查,監控室普遍配置2名監控員,每天視頻巡查范圍、精細度有限。安保巡邏以2 h 為周期,存在巡邏空間的局限性。從視頻畫面中發現可疑物品(如被故意放在公共區域的背包)、突發性污染物(如容易導致滑倒摔跤的嘔吐物)、實驗室化學物品引起化學反應的燃爆風險、公共區域打架斗毆、初期火災等事件,較難第一時間由人工發現并傳送信息進行處置。

醫院根據公安技防要求安裝的大量監控,只有監視作用,沒有自動識別功能,不符合現代醫療機構大型化、人員出入復雜、醫療設施與支持設備大規?;男滦蝿菀?,須引入計算機視覺定位系統與服務機器人,利用數字化自動分析各類圖像中的事件,并分類處理,提高巡查處置效率的同時降低人力成本。

文章重點討論監控攝像機捕捉識別的目標,將攝像機圖像坐標轉換為室內坐標,通過物聯網系統發送至服務機器人并自動導航到目標點處置的實現過程,即基于計算機視覺的室內定位技術,對相機標定原理、坐標系轉換計算公式、實現方式及難點詳細敘述。

1 相關技術介紹

1.1 AI技術

人工智能AI(全稱Artificial Intelligence)技術從無到有,從單一功能到深入融合各類行業,為科技發展提供了新的思路和途徑。網絡信息時代的爆炸式發展使得人工智能產業豐富。AI 包括虛擬現實VR(全稱Virtual Reality)、增強現實AR(全稱Augmented Reality)技術,被應用在工業、農業、制造業、家用電器、出行、穿戴等生產生活各領域。

醫療領域中利用AI 對醫學圖像處理、分析及診斷提供了新思路,例如,兒童骨齡評估使用深度卷積神經網絡對放射影像的分析,病理學方面基于深度學習算法對病理標本的輔助診斷系統等。此外,人工智能技術的更新,逐步實現了機器人領域真正的應用價值,產生了極大服務價值及生產力??v觀機器人領域的分支中,自導航服務機器人的發展速度非常突出。

1.2 計算機視覺

計算機視覺為人工智能的一個應用分支,指計算機系統從單幅圖像、連續幀和其他影像輸入中分析獲取關注的信息,系統據此作出反應或提供建議。人工智能賦予了計算機分析與決策能力,而計算機視覺是被賦予了感知、探索的能力。

計算機視覺的工作原理為生物仿生技術的設計思路,參照人類視覺,不斷訓練分辨物體、距離、動態與否及視覺真實性等能力。計算機視覺訓練機器人模仿人類的視覺方式,區別在于機器人依靠攝像機、數據和算法在極短時間內完成更精細和復雜的工作。例如,經過訓練用于檢驗產品或監控生產的系統,每分鐘能分析數千個產品或流程,能發現極其細微的缺陷或問題,其能力遠超人類。計算機視覺被廣泛用于許多行業,例如,能源、公用事業、制造、醫療和汽車行業等,并且市場仍在不斷拓展。

1.3 醫院服務機器人

醫院服務機器人實際上從屬于通常意義的服務機器人,應用僅限于醫院和醫療環境,細分產品包括導醫咨詢、醫療宣教、醫用AGV 物流(送藥、送餐、送器械、回收被服和醫療垃圾等)、藥品分揀、靜脈輸液藥配制、消毒殺菌、移送病人、保潔及安防機器人等。

但醫院環境與其他很多應用環境存在較大區別,如對于物流配送,醫院部分環境的復雜程度和動態程度更高、可預測性更低,因而具有更大的技術挑戰性。文章主要討論利用監控攝像機做室內定位,聯動保潔機器人、安防機器人的應用模式。

2 基于監控相機的室內定位

醫院監控攝像機幾乎覆蓋所有公共診療區域,利用監控畫面進行目標事件的室內立體坐標定位,是文章討論的重點。理論上需要應用相機標定原理及坐標系轉換,將攝像機獲得的二維平面圖像,推算出三維空間中物體的幾何坐標值,并重建和識別物體。

2.1 概述

二維圖像能提供豐富的環境信息或空間信息,包括:①圖像像素點的亮度與真實物體表面點反射光強度的關系;②攝像機內部結構、圖像像素點在圖像平面位置、物體空間的相對方位映射關系。利用這些信息,可實現如測距、測量、識別、地圖構建、定位、攝像機運動和姿態估計等工作。

2.2 相機標定原理

求解參數的過程稱為相機標定。相機成像的幾何模型決定了空間物體表面一點的三維幾何位置與其在圖像中對應點間的關系,這些幾何模型參數就是相機參數。通過試驗與計算,求解參數(內參、外參、畸變參數)的過程就是相機標定。

圖像畸變是鏡頭生產過程中,制造精度及組裝工藝的偏差導致的原始圖像失真。鏡頭的畸變分為徑向畸變和切向畸變兩類。

畸變參數、內參是相機本身的固有特性,一次標定即可,外參根據不同標定圖像而不同。成像過程包括:圖像坐標系、成像平面坐標系、攝像機坐標系及世界坐標系。

2.3 4個坐標系

(1)圖像坐標系:表示三維空間物體在圖像平面上的投影,像素是離散化的,文章使用的是攝像機模型中的針孔模型。該模型在數學上是三維空間到二維平面的中心投影。其坐標原點在CCD 圖像平面的左上角,u軸平行于CCD。平面水平向右,v軸垂直于u軸向下,坐標用(u,v)來表示。

(2)成像平面坐標系:坐標原點在CCD 圖像平面的中心,x,y軸分別平行于圖像坐標系的(u,v)軸,坐標用(x,y)表示。

(3)攝像機坐標系:以攝像機的光心為坐標系原點,Xc,Yc軸平行于圖像坐標系的x,y軸,攝像機的光軸為Zc軸,坐標系滿足右手法則。攝像機的光心可理解為攝像機透鏡的幾何中心。

(4)世界坐標系:用于表示空間物體的絕對坐標,使用(xw,yw,zw)表示,世界坐標系可通過旋轉和平移得到攝像機坐標系。

2.4 CCD平面(感光元件)

CCD(Charge-coupled Device)即電荷耦合元件。CCD 上植入的微小光敏物質稱作像素,畫面分辨率與單位面積內像素數量成正比。CCD 分布排列的感光電容,將影像轉化為數字信號。例如光學遙測、頻譜望遠鏡、高速攝影等。

2.5 坐標系位置關系

坐標系位置關系見圖1。

圖1 坐標系位置關系

將攝像機非線性模型表示為:

式中,(xu,yu)為模型圖像點的坐標,(xd,yd)為實際圖像點坐標,δx(x,y)與δy(x,y)為成像畸變值。

2.6 畸變

一般分為徑向畸變、切向畸變。徑向畸變(桶形畸變和枕形畸變),即光線在遠離透鏡中心部位比接近中心的地方出現明顯彎曲。切向畸變(薄透鏡畸變和離心畸變),來源于制造過程中,透鏡與CCD 平面不平行而產生的畸變。

3 利用物聯網聯動醫院服務機器人

服務機器人作為高集成度的新型技術,具備高感知信息的能力及智能控制。目前,其智能水平隨著相關研究的投入及多學科互動,利用物聯網融合到整個醫院智能化系統網絡中,應用范圍愈加廣闊。

3.1 物聯網的概念

物聯網技術主要是借助信息傳感設備來實現物品和網絡的連接,并根據預先設定的通信協議來完成通信,實現信息識別、跟蹤與管理的功能。

從技術角度分析物聯網技術,其特點主要包括:①系統化的感知能力。利用各類射頻識別技術、激光傳感器和紅外感應器等技術來獲得物體信息資料,實現感知和應用提取。②穩定的傳輸能力?;诨ヂ摼W、局域網等網絡能實現數據的穩定傳輸。③先進的智能化處理技術。合理篩選與應用不同類型的智能化技術,實現大量數據的分析、計算及醫院管理工作的智能化發展。

3.2 物聯網的構架

物聯網系統由感知層、網絡層及應用層組成基礎架構,本質是事件驅動型的體系構建,服務機器人是基于物聯網架構及底層分析技術、終端執行輸出的智能化設備。不同層級進行交互通信和控制,互相傳遞多樣的信息,應用系統識別動靜態信息。物聯網技術與傳統互聯網相比更加先進,實用性更強,直接控制物理設備,實現服務效果最大化。

3.3 物聯網下視覺定位的應用

(1)機器人定位方法。該方法一般分為拓撲地圖直推法、幾何地圖直推法與概推法、馬爾可夫定位算法等,定位技術包括視覺導航定位技術(機載攝像機采集分析環境信息)、GPS 全球定位系統(定位精度受限制,不適用室內及多樓層場景)、光反射導航定位技術(利用激光或紅外傳感器測距,易受背景信噪影響)等。服務機器人為實現無人控制作業,配置自動導航系統,具備自主任務分配、自控電梯門禁、避開障礙物、自主返回充電的智能化功能。

(2)響應流程。醫院物聯網系統主要是通過智能終端、云端控制平臺及服務機器人3個部分共同構成。具體應用流程為:監控相機分析得出事件和定位信息通過物聯網完成信息發送;觸發應對處置程序,自動轉發到對應的服務機器人響應;事件處置結果回饋到系統,形成事件處置閉環。

(3)引導與定位修正。機器人收到監控攝像機發出的事件定位信息,自動導航到達目標位置附近,因攝像機、環境變化、機器人行走均存在參數誤差并疊加放大,為消除上述定位精度的偏差,通過監控攝像機識別機器人真實位置信息,利用物聯網的橋接作用、PID 控制,輔助機器人不斷修正行進路徑與位姿,最終抵達目標位置完成事件處置。

3.4 視覺定位技術的改進

考慮到目標事件包括遺落物、嘔吐物、肢體沖突的人員、初期小火災、待消毒物品等,存在物品對象大小形狀多樣、位置動態變化、發展趨勢不可預期等,須將定位公式的算法從一個二維平面坐標點拓展為三維立體坐標值,提升監控攝像機對目標描述的真實性,以盡量多的立體坐標點來描述目標的空間邊界。初期算法可簡化為方形6面體,隨著研究的推進,視覺識別處理硬件性能的提升,描述為更接近真實物體空間邊界的多邊形數值,進一步協助系統準確識別事件并移交服務機器人處置。

3.5 技術難點及解決方案

室內定位精度要求一般需要控制在厘米級,如±10 cm 的精度,精度偏差來自監控攝像機自身性能參數的限制、真實復雜環境的視線遮擋、環境光影明暗變化,同時需要醫院管理部門投入大量前期工作,如攝像機參數標定、環境基準面數值創建、基礎路線設定、機器人特征預錄入等。一般要求攝像機硬件參數為分辨率1080P、像素200萬、幀率25幀、星光級夜視功能、低照度自切換紅外夜視、內置圖像處理GPU、三主碼流一輔碼流等。機器人定位導航系統可借助其他室內定位技術如WiFi、定位信標等,增強修正定位結果。

4 結束語

計算機視覺定位是基礎的圖像識別通過AI 算法進行更新優化后的技術,提供了一種高效可行且能不斷改良的室內定位解決方案。廣泛應用于醫院場景的各類服務機器人,通過物聯網體系極大提高了反應速度,填補了人工巡視的空間不連續性,因此在當前醫院環境下,應用前景廣闊,發展空間巨大。

猜你喜歡
畸變攝像機坐標系
解密坐標系中的平移變換
坐標系背后的故事
在Lightroom中校正鏡頭與透視畸變
基于重心坐標系的平面幾何證明的探討
攝像機低照成像的前世今生
新安訊士Q6155-E PTZ攝像機
如何消除和緩解“攝像機恐懼癥”
輻射誘導染色體畸變的快速FISH方法的建立
極坐標系下移動機器人的點鎮定
《癌變·畸變·突變》2014年第26卷索引
91香蕉高清国产线观看免费-97夜夜澡人人爽人人喊a-99久久久无码国产精品9-国产亚洲日韩欧美综合