基于多攝像頭全景圖像拼接的實時視頻監控技術研究

史建林 郝培升

中國神華能源股份有限公司神朔鐵路分公司 陜西榆林 719316

1 全景圖像拼接監控技術的介紹

全景圖像拼接監控技術，指的是借助多個攝像頭收集信息進而根據收集到的信息來進行監控，防護以及備份的管理。比起傳統的監控系統，全景圖像拼接監控系統主要是采取數位交互的方式來進一步的實現多個圖像，全景攝取以及監控的管理。簡單來說，就是借助軟件技術來原先的上位機制來控制多個攝像頭進而完成對應的收集圖像的工作，同時還要對收集到的圖像進行幾何，色差等的調整，之后再借助對應的算法來對圖像進行再次的優化處理，最終將修改調整好的圖像參數傳輸到工控機，接著將圖像的數據信息傳輸到多路IPC視頻的拼接處理器中，最終由處理器對圖像進行處理，最終將處理完的圖像信息投放在大屏幕中，實現實景到屏幕中的轉換。在此過程中，需要軟件與硬件之間進行融合，才能夠實現全景圖像的實時拼接，最終便于進行監控與管理工作[1]。

2 多攝像頭全景圖像拼接的實時視頻監控技術研究的背景

在傳統的視頻監控系統中，僅僅是能觀察到一些周邊的情況，而且觀察到的情況有一定的模糊性，并不能清晰的觀察到對應物體的具體情況，視線較為狹窄，水平方向和垂直方向僅僅是在30-60°左右，如果選用傳統的視頻監控系統來進行工作，相關的視頻監控管理人員需要對多個屏幕來進行觀察分析，有些視頻中的圖像只是有一小部分的區別，因而增加了工作人員的工作負擔，工作量繁重。而且最關鍵的是，視頻監控的管理人員不能及時的觀察到對應具體的事物變化情況，可能有些安全隱患的發生，但是無法及時的收集到信息因而無法做出及時的解決措施，進而造成了一定的損失，不利于企業的發展。而多攝像頭全景圖像拼接的實時視頻監控技術，是將多個圖像中具有共同的重疊區域進行消除，進而將圖像拼接成具有寬視角和高分辯率的圖像，也就是形成了基于圖像三維全景的視頻監控系統，進一步的減少了工作人員的工作量。同時還能夠實現實時的監控管理，進而提高了工作過程中的安全性[2]。

3 多攝像頭全景圖像拼接視頻監控技術研究項目中的創新技術分析

3.1 全景融合拼接技術

全景視頻融合拼接技術的原理是利用當前國內領先水平的視頻融合專利技術和計算機視覺混合現實技術來機械能融合，從而能夠將分布在重點監控區域中的多路高點監控攝像機的視頻數據，借助視頻圖像特征來進行提取，同時結合攝像機參數、點位位置、角度等條件，基于CPU和GPU異構并行架構，進而實現大規模數據并發處理以及超高分辨率實時全景融合處理，其中包含的多路視頻GPU并行渲染和動態拼縫融合等技術關鍵點，對圖像數據進行拼接、配準、矯正及融合等處理。進而實現在視頻全覆蓋情況下，能夠對相關的重要區域和部位的全天候不間斷全景視頻監控，便于相關的管理人員能夠可以掌握監控區域整體場景內的可視實時態勢，進一步的根據實時的視頻監控信息來及時的進行管理與控制。

3.2 全景視頻的多業務動態展示

全景視頻的技術中，可以借助平臺之間的對接，進而能夠對多個系統進行整合，從而將相關的數據資源進行統一的規劃展示，并在管理指揮工作中不斷優化，使得管理人員能夠及時的掌握監控區域中的信息，從而制定出對應的處理方案，進一步的提高管理指揮人員的工作效率，降低管理的風險，最終形成一套基于全景視頻的綜合管理指揮系統，實現全景視頻的多業務動態展示。

4 多攝像頭全景圖像拼接的實時視頻監控技術研究項目的主要內容

4.1 三維的全景攝像裝置

根據當前傳統的視頻監控系統中存在的視野盲區，同時結合當前的科學技術，研究出了三維的全景攝像裝置，進而解決了傳統視頻監控攝像中存在的視野盲區，具體就是將在傳統視頻監控攝像中的監控圖像鏡頭分隔的缺陷進行了改進與設計，進而能夠抵御整體的監控視野區域中進行全景的監控管理，能夠實時多方位多角度的監控管理。再者是，傳統的視頻監控攝像機中所能監控到的角度僅僅是某一個方向，能夠觀察到的范圍較小，而三維的全景攝像裝置能夠實現攝像機的多角度無縫的結合，進而避免了工作人員要對多個視頻的監控圖像的觀察分析，節約了一定的時間，使得工作人員能夠快速準確的觀察到視頻中的異常情況，從而根據具體的實是觀察來分析出原因進行及時的管理[3]。

4.2 三維全景融合軟件系統

三維全景融合軟件系統中，主要是借助三維的建模，視頻的重構技術，對視頻監控信息的收集以及三維全景攝像裝置的書數據來進一步的建立出對應的的三維全景模型，進一步得實現由單一的視圖來顯示出對應的全景額三維視圖，同時能夠對某一個局部來進行放大和縮小，以及能夠實現遠程的操控與管理。簡單來說，第一是能夠實現全景和局部視圖的有機結合，借助三維的球機協同追視系統來對全景融合監控范圍中的目標情況進行準確的指揮與查看。再者是在全景三維模型和全景視頻的基礎上，實現區域的自動巡航，對關鍵區域的準確定位與處理。

4.3 多屏合一的技術研究

多屏合一的記住，主要是指在全景視頻的運轉室中建立起對應的拼接屏幕，在三維時空技術的基礎上，實現三維全景融合系統，對應的圖像數據以及TMIS數據信息的同步顯示，進而視頻管理人員能夠根據顯示出的圖像數據信息，來進一步的進行指揮工作，及時的作出調整。

5 多攝像頭全景圖像拼接中要實現的主要功能的具體設計

5.1 基礎視頻監控管理

基礎的視頻監控管理，就是指在一般的視頻攝像監控的基礎上，嚴格按照規定的操作步驟來進行監控管理，注意監控設備的運行情況，不能隨意的中斷監控，或者是隨意的刪除監控信息。再者是管理人員如果發現了進擊的情況來及時向上級匯報信息。再者是對每天的監控信息進行保存，從而為后期進行核查提供信息。

5.2 全景視頻拼接顯示

全景視頻拼接顯示功能是利用處于國內領先水平的視頻融合專利技術和計算機視覺混合現實技術，將分布在重點監控區域周圍建筑物等高點的監控攝像機的視頻數據進行拼接、配準、矯正及融合等處理。從而能夠在視頻全覆蓋情況下，實現對重要區域和部位的全天候不間斷全景視頻監控。管理人員可以掌握監控區域整體場景內的可視實時態勢，處理過程為解碼、拼接、顯、編碼、流媒體輸出。

5.3 全景多路低點視頻關聯顯示

全景多路低點視頻關聯顯示，是指事先將部署在場景內的多路低點視頻與全景視頻建立關聯關系。在開啟時，低點槍機的圖標就會顯示在全景畫面中，通過點擊圖標，就可以在獨立窗口中調看對應攝像機的實時視頻監控。在操作的過程中，操作人員不需要記住每個攝像機的編號就可以快速準確定位到目標視頻，極大地減輕了操作負擔。

5.4 全景視頻槍球聯動“一點即視”

全景視頻槍球聯動“一點即視”，是指事先將場景內的球機進行標定，進而建立起對應的球機姿態、最佳焦距與全景畫面像素位置的對應關系，之后由操作人員在全景視頻畫面中點擊或框選目標區域，系統則驅動球機對準目標區域并進行變倍放大，進一步的減輕了操作人員的工作負擔。

5.5 設定路線自動巡航

在設定路線自動巡航中，首先是以場景的二維平面圖作為基礎，再將攝像機點位標繪在二維地圖中。因而，操作人員可以根據地圖手動調取任意攝像機的視頻。同時，操作人員也可以設置自動巡航模式，也就是在二維平面圖或三維地圖中設定路徑節點后，系統路徑節點設定順序創建巡航路徑，并基于此巡航路徑將相關的視頻進行關聯匹配。當開啟漫游巡航功能后，系統從當前所處的位置開始依次顯示視頻。在巡航過程中，畫面邊角處顯示鷹眼地圖，提示當前視口攝像機位置和方位指向。

5.6 全景歷史視頻同步回放

根據回放請求，來對任意時刻的全景視頻及選定的低點視頻進行整體同步回放。該功能適用于大范圍區域內事件發生全過程的回放，能夠直觀的、全景式的呈現歷史事件的發生始末，解決了傳統視頻監控需要針對多個分鏡頭進行逐一回放、且畫面支離破碎的問題。

5.7 全景視頻解碼器上屏

通過“1+N”的管理模式（即：1臺管理客戶端+N臺解碼顯示客戶端），實現任意多路全景視頻的上屏顯示。管理客戶端能夠將多個區域的全景視頻及普通單路視頻進行預覽，在顯示大屏數量滿足的解碼顯示客戶端的輸出要求的前提下，可直接拖拽多個區域的全景視頻及普通單路視頻到對應監控大屏的虛擬電視墻窗口，便于指揮中心指揮管控人員直觀、全面、便捷、完整的實時掌控大場景內的整體態勢[4]。

6 多攝像頭全景圖像拼接實時監控系統建設在神朔鐵路中的具體應用

6.1 全景視頻攝像機點位安裝部署

（1）全景視頻攝像機點位安裝部署的原則。首先，全景視頻監控在安裝時，攝像機部署貨場區周邊的制高點位置，從而能夠實現對整個貨場區100%視頻全覆蓋。再者，各個攝像機的監控區域之間的視角重合度要大于15度左右，進而便于視頻之間進行全面的融合處理，而且為了保證視頻展示中視覺的一致性，要求攝像機布置的方位要呈現出扇骨狀分布，這樣才能夠保證視頻監控中的一致性。

（2）攝像機的點位專項設計。

①伸縮鐵路中全景總覆蓋區域。由于神朔鐵路車站的整體監控區域呈現細長的形狀，根據調查研究，監控范圍全長2公里，寬約30米。經過對神朔鐵路現場的仔細勘察，在孤山川車站設計三組全景點位，中間的全景點位在站房屋頂，東西兩組分別在距離站房500-600米的燈架上。

②（A）全景點位設計。西側燈架距離站房約560米，安裝3臺槍機用于全景拼接，1臺球機用于全景關聯操作。燈架高約25米，攝像機安裝在燈架升降架底部橫梁位置，通過抱箍方式固定，采用吊裝支架。3臺攝像機呈扇骨狀分布，每天攝像機水平視角約85°，垂直視角約47°。同時安裝1臺球機，作為全景關聯操作使用，通過軟件對球機的PTZ控制，能夠在全景上精確定位，并自動調整方向、變倍和焦距。球機采用吊裝支架，安裝于槍機附近2米范圍內，能夠覆蓋全景監控范圍，且不遮擋全景畫面的位置。覆蓋股道西端咽喉區以及安裝位置半徑300米范圍區域。燈架底部會有半徑約10米盲區范圍。

③（B）全景點位設計。站房樓頂屋面中間位置，安裝3臺槍機用于全景拼接，1臺球機用于全景關聯操作。站房高約25米，利用排水溝側面水泥墻體，定做安裝攝像機支架，通過法蘭方式固定，攝像機裝在排水溝側墻頂部。3臺攝像機呈扇骨狀分布，每天攝像機水平視角約85°，垂直視角約47°。

④（C）全景點位設計。東側燈架距離站房約600米，安裝3臺槍機用于全景拼接，1臺球機用于全景關聯操作。燈架高約25米，攝像機安裝在燈架升降架底部橫梁位置，通過抱箍方式固定，采用吊裝支架。3臺攝像機呈扇骨狀分布，每天攝像機水平視角約85°，垂直視角約47°。同時安裝1臺球機，作為全景關聯操作使用，通過軟件對球機的PTZ控制，能夠在全景上精確定位，并自動調整方向、變倍和焦距。球機采用吊裝支架，安裝于槍機附近2米范圍內，能夠覆蓋全景監控范圍，且不遮擋全景畫面的位置。覆蓋股道西端咽喉區以及安裝位置半徑300米范圍區域。燈架底部會有半徑約10米盲區范圍。

⑤（D）球機點位設計。東端咽喉區域距離站房較遠，需要額外增加1臺球機用于監控此區域。作為全景C的低點位關聯攝像機，可以從全景視頻中調用，彈窗查看。一般球機安裝于圍界立柱頂部，采用抱箍固定壁裝支架方式安裝，主要覆蓋東端咽喉區域，以及轉彎區域。

（3）全景視頻攝像機選型。在選擇全景視頻攝像機的型號是一般是選擇?？礑S-2CD7A27EWD-IZS高清紅外一體化攝像機，200萬星光級1/1.8”CMOS筒型網絡攝像機高清紅外一體攝像機，電動變焦，水平視角最大能夠達到90度。同時，最好是攝像機的尾部是固定的。再者是?？礑S-2DF8231IW-AW高清智能球形攝像機，?？低暰哂?00萬像素星光級紅外網絡高清高速智能球機31倍光學變焦網絡球機，支持透霧功能，吊裝和壁裝支架。

6.2 多攝像頭全景圖像監控拼接結構的介紹

（1）服務器端的部署。神朔鐵路各站區全景可視化運行管理系統，通過前端視頻采集，通過局域網絡傳輸到數據機房，數據機房集中部署1臺全景視頻拼接管理服務器，實時后臺算法處理多組前端攝像機的視頻碼流拼接，并分發、轉發給1臺視頻管理平臺服務器，由平臺管理服務器對視頻源進行統一管理，并進行錄像存儲。

（2）客戶端的部署。神朔鐵路各站區全景可視化運行管理系統，經數據機房全景視頻拼接管理服務器拼接完成后并分發、轉發給視頻管理平臺服務器，通過局域網絡傳輸到站房指揮中心值班席位，值班席位配置1臺全景客戶端工作站用于本地監看，同時配置1臺全景解碼工作站，用于視頻無損輸出給3組1＊3并行排列吊裝的46寸液晶拼接屏，方便日常值班領導和其他工作人員對車站運行狀況的全局監看和掌控。

（3）多路IPC視頻拼接處理器。簡單來說，多路IPC視頻拼接處理器可以對所有的視頻信息來進行調整和處理，包括了交換，傳送等等。同時，攝像頭可以將收集到的圖像信息來借助多路IPC視頻拼接處理器來進行專項的處理，進而將處理過的信息來投放到對應的監控屏幕中，多路IPC視頻拼接處理器的主要功能是以特殊的硬件配置作為了支撐，從而能夠借助硬件配置中的FPGA來對攝像頭中收集到的圖像信息進行處理[5]。

6.3 多攝像頭全景圖像拼接實時監控系統建設在神朔鐵路中的預期效果

根據神朔鐵路的實際需求，在現代信息化技術為基礎，遵循相關標準和規范，建設車站全景管理指揮平臺。借助車站全景管理指揮平臺，實現車站值班員對運輸生產過程的可視化，并對生產信息實時監控與處理，提高運輸生產的可控性。根據對站場咽喉位置的視頻觀察、動態分析，形成有助于管理指揮的綜合系統，提高車站的工作效率。

7 結語

總的來說，多攝像頭全景圖像拼接的實時視頻監控技術在監控領域已經得到了重視和重用，在本文中對多攝像頭全景圖像拼接的實時視頻監控技術進行了全面綜合的分析，并重點對多攝像頭全景圖像拼接的實時視頻監控技術在神朔鐵路中的具體應用進行了分析與研究，建立了對應的全景管理監控指揮平臺，最終進一步的提升了監控管理人員對生產過程中的可視化管理，提高了工作的效率。