地震災情獲取中無人機直播關鍵技術研究1

李曉陽 郭 慧 李曉慧 謝恒義 韓貞輝

1）河南省地震局, 鄭州 450016

2）應急管理部大數據中心, 北京 100013

引言

無人機遙感系統具有靈活性好、成本低、空間分辨率高的優點，已成為衛星遙感和地面遙感的有效補充手段，在震后應急中發揮著越來越重要的作用（郭建興等，2018；張順等，2019）。近年來，無人機遙感技術已分別在2011 年盈江地震、2013 年蘆山地震、2015 年尼泊爾地震中得到實際應用（溫奇等，2012；Xu 等，2014；王曉青等，2015；王之等，2018），對震后災情評估起到了一定作用。河南省是地震災害較嚴重的省份之一，同時作為人口大省，部分地區建筑物抗震性能差，現場災情獲取手段尚不完善，因此震后快速獲取災情尤為重要。河南省地震局現有1 架無人機及2 名操控手，可用于解決現場災情獲取及無人機影像有效應用的問題，進一步完善河南省災情獲取手段，提升災情研判能力。在河南省近兩年的地震應急演練中，多次測試了無人機系統各項功能，一是無人機影像傳輸功能，通過單兵及直播技術將拍攝的影像實時回傳至指揮大廳，音視頻效果正常；二是航線規劃功能，利用航線規劃軟件對周邊部分區域實現自動拍攝，影像中建筑物輪廓特征清晰，分辨率達厘米級。

本文以震后將無人機獲取的災情信息實時傳輸到前后方指揮中心為目的，研發了2 種不同通信方式，并在應急演練中測試了通信效果，得到更符合實際應用的云服務器直播通信方式，結合現場應急通信車實現了在4G 網絡中斷的情況下無人機信息的傳輸，以滿足震后災情研判、應急專題圖制作及輔助決策信息的產出。以某次應急演練為例，模擬了震后4G 網絡中斷的情況下將現場災情信息回傳至指揮大廳，利用應急通信車的衛星組網功能，實現了云服務器直播方式下的無人機圖像回傳，但存在依賴現場環境及衛星帶寬的問題，偶爾出現圖像卡頓、不流暢的情形，可通過調整圖像傳輸清晰度、不同的播放協議加以改善。在實踐過程中仍存在一些問題，如受飛行空域的影響，在個別區域飛行時，信號干擾較大，畫面傳輸效果差。另外，對于云直播手段中拍攝影像的建筑物識別、災情自動報警等功能還有待深入探索。

1 災情獲取中的無人機系統方案

1.1 無人機的應用

無人機最早源于軍事，主要作為靶機用于軍事訓練。到20 世紀后期，無人機因其機動性強、偵查范圍廣、戰場適應性強等特點受到廣泛重視（石珺等，2017）。隨著無人機技術的不斷進步，其應用領域逐步擴展，在民用方面的應用迅速發展，按照不同行業特點，無人機通過搭載不同載荷完成不同應用目的，如無人機可以根據需要搭載不同的相機、滅火裝置、喊話喇叭、植保農藥、紅外掃描儀、合成孔徑雷達等，目前無人機已應用于災害監測評估、農林植保、地圖測繪、電力巡檢、影視拍攝、應急救援等領域（杜強，2019；陳楠等，2020）。

本文主要研究無人機在地震行業中的應用。地震應急救災中，無人機因其機動靈活、成本低、分辨率高等特點，可獲取多角度、多分辨率影像，第一時間到達救援人員無法到達的危險區域，及時獲取災區影像數據并實時回傳，為災區的災害排查、災情評估、救災力量部署、人員安置等應急工作提供科學依據（黃海峰等，2017）。震后災害調查內容主要包括建筑物破壞、道路交通破壞、次生災害及生命線工程破壞等，除現場工作人員實地調查外，也可利用無人機完成受災點航拍識別，地形、地貌、救援路線勘察，受災人員臨時安置點選址調查等（王林，2016）。

1.2 無人機系統建設情況

河南省地震局現有1 架多旋翼型無人機、2 名操控手及包括現場圖像獲取設備的無人機地震災情獲取系統。無人機型號為大疆M200，搭載禪思X5S 云臺，通過將單兵設備與遙控器連接，采集圖像信息，再上傳至遠端服務器中，通過4G 公網的形式在前后方電腦端訪問回傳的影像。

無人機及采用的通信方式原理分別如圖1、圖2 所示。

圖2 無人機通信原理Fig.2 Uav communication schematic diagram

經多次系統測試，在用的單兵圖傳系統常存在無法獲取無人機圖像的問題，經分析發現為后方服務器的問題，因維護不及時導致系統運行不穩定，且第三方公司保障能力有限，已影響正常使用。針對該問題，為快速獲取現場災情，第一時間將無人機采集的圖像信息回傳至指揮大廳，以穩定性好、操作便捷、成本低為出發點，研究了云服務器視頻傳輸方式。首先確定推流、播放地址，該過程需提前準備2 個域名，且域名均需完成CNAME 解析，可登錄DNSPod 控制臺完成，并在騰訊云控制臺地址生成器中按照規則自動生成地址，需注意設定的直播應用名稱、數據流名稱及過期時間等參數。然后利用直播的方式，將圖像信息先通過無人機操作平臺推流至云服務器，再實現直播信號的拉流處理，可同時在前后方電腦端、手機端實時顯示。該方式較依賴現場環境，可依據現場信號干擾、網絡情況設置無人機操作平臺中信道模式、圖傳碼率及圖傳模式等參數，調整傳輸效果。最后將信號以4G 或衛星網絡的方式通過應急通信車中的視頻會議系統傳輸至后方指揮中心。

2 無人機直播方案中的關鍵技術

利用無人機航拍采集地震現場圖像信息，通過4G 網絡推流至云端流媒體服務器，再采用拉流的方式實現視頻實時直播，可完成在不同客戶端的展示。系統采用實時消息傳輸協議（Real Time Messaging Protocol，RTMP）用于服務器和播放器之間的流式音視頻數據傳輸，傳輸層采用Transmission Control Protocol（TCP）協議，為保證數據傳輸流暢，RTMP 將流數據分段，把基本的數據單元信息拆分成消息塊，通過TCP 協議發送消息塊。云端服務器接收到數據后，重組消息塊即可恢復原先的流數據（石珺等，2017）。系統方案如圖3 所示。

“互聯網+教育”脫離傳統課堂，增強了學生學習的自主性。首先在教學資源上，學生可以按自己的需要直接在網上搜索。其次在教學模式上，在線學習、互動學習成為主流，改變了傳統教育中以教師在課堂教授為主的模式[3]。最后在教學形式上，沒有時間和地點的限制，學生可以根據自己的實際情況進行復習和回顧。

圖3 系統方案Fig.3 System scheme

無人機操作平臺使用的軟件為DJI GO 4，兼容iOS 及安卓系統，考慮到該軟件本身具備RTMP 流媒體直播能力，可為推流端節省費用與時間成本。需搭建RTMP 流媒體服務器，利用DJI GO 4 軟件中的直播推流功能，通過4G 網絡將視頻流推送到云服務器，并將其輸出到客戶端，然后利用現場應急通信車中的視頻會議系統將無人機影像回傳至后方指揮中心。因地震災害現場可能出現4G 網絡中斷的情況，導致該系統中無人機圖像傳輸至服務器端時數據中斷，無法完成災情信息傳輸。利用應急通信車衛星通信優勢，將網絡切換至衛星通信后，應急通信車內的無線網絡可正常使用，該系統可通過連接現場無線網絡恢復視頻流的傳輸。除可采用電腦端直接訪問視頻直播畫面顯示到指揮大廳屏幕上以外，也可通過視頻會議系統將現場拍攝的影像信息傳到后方指揮中心，但存在衛星帶寬不夠時圖像卡頓的問題，尤其是視頻會議系統占用帶寬較大，可選擇在后方指揮大廳電腦端直接播放直播畫面，通過調整圖像傳輸清晰度、不同的播放協議加以改善。DJI GO 4 中推流直播界面如圖4 所示。

圖4 直播推流界面Fig.4 Live push stream interface

流媒體服務器是流媒體應用的核心系統，主要功能是對流媒體內容進行采集、緩存和傳輸播放，數據傳輸的質量也取決于流媒體服務器的性能和服務質量（牛志，2017）。經對比流媒體處理能力、成本、操作性等方面，選用騰訊云服務器，具體搭建過程如下：

第1 步確定域名，使用云直播服務需要2 個域名，即推流域名和播放域名，且不能使用相同的域名，開通云直播服務后自動獲得1 個域名，將其作為推流域名。播放域名可在域名注冊、域名備案后使用。其中，域名備案需提前購買云服務器資源，可根據實際需要選用不同規格、帶寬的服務器，如拉流端并發連接數較多，可選用支持高帶寬的云服務器。然后分別添加自有域名作為推流、播放域名，添加成功后系統自動分配以.liveplay.myqcloud.com 為后綴的CNAME 域名，完成配置后即可訪問。CNAME 域名配置需登錄DNSPod 控制臺進行解析，按照域名類型填寫主機記錄、記錄類型、記錄值及秒數等參數。

第2 步獲取推流、播放地址。除在地址生成器中自動生成地址外，還可通過自主拼裝的方式完成，地址生成中需注意直播應用名稱、流ID 及過期時間等參數，需保持參數一致。標準的推流統一資源定位符（Uniform Resource Locator，URL）如圖5 所示，其中，domain 為推流域名，AppName 為直播的應用名稱，默認為live，可自定義；StreamName（流ID）為自定義的流名稱，為每路直播流的唯一標識符；鑒權Key（非必需）包含txSecret 和txTime 兩部分，開啟推流鑒權后需使用包含鑒權Key 的URL 進行推流，若未開啟推流鑒權，則推流地址中無需“?”及其后內容；txTime（地址有效期）表示何時該URL 會過期，格式支持十六進制的UNIX 時間戳。

圖5 標準的推流URLFig.5 Standard push stream URL

播放地址規則與推流地址相同，也由播放前綴、播放域名（domain）、應用名稱（AppName）、流名稱（StreamName）、播放協議后綴、鑒權參數及其他自定義參數組成。

播放協議及前綴對比如表1 所示。

表1 播放協議及前綴對比Table 1 Comparison of broadcast protocol and prefix

第3 步進行直播推流及播放。直播推流方式包括PC 端、Web 端、APP 端和小程序端，因本系統中使用的DJI GO 4 軟件本身具備流媒體直播能力，所以進行推流時直接選用APP 端。推流端參數可根據現場信號干擾、網絡情況設置，通過多次測試，一般情況下內置信道模式設置為自動選擇，圖傳碼率選擇4 Mbps，圖傳模式設置為720 P。為便于多渠道展示直播畫面，采用PC 端及APP 端分別完成播放，其中PC 端使用Visible Light Communication 播放工具，該播放器適用所有常見的直播格式，操作便捷，安裝后打開網絡串流，輸入拉流地址，點擊播放即可。APP 端使用視頻云SDK 的直播播放功能，采用延遲低、支持超高并發的HTTP-FLV 播放協議，以“http”開頭，以“.flv”結尾。SDK 功能集成中通過添加View、創建Player、啟動播放等步驟實現。對于傳回影像的畫面調整、屏幕截圖、截流錄制、直播回看等功能，需繼續深入研究。通過多次測試，FLV 和WebRTC 協議播放效果更佳，考慮到標準直播通常采用FLV 協議，快直播使用WebRTC 協議，而快直播流量費用基本為標準直播費用的2 倍，因此本系統在滿足傳輸效果的情況下采用FLV 協議。

第4 步是將現場災情信息傳回后方指揮大廳。無人機獲取的現場災情信息推流至云服務器后，可在前后方電腦端、手機端實現視頻直播，后方指揮大廳可直接將電腦端直播信號投屏到大屏顯示，另外也可利用現場通信車中的視頻會議系統，以信號線的形式將視頻圖像傳輸至后方指揮中心，可完成多方視頻調度中災情信息的顯示?，F場通信車中包含4G 和衛星2 種通信方式，如遇現場通信中斷，可使用衛星通信方式臨時完成視頻傳輸過程，在一定程度上豐富了通信手段，解決了現場通信單一的問題，可依靠非常規手段將無人機拍攝到的現場畫面回傳至后方指揮中心。

3 現場不同數據傳輸方式對比

本文使用單兵圖傳和無人機直播傳輸的方式測試視頻傳輸效果，重點考慮畫面顯示效果、數據安全及便捷性等因素，通過對比確定了較適用的無人機直播傳輸方法，可在震后網絡正?；蛑袛嗟那闆r下實現無人機圖像的實時傳輸。經查閱相關文獻，黃恩釗等（2018）在無人機信息傳輸過程中主要通過基于小魚視頻和應急衛星的方式實現，其他行業中也存在通過視頻監控平臺端訪問、視頻直播、在本地服務器上建立通信系統等方式，以實現無人機信息的實時傳輸。

本研究采用的單兵圖傳方式為：單兵設備與遙控器連接，采集圖像信息，將圖像信息上傳到遠端服務器中，通過4G 公網的形式在前后方電腦端訪問回傳的影像，顯示效果如圖6 所示。該通信手段可完成影像的傳輸，在單兵設備使用初期效果較好，但因遠端服務器建立在第三方公司，常存在服務器維護不及時、運行不穩定的情形，影響正常使用。該方式僅支持在電腦端登錄專用軟件訪問，顯示形式較單一，且傳回的圖像信息清晰度較差，視頻質量損失較嚴重，其中幀率僅為12 幀/s，有卡屏現象。無人機直播傳輸效果如圖7、圖8 所示。

圖6 單兵圖傳系統回傳畫面Fig.6 The picture returned by individual soldier map transmission system

圖7 電腦端直播畫面Fig.7 Computer broadcast screen

圖8 手機端直播畫面Fig.8 Mobile phone live screen

本系統可實現前后方電腦端及手機端的實時顯示，播放形式更靈活，且云服務器具備云直播功能，按照FLV 協議設定推流、播放地址相關參數后，基本無須人工日常維護。通過肉眼觀察回傳畫面可知，直播傳輸畫面較單兵系統清晰度高，視頻質量基本無損失，幀率＞30 幀/s，穩定性較好。另外，也可通過云服務器后臺查看每次直播信息，包含流數據、SDK 質量監控等，便于掌握通信效果，保證通信質量。

在無人機直播方式中測試了RTMP、FLV、WebRTC 播放協議下的傳輸效果，在播放延遲方面，RTMP 協議延遲較高，接近3 s，FLV 和WebRTC 協議延遲保持在2 s 以下。在拉流端并發連接數多的情況下，WebRTC 協議播放效果最佳，FLV 協議次之，RTMP 協議不支持；在拉流端低并發的情況下，FLV和WebRTC 協議播放效果差別較小，均可滿足使用需求。

4 結論

地震發生后，利用無人機進行現場拍攝，快速獲取災情，并在第一時間將災情信息回傳至后方指揮大廳，對災情研判、指揮決策具有重要參考意義。本文研究了通過無人機視頻直播快速獲取現場災情信息的方法，對比分析了該方法和單兵圖傳的傳輸效果，并在應急演練中開展了模擬測試，確定無人機直播方式效果更佳，更符合實際應用需求。在該系統中選用3 種不同的播放協議，從時延、流暢度及流量費用等方面進行了綜合分析，選用效果佳且流量費用低的FLV 播放協議。該系統為現場災情信息回傳至后方指揮大廳縮短了時間，提高了工作效率。

本研究使用的直播手段可完成現場災情信息的傳輸，并實現電腦端及手機端的顯示，同時可滿足在網絡中斷時依靠現場應急通信車的衛星組網功能恢復災情信息的傳輸。一般情況下，后方指揮大廳可直接將電腦端直播信號投放到大屏顯示，也可利用現場視頻會議系統將災情信息回傳至后方指揮中心，完成多方視頻調度中災情信息的顯示。但對于無人機災情獲取手段，在實踐中仍存在一些問題，如受飛行空域的影響，在個別區域飛行時，信號干擾較大，畫面傳輸效果差，通過調整信道模式，傳輸效果雖有一定改善，但圖像仍不穩定。另外，對于云直播手段中拍攝影像的截流錄制、直播回看及災情自動報警等問題仍有待深入探索與實踐。

獲取的現場災情信息如何更好地為后方指揮決策提供支持取決于拍攝影像的質量及數據可處理能力，本系統僅對圖像傳輸進行了研究，未涉及所獲取災情信息的圖像處理功能，下一步工作中將針對現場災情信息的快速處理開展研究，包括正射影像的快速拼接、建筑物的識別、震害信息的提取等。