基于混合云的機場大數據平臺設計

吳 勇

（上海民航新時代機場設計研究院有限公司，上海 200335）

0 引言

機場大數據平臺的設計與應用是智慧民航發展過程中至關重要的部分，《中國民航四型機場建設行動綱要（2020—2035年）》指出，建立以機場運行數據為核心的大數據信息共享平臺，覆蓋旅客出行全流程、貨物運輸全鏈條、運行監控全系統、機場管理全領域[1]，綜合運用大數據技術，采集、洗練、統計和分析各類旅客服務、生產協同、安全與安保、綜合交通、商業管理、能源管理及航空物流數據，實現預測分析、資源優化、場景控制、輔助決策等功能，利用大數據輔助科學決策，推動政府管理理念和行業治理模式革新。目前，大數據信息共享平臺在機場建設中的具體應用方式如下：通過在本地私有云上部署機場Hadoop大數據平臺，提供大數據處理環境和分布式數據處理功能，以實現對外大容量的數據存儲、分析和實時流式數據處理分析功能?？紤]到機場基礎運行數據每年都以倍數關系增長，Hadoop集群的數據量增長速度更是大于基礎運行數據增幅，而機場基建項目的審批流程從項目立項到竣工驗收時間漫長，往往遇到因數據增長超過預期，導致項目驗收后基礎硬件資源利用率過高或已不能滿足使用需求的問題。本文以首都機場大數據平臺現狀為例，分析說明現有大數據應用模式的不足，在此基礎上提出一種混合云彈性伸縮架構的機場大數據平臺設計方案，通過將機場現有云下數據中心業務逐步遷移至第三方云上，解決運行數據快速增長與基礎硬件資源短缺的問題。

1 大數據平臺應用現狀

首都機場是第一批開展大數據平臺建設的國內機場，2008年首都機場開始立項建設機場大數據平臺，擬對機場的運行數據、商業數據及能源類數據等進行統一管理。2014年，首都機場智慧運營管理平臺建成投產，是國內首個基于Apache Hadoop架構的機場大數據平臺，該平臺具有通用的spark、stream等開源通用組件，能夠支持非結構化數據及流數據的處理[2]。2019年，首都機場啟動大數據平臺項目的升級建設工作，對現有大數據平臺進行升級改造，在原平臺基礎上增加了面向生產運行、經營管理、旅客服務、安全防范等業務領域的應用支撐平臺。

從首都機場大數據平臺的建設案例可以看出，由于機場運行數據增長和新增業務應用每隔3～5年就需要重新立項升級擴容現有大數據平臺，采用本地私有云的建設模式，每次升級都需對現有基礎硬件設施重新擴容，建設周期漫長、初期建設投資高。而采用混合云建設模式將部分業務遷移至第三方云上部署，可以大幅提升大數據平臺基礎硬件資源處理能力、縮短建設周期、降低建設初期投資費用，同時節約運維成本。

2 基于混合云的機場大數據平臺設計方案

目前國內各大機場陸續開展機場大數據基礎平臺建設，對機場數據進行資產化管理，通過云計算、人工智能、數字孿生和物聯網等創新性信息技術綜合運用，實現機場在更多業務場景的創新性應用與服務。

2.1 混合云架構大數據平臺設計

本次機場大數據平臺設計方案（如圖1所示）基于混合云平臺架構提供大數據MapReduce服務（MRS），MRS是一個在基于云上業務部署的高性能并行計算平臺，采用湖倉一體化架構，減少數據重復存儲，消除數據孤島，提供數據統一存儲、加工、查詢、分析的功能，支撐離線數據及實時數據的處理，通過各組件功能，實現對大數據中心能力的基礎技術支撐[3]。

圖1 混合云架構大數據平臺設計方案

2.1.1 混合云平臺

混合云是一種混合部署方式，通過VPN或者企業專線，把私有云和公有云有機結合在一起。公有云服務器主要負責處理各企業間的共有業務、存放公共數據、分析計算數據量大但數據安全要求較低的數據[4]。本地重要業務核心數據部署在本地私有云服務器上，既具有私有云的保密性和安全性，也兼備公有云資源豐富和擴展性強的特點。

基于混合云平臺的機場大數據平臺設計方案可隨大數據應用數據業務量的變化彈性擴展，避免業務高峰時期基礎計算資源不足，以及業務空閑時期基礎資源利用效率低等問題。

2.1.2 Hadoop大數據平臺

隨著互聯網的發展，數據種類越來越多，數據產生的速度越來越快，傳統的數據庫方案已無法在成本受控的情況解決這些新的大數據問題。為解決以上大數據問題，2004年GoogleApache基金會推出了Hadoop大數據處理的開源解決方案，Hadoop架構是一個開源分布式計算平臺，可以通過混合云部署（本地數據中心+第三方云廠商），完成海量數據的處理。

Hadoop大數據平臺是一站式大數據管理及開發平臺，可以匯聚機場內各類數據形成機場數據資源池。提供HDFS、HBase、Kafka、MapReduce、Spark、Hive等 大 數據組件，數據資源池內數據可進行批、流、交互式多引擎融合分析。

HDFS（Hadoop Distributed File System）：適合運行在云平臺上的分布式文件系統，可以提供高吞吐量的數據訪問，非常適合大規模數據集上的應用；HBase：分布式開源存儲系統，面向列數據庫；MapReduce：用于大規模并行數據集計算，能自動處理并行數據業務；Kafka：具備分布式發布訂閱消息功能，可以提供高可靠海量數據的消息分發服務；Spark：用于大規模數據處理的快速通用分布式的計算框架；Hive：基于Hadoop大數據平臺的開源數據倉庫工具；提供類似SQL的Hive QL語言操作結構化數據存儲服務和基本的數據分析服務；Flink：分布式流對流數據和批數據的處理引擎。

2.1.3 數據倉庫

采用大規模并行分析MPP（Massive Parallel Processing）數據庫作為數據倉庫，它是Shared Nothing架構的分布式并行結構化數據庫集群，具備高性能、高可用、高擴展特性，支持行存儲與列存儲。

采用湖倉一體化方案，提供數據湖、數據倉庫、數據集市等多種分析能力，減少數據重復存儲，消除數據孤島。

數據源包含生產類數據、安全類數據、旅客服務類數據、物流信息類數據，實現數據處理、數據倉庫、數據治理等功能。

2.1.4 數據采集

2.1.4.1 數據采集方式

完成數據統一采集，具備系統數據接入能力、批量文件接入能力、實時消息接入能力。數據接入類型包括清單級數據、明細級數據、用戶級數據、標簽數據、指標數據等。

2.1.4.2 實時消息采集

提供流式數據的采集能力?；谥悄苤行拇髷祿脚_數據及服務總線提供的實時流處理工具，提供實時流的設計、開發及實施服務。

對于實時性要求較高的數據，采用實時消息方式接入，保證其可靠性、實時性。消息交互涉及數據發送方、數據接收方。實時消息接入需具備部署簡單、易擴展、安全可靠、高效實時等特點。實時消息接入要保證發送方和接收方數據一致性、準確性、實時性；需要具備統計、監控功能，保證雙方數據平衡；需具備異常告警功能，發送過程中異常及時告警。

2.1.4.3 批量離線數據采集

基于專業ETL工具，提供離線數據的采集服務，將數據存儲于大數據平臺。提供包括數據庫、文本文件、API接口等數據源的數據離線采集服務。

批量文件接入能力基于FTP（SFTP）傳輸協議實現文件的交互功能。文件交互涉及數據發送方、數據接收方。批量文件接入對數據提供方提供的數據文件、校驗文件進行及時的讀取、接收、校驗、傳輸及斷點續傳，具備傳輸全過程監控的能力，并保證傳輸的安全性、準確性和一致性。

2.1.4.4 其他外部數據交換采集

通過機場企業服務總線與機場外聯單位之間進行交換獲取數據。企業服務總線負責提供API接口服務、數據南北向傳輸、協議轉換、傳輸路由等功能，通過協議適配，根據實際業務情況，配置相應的數據交換任務，對系統產生的信息資源進行統一采集匯總和傳輸。

2.2 大數據應用服務設計

大數據應用服務為機場建立一個數據共享與協同的實時運行數據和歷史離線數據的共享轉發平臺，整合各類旅客服務、生產協同、安全與安保、綜合交通、商業管理、能源管理及航空物流數據，統一數據交互格式標準和數據定義，通過技術架構，實現計算、存儲、網絡和數據等資源的共享，滿足機場內部、機場與外部單位間數據交互的需求，促進機場數字化轉型[5]，輔助機場管理科學決策，推動機場運行管理理念和數據治理模式革新。

2.2.1 可視化業務分析

提供統一的數據展示門戶，提供數據圖形化展示功能，通過儀表盤、曲線圖、柱狀圖、餅狀圖、表格等多種圖表形式，將旅客服務、生產協同、安全與安保、綜合交通、商業管理、能源管理及航空物流數據進行交叉融合和緊密關聯，擬定評價指標標準并用直觀的可視化圖形或文字深度揭示機場運行特性，做到事前預警、事中決策、事后總結。

2.2.2 生產運行分析應用

機場大數據平臺提供滿足機場特定運行場景運行狀態監控需求的數據分析平臺，可以對包括航空器、車輛、調度人員運行效率數等實時生產數據進行多維分析建模、下鉆關聯分析，以頁面設計和豐富的圖形，實現生產運行的數據可視化展示。對當日實時航班運行情況、放行正常率、始發離港正常率、起飛正常率、值機柜臺、安檢、登機口、機位等資源的狀態、使用率進行綜合分析，對機場運行壓力實時分析并給出實時評判。

2.2.3 商業管理分析應用

從機場商業的主營航空運輸業務角度對支持機場服務和商業收入、經營成本進行分析，在數據管理系統建立的過程中堅持以主營航空運輸業務為中心的原則，實現航空主業、整體經營、財務、商業、能源、航班保障服務等領域數據的可視化展示，尋找收入管理短板，為管理者進行投入、產出決策提供科學依據，做好產權和經營性資源價值管理，提升公司整體經營業務水平、資源價值和創新發展能力。

2.2.4 旅客服務分析應用

通過對業務系統的對接、報表采集及在線上報等3種方式實現對進出港旅客服務數據進行統一采集，采集后的數據接入機場大數據平臺，獲取天氣、航路航線、進出港旅客、待值機旅客、已安檢旅客、已登機旅客等生產運行數據。針對不同角色提供旅客數據訪問權限管理，保障數據的安全性。實時展現進出港旅客量、中轉旅客、客流流向分布，內容包括客戶投訴反饋、行業測評情況、智慧服務指標、服務監測指標等。

2.3 大數據平臺設備部署

大數據基礎軟件由本地私有云部分和第三方云服務廠商公有云部分組成。

本地私有云平臺配置數據采集和加工VM服務器、分析可視化VM服務器、數據門戶VM、綜合可視化應用VM服務器和綜合可視化代理VM服務器，以及網絡傳輸和業務云存儲資源。

本地大數據平臺物理服務器采用本地私有云部署，整體可提供Kafka和Flink實時流處理能力50 MB/s，Spark+Hive離線數據處理量50 TB，Hbase數據集市總數據量50 TB、Redis數據緩存能力50 GB。另外，通過VPN或者企業專線接入公有云服務器進行彈性擴展。

3 結語

為貫徹四型機場建設目標，云計算、大數據、物聯網、移動互聯、人工智能等創新性信息技術已被廣泛地應用于新建和改擴建機場工程建設中，相對于傳統的本地大數據平臺建設方案，基于混合云架構的大數據平臺具備敏捷迭代、快速響應、高擴展等技術優點，有利于機場大數據應用服務的快速部署和彈性擴容，降低建設初期物理硬件資源投資，提升機場融合數據倉庫和數據治理能力，為機場數字化轉型大數據服務等高階服務賦能，促進民航業向高質量發展方向轉型。

大數據平臺在混合云上建設也帶來了一系列需要重點研究的問題。首先，考慮到民航行業的特殊性，需確保云上數據安全，防止核心數據泄露。其次，云上、云下都存在海量數據，需確保數據同步及操作的一致性。最后，在保障現有平臺穩定運行的前提下，如何將部分現有業務安全遷移到公有云是亟待解決的問題。