基于大數據平臺的網絡優化支撐架構研究

汪保友，吳 琮，錢 晶/Wang Baoyou,Wu Cong,Qian Jing

（中國聯合網絡通信集團有限公司上海市分公司 上海 200050）

1 引言

LTE網絡的運營，推動著移動互聯網的高速發展。LTE網絡高數據速率、低時延、廣覆蓋、分組傳輸等技術優勢，大大促進了多媒體數據業務的開展和豐富的APP應用的推出。隨之，數據業務成為影響用戶感知的重點，因此需要一種更有效的無線網絡性能測試方法，來評估網絡質量和定位網絡問題。同時，隨著LTE用戶群體的不斷增長，運營商的網絡容量正在不斷增加，網絡復雜度和網絡設備的多樣化，使得網絡優化工作的難度也在不斷加深。如何進行端對端的問題定位，如何經濟有效地開展無線網絡優化、提升用戶使用感知，是擺在運營商面前急需解決的問題。網絡優化需要創新，大數據技術的發展，為充分挖掘LTE海量信令數據，對多接口信令數據關聯分析，提供了更經濟、更有效的評估手段。

2 需求驅動

2.1 提升網絡優化效率需求

網絡優化是一項技術難度大、涉及范圍廣、人員素質要求較高的工作，話務統計分析法、信令分析法、數據庫核查與參數分析法等，多依賴于技術人員的經驗，自動化程度較低，定位解決問題的時效性差。傳統的DT&CQT測試法，只是抽象地模擬用戶行為數據，無法真實、全面地反映網絡問題。例如，路測（Drive Test）主要測試用戶吞吐量、誤幀率FER、SCH速率分布、手機發射功率等；呼叫質量撥打測試（Call Quality Test），又稱點測，是在固定的地點測試無線數據的網絡性能，包括呼叫建立測試、休眠重激活測試、傳輸時延測試等。

LTE網絡主要承載的是數據業務，完整的數據業務性能評估優化，與網絡的各個環節都有著緊密的聯系，涉及網絡的各個節點，包括無線側、核心網、業務側、終端以及業務層，需要從面向設備的網絡優化向面向業務的優化轉變，通過用戶終端、網絡和業務提供端全程的跟蹤和優化，實現真正的端到端優化。因此，需要一種更有效的網絡性能測試方法，來評估網絡質量和定位網絡問題。

2.2 構建新型網絡質量評估模型需求

LTE網絡中，數據業務成為影響用戶感知的重點。傳統網絡質量測評中，側重對無線網絡環境進行測評。但是，影響用戶感知度的因素不僅在于無線側和傳輸側，不同的終端類型及移動數據業務的內容可用性也成為影響業務質量及用戶感知度的重要因素。日常優化工作中常常出現這種情況：來自客戶端的用戶感知和網絡端的KPI測評指標，兩者反饋的結果有時差距較大，可能出現網絡KPI性能指標較好，但用戶感知度較差的情況。因此需要建立更全面、客觀的網絡質量評估指標體系，以實現網絡側的測評和客戶端的用戶感知結果相一致。

2.3 業務創新增值需求

“數據資產”是運營商即將開墾的掘金地。運營商為消費者提供網絡服務，處在大數據產業鏈的傳輸與交換中心地位，具有相對全面、完整、真實的高價值密度信息。OSS域的網元接口信令數據、網管告警日志信息、地理位置信息等，不僅對網絡優化起到重要作用，還可以沉淀保存下來，在不侵犯用戶隱私的前提下，對數據進行深度加工，形成大數據能力輸出和數據平臺開放，服務于社會，是運營商實現“數據資產”運營和商業模式轉型的業務創新需求。

3 解決方案與平臺架構設計

基于以上的需求與挑戰，需要構建“能力開放、靈活支撐、安全服務”的統一大數據支撐平臺，有效支撐智能網優、智能交通等創新型應用，提升數據資源的價值轉換能力。

3.1 構建統一的大數據支撐平臺

運營商為消費者提供網絡服務，擁有大量的網絡信息，例如，網元接口信令數據、網管告警日志信息、DT&CQT測試數據、用戶投訴信息等，還包含了大量用戶消費行為數據，包括用戶的話音通話行為、上網痕跡信息、短/彩信使用信息、SP/CP使用信息、用戶實名信息、渠道偏好、終端喜好信息等以及挖掘衍生的用戶價值、用戶消費習慣、交際圈信息、生活行為、指紋、個人興趣愛好等信息。這些數據打通了后臺網絡建設優化與前臺業務發展之間的藩籬，可以依據業務使用情況進行網絡規劃、部署、優化和維護，同時依據不同網絡特點進行業務的分流，以得到提升網絡效率的目的。因此有必要整合OSS域、BSS域、MSS域等分散的企業數據資源，構建統一的大數據平臺，實現統一的數據采集、存儲、挖掘與分析處理能力，支持海量異構數據源的采集，解決數據量暴增所帶來的存儲與計算性能問題。

Hadoop對海量數據、非結構化數據的處理能力強，且易擴展，適于處理龐大的原始信令數據；傳統RDB數據庫 （Oracle、DB2等），用于存儲用戶標簽庫、用戶361°全息數據、粗粒度匯總數據、報表數據、多維數據、指標庫等結果數據，確保核心數據服務能力的穩定。因此宜揚長避短，采用基于Hadoop的分布式并行預處理、傳統關系型數據庫為主數據倉庫的混搭模式，構建統一的大數據支撐平臺，邏輯架構如圖1所示。

由圖1可知，大數據支撐平臺邏輯架構主要包括4層結構，即數據獲取層、數據存儲層、數據應用層和數據服務層。采集的數據源包括網元信令、地理位置移動信息、網優測試類、網管告警類、資源類、事件工單類等網管信令數據以及業務支撐系統數據，包括 CRM、計費、賬務管理、OCS、客服、VAC平臺、cBSS等一系統的基礎數據以及集團總部下發文件明細數據。通過數據校驗、數據清洗、數據關聯、數據匯總、數據聚合等一系列的加工流程、深度分析和信息挖掘，在數據存儲層形成企業數據倉庫和數據集市。數據應用層表現形式包括智能網優、智能運維、流量控制、智能網規、定位LBS、信令分析、智能交通、異動監控、KPI指標、精準營銷、客戶維系等生產支撐體系以及外部輸出服務功能。在數據服務層，可通過個性化定制、信息推送、用戶搜索、能

力開放等方式，實現對內對外服務。在整個數據加工處理、流轉服務過程中，數據質量、數據標準、元數據、生命周期等數據管理措施貫穿始終；通過安全制度、安全技術、安全運營、安全教育等運營機制確保數據安全。

3.2 基于Hadoop的數據預處理支撐架構

Hadoop是一種分布式處理的軟件框架，適用于大集群海量離線數據分析，可擴展至1 000多個節點，處理PB級海量數據。

Hadoop 2.0生態圈如圖2所示。其中，YARN（Yet Another Resource Negotiator）負責集群資源的統一管理和調度；HBase是運行于HDFS頂層的NoSQL，具備隨即讀寫功能，是一種列存儲數據庫；而Hive支持HSQL，是一種類SQL編程接口，可以將SQL語句轉換為MapReduce任務運行，它本身不存儲數據；Mahout提供基于MR的算法庫，實現一些機器學習領域經典算法，包括聚類、分類、推薦過濾、頻繁子項挖掘等；Zookeeper是分布式協同調度工具；Oozie是工作流調度引擎。

網元接口信令數據量非常龐大，包括話音呼叫/接聽事件、位置更新/切換事件、開機事件、各類數據業務接入事件等。省級運營商網絡信令數據量級一般在N億/天，其中，流量的增長導致信令數據激增，嚴重影響網絡質量。有人統計過，微信業務消耗了某運營商44%的信令，但流量貢獻只占6.6%。圖3所示為LTE網絡各網元接口信令示意，采集的原始信令主要包含軟采 Uu、X2， 硬采 S1、S11、S6a、SGs等。

EPC（Evolved Packet Core）是 LTE 的核心網，其中，MME（Mobility Management Entity，移動性管理實體）和 S-GW（Serving Gateway，服務網關），處理用戶面數據交互；P-GW（PDNGateway，PDN 網關）是 LTE與外部網絡的接口網關；PCRF（Policy and Charging Rules Function，策略及計費規則功能單元）完成對用戶數據報文的策略和計費控制；HSS（Home Subscriber Server， 用 戶 歸 屬 服 務 ） 是 IMS（IP Multimedia Subsystem，IP多媒體子系統）中控制層的重要組成部分。

利用Hadoop對海量非結構化數據的數據處理能力和易擴展性，可對網管日志、網元信令、上網痕跡等進行預處理整合。圖4是基于Hadoop的信令采集預處理網絡示意。由于Hadoop的分布式并行計算和易擴展特性，且對硬件平臺的要求相對較低（如x86平臺集群，一般配置有IBM 3650 PC，雙路六核，Intel X5650處理器，2.66 GHz主頻，48 GB 內存，6×1 TB SATA硬盤），可靈活配置、按需、快速分配資源，有效控制成本。

3.3 立足于端到端的網絡質量綜合評估

LTE網絡中，數據業務成為影響用戶感知的重點，其中，網頁瀏覽、流媒體、FTP下載和即時通信4類業務，是移動互聯網最常使用的業務類型。從用戶角度出發，良好的客戶感知是上網和各類APP應用的流暢性以及上網過程中發生話音通話行為時網絡切換的平滑性。

根據一般工程經驗，數據業務中，影響客戶感知的因素比重分布如圖5所示，其中，無線側占比36%，核心網側占比21%，業務網側占比8%，SP/CP側占比35%。完整的數據業務性能評估優化，與網絡的各個環節都有著緊密的聯系，需涉及覆蓋全部網絡的各個節點（包括無線側、核心網、業務側、終端以及業務層），這就使得數據業務的業務流程比話音業務復雜許多。

因此，單個網元的KPI指標、單接口的信令數據分析能力，并不能完整地體現真實的用戶體驗。需進行多接口海量信令數據的關聯，充分挖掘各接口數據的特性和關聯性，立足于更全面、客觀的端到端網絡質量綜合評估，以實現網絡側的測評和客戶端的用戶感知結果相一致。

首先介紹 KPI、KQI、QoS和QoE這幾個概念，它們之間是層層遞進的關系。

①KPI（Key Performance Indication）即關鍵業績指標，通常是網絡層面可監視、可測量的重要參數。

②KQI（Key Quality Indicators）即關鍵質量指標，是主要針對不同業務提出的貼近用戶感受的業務質量參數，是業務層面的關鍵指標，也是不同業務或應用的質量參數。

③QoS（Quality of Service）即服務質量，是決定用戶滿意程度服務性能的綜合效果。

④QoE（Quality of Experience）即用戶體驗，是終端用戶對移動網絡提供的業務性能的主觀感受，QoE=網絡QoS+內容+人的體驗。

一般來說，評價LTE網絡性能的關鍵質量指標可分為感知類指標、CSFB特性指標、呼叫接入性指標、呼叫保持性指標、移動性指標、完整性指標、容量指標等。圖6所示為網絡性能關鍵質量指標體系。其中，感知類指標、CSFB特性指標是LTE網絡特有或用戶更關注的指標，可相應地設定較高的權重。

QoE和KQI之間的關系可表示為

簡記為

其中，權重系統可自行設定，默認為經驗值；Δ為調節值，模擬用戶的期望、心情以及運營商客服關愛、廣告宣傳等因素的影響。一般地，設定感知類指標占整體權重分配的35%，CSFB特性指標占整體權重分配的15%，呼叫接入性指標占整體權重分配的15%，呼叫保持性指標占整體權重分配的10%，移動性指標占整體權重分配的10%，完整性指標占整體權重分配的5%，容量指標占整體權重分配的10%。

通過對KQI指標的加權計算，可對LTE網絡質量進行綜合評估，得出符合客戶感知的用戶體驗，也能準確突顯焦點問題。經過站點分析調整，可明顯提高相關業務指標，降低用戶投訴，提升客戶滿意度。

4 大數據支撐平臺的應用場景

網絡優化關心的角度，包括覆蓋、質量、容量和成本4個方面，大數據支撐平臺，可對網絡優化起到很好的系統支撐功能，主要體現在以下5點。

①通過統一的大數據支撐平臺，端到端的信令采集，分析話單和信令中用戶的流量在時間周期和位置特征方面的分布，監控網絡狀況，按密集城區、一般城區、郊區場景，對待優化擴容小區分級排序；進行全量信令的數據挖掘，建立全流程問題分析模型，可提供用戶級、小區級、柵格級、網元級維度的網絡質量數據指標，可全面評估網絡質量和快速定位網絡問題，實現流量控制和智能運維，指導網絡優化，提高無線網絡運行效率。

②將每個小區按照流量價值、業務質量、用戶價值、下行流速、VIP用戶感知等維度權值進行綜合打分，形成小區QoE指標，對核心價值區域，需要加強深度覆蓋，做好基站覆蓋重點保障，避免高端客戶流失。

③根據HTTP響應碼分布，統計一段時間內同類用戶體驗問題，按照時間維度，分析定位SP服務器因素等的影響分布情況，排除非網絡因素（SP服務器、用戶終端等問題）的影響，避免不必要的優化投資。

④及時識別一些異常行為和現象，例如，長時間在線用戶、異常大流量使用、頻繁建立PDP行為、端口掃描事件以及告警風暴、手機病毒等，以便盡早屏蔽和消除影響，保障運營商的基礎網絡安全。

⑤通過端到端的網絡質量綜合評估，可全面客觀地評價優化擴容效果，體現優化擴容工作對用戶感知的貢獻。

5 結束語

移動互聯網時代，數據業務成為影響用戶感知的重點，網絡質量評測與網絡優化需要創新。構建統一的大數據平臺，可有效整合OSS域、BSS域、MSS域等分散的企業數據資源，打通后臺網絡建設優化與前臺業務發展之間的藩籬，可全面評估網絡質量、快速定位網絡問題，實現流量控制和智能運維，更經濟、更有效地指導網絡優化，實現質量和效益雙提升。目前建設的統一大數據支撐平臺，已取得了初步的成效和商業價值。平臺架構的設計方案與支撐架構、端到端的網絡質量綜合評估，對業界有一定的參考價值。從未來的發展看，大數據支撐平臺所聚集的大數據資產，對網絡規劃、網絡優化、網絡運維管理等企業運營活動的作用將持續增強。此外，大數據支撐平臺所提供的數據租賃、數據分析、數據分享服務等，將是運營商提供通信網絡服務外的一大亮點。

[1]周俊,劉克清.基于LTE信令大數據的網絡質量評估體系研究[J].互聯網天地,2015,(3):33-40.

[2]陳森,陳超,張小勇等.基于大數據分析的移動互聯網用戶感知評價系統[J].電信科學,2015,31(4):2015057(1-8).

[3] “基于大數據的互聯網化存量經營”項目組.運營商存量經營大數據平臺及其關鍵技術研究[J].電信科學,2014,30(6):118-125.

[4] 甘雯,文鋒,宮大鵬等.應對告警風暴告警的系統優化策略[J].電信科學,2015,31(5):2015132(1-8).

[5] 雷蕾,李景文,宮大鵬等.基于Hadoop的OSS域數據建模與采集方法研究[J].電信科學,2015,31(1):2015021(1-11).