基于聚類算法的互聯網電視業務性能劣化定界定位方法

劉藝蕾，賈詩瑋，劉 斌，張小強，田程軍，曾 強

（中國移動通信集團陜西有限公司，陜西 西安 710000）

0 引 言

近年來，隨著互聯網的快速發展，互聯網電視服務越來越受歡迎。然而，與其他先進技術一樣，互聯網電視服務在運行過程中會遇到各種故障，如網絡擁塞、服務器停機和終端故障等。故障定位是互聯網電視業務服務提供商確保其服務穩定性和可靠性的重要任務?；ヂ摼W電視業務性能劣化涉及互聯網電視端到端整個流程環節。對互聯網電視業務的分析及質量監測一方面為提高用戶業務體驗提供依據，另一方面，也可以作為“端-管-云”各個層級運維的有效手段。隨著互聯網電視業務的發展，運維部門需要考慮和研究如何實現自動化、智能化、快速、準確地識別業務性能劣化，及時進行故障定界定位，避免出現大面積故障問題，以免影響用戶業務體驗。為此，本文提出一種基于聚類算法的互聯網電視業務故障定界定位方法，通過對業務感知的監測、分析、聚類，構建自智網絡，利用自智網絡的自適應性和學習能力，實現對業務故障的自動定位和定界[1]。

1 互聯網電視業務感知質差存在的問題

互聯網電視業務感知質差通常由于網絡故障、應用故障、設備故障及傳輸鏈路故障等原因導致，需要通過判斷和分析快速診斷問題并進行故障解決。

業界已經提出了很多關于互聯網電視業務感知質差定位的方法。其中，基于網絡流量分析的方法是比較常用的。該方法通過對網絡流量進行分析，找出流量異常的地方，從而定位故障。然而，該方法需要大量的人工干預和時間，效率低下。另外還有一些基于機器學習的方法。這些方法通過對業務流量進行監測和分析，利用機器學習算法進行故障定位和解決，可以自動化地進行故障定位和解決，提高效率。但是，此類方法需要大量的數據進行訓練，且對算法的選擇和參數的設置要求較高。

自智網絡是一種基于神經網絡的自適應系統。它可以自動地學習和適應環境的變化，具有自我組織和自我調整的能力。自智網絡可以用于模式識別、分類、聚類等任務。自智網絡由神經元和連接權值組成。神經元接收輸入信號，通過連接權值對輸入信號進行加權、求和，然后將結果傳遞給下一層神經元。自智網絡的訓練是通過調整連接權值實現的，使得網絡輸出與期望輸出之間的誤差最小化。

通過聚類算法實現互聯網電視業務感知質差的定界定位，主要是通過對業務感知的監測和分析，構建自智網絡，利用自智網絡的自適應性和學習能力，實現對業務故障的自動定位和定界。

2 互聯網電視業務感知質差定界定位技術內容

互聯網電視業務感知質差定界定位，通過對用戶感知的互聯網電視業務質量進行評估，以快速發現、定位和解決故障問題。本文利用聚類算法對業務質量指標、業務感知指標等進行數據訓練，建立數據模型，從而實現互聯網電視業務感知質差定界定位。

2.1 質差定界定位數據模型

數據模型采用層次聚類算法[2]，是一種基于樹形結構的聚類方法，常用的是自底向上的結合策略（AGNES算法）。假設有N個待聚類的樣本，其基本步驟是：

（1）初始化，把每個樣本歸為一類，計算每兩個類之間的距離，也就是樣本與樣本之間的相似度；

（2）尋找各個類之間最近的兩個類，把它們歸為一類（這樣類的總數就少了一個）；

（3）重新計算新生成的這個類與各個舊類之間的相似度；

（4）重復步驟（2）和步驟（3），直到所有樣本點都歸為一類，結束。

算法以互聯網電視軟探針采集的用戶觀看視頻質量數據為基礎，以大數據驅動來實現業務感知質差定界定位的自智化。通過質差用戶的業務質量感知，定位出質差終端、質差網元及質差信號源等。

2.1.1 數據采集

采集約600萬互聯網電視用戶數據，平均每小時有播放操作的用戶數約20%，即超過120萬，每個互聯網電視軟探針每10 min上報一次數據，即每個小時平臺可以收到超過720萬用戶的觀看數據。軟探針每次上報的數據內容包括了每10 min內用戶播放過的視頻業務質量指標數據，數據量非常龐大[3]。

2.1.2 數據清洗

質差定界定位是在互聯網電視視頻播放出現異常的基礎上聚類的，需要先對數據樣本進行清洗。與用戶視頻播放相關的特征指標有很多個，很多指標特征之間存在強關聯性。根據實際指標間的特征關聯性，選取相關絕對系數較大的指標。

2.1.3 數據關聯

根據互聯網電視軟探針上報的用戶觀看質量數據，以終端媒體訪問控制（Media Access Control，MAC）地址為關聯關系，與綜資數據進行關聯匹配，由此得到互聯網電視用戶上聯網絡鏈路信息，包括上聯網元光線路終端（Optical Line Terminal，OLT）、寬帶遠程接入服務器（Broadband Remote Access Server，BRAS）、播控平臺等信息，為質差定界定位提供網元鏈路信息。

2.1.4 模型構建

根據互聯網電視軟探針的業務質量指標集構建數據邏輯模型[4]，從而得到用戶終端的業務質量聚類。通過對異常指標、故障類型、用戶行為數據和反饋數據的關聯，后臺形成質差原因支持庫，在每個異常指標產生的時候，自動計算和匹配故障原因數據，并將異常指標匹配上故障類型時長變量和故障原因信息。

2.1.5 質差網元處理

根據最終定位出的質差網元結合事件具體原因及質差原因支持庫，分析具體影響要因，給出合理化優化整改建議。

2.2 質差定界定位判斷規則

根據數據清洗流程，輸出質差終端用戶，以互聯網電視業務質量指標為導向，進行質差用戶分類[5]。

質差事件場景包括用戶質量劣化、光分配網（Optical Distribution Network，ODN）中斷、OLT中斷和劣化、BRAS中斷和劣化、內容分發網絡（Content Delivery Network，CDN）服務器中斷和劣化、播控平臺中斷和劣化、節目源中斷和劣化。

（1）用戶視頻播放業務質量指標異常。用戶視頻播放優良率指標小于99%，定義為質差用戶。

（2）網元聚類。結合綜資數據匹配到的用戶網元鏈路信息，進行層次聚類計算，根據層次聚類算法對故障進行定界定位。

（3）告警時間關聯。根據用戶層次聚類后定位到的網元信息進行告警數據關聯，區分網元質差原因。

3 主要技術創新點

3.1 質差網元挖掘方式

本文所述方法由互聯網電視用戶業務感知切入，為解決影響用戶業務體驗的質差網元優化提供具體的數據支撐。傳統的故障處理方式往往是通過網元的固定指標劣化或者批量用戶的投訴而進行故障處理，故障處理延遲，影響到用戶業務體驗后才進行處理，屬于事后行為。采用聚類算法的互聯網電視業務故障定界定位方法是通過大數據采集進行層次聚類算法分析，提前感知用戶業務質量劣化分析數據的變化趨勢，關聯相關網元信息，進行故障的提前定位。

3.2 用戶業務感知數據模型構建

算法關聯綜合資源管理系統、業務平臺媒體資源表等，生成網絡、網元、地理、平臺、節目源、終端廠家等多個維度的資源樹和相關標簽信息，按互聯網電視用戶劣化數據層次聚類，確保數據處理實時性、高效性的同時提高聚類的準確性，降低算力消耗，輸出各層級設備和鏈路質量劣化及告警數據。通過不斷的測試驗證和模擬故障數據進行觸發，最后總結出一套互聯網電視業務故障定界定位體系，包括告警指標、閾值、聚類比例等；告警匯聚邏輯從下層節點逐步上升到上層節點，在故障排查時能從上層節點對下層節點及具體用戶回溯。

4 方案成效

4.1 故障處理效率提升

互聯網電視業務感知故障定界定位方案實施后，實現故障發現時長由5 min降至10 s內，告警處置由原來的30 min縮短至分鐘級，解決了運維人員人工故障排查耗時長、準確率低、業務校驗不標準的難題?；ヂ摼W電視業務質量類投訴占比由方案實施前的60.3%下降到方案實施后的29.7%，陜西移動互聯網電視業務社會認可度逐步增高，客戶滿意度不斷提升。

4.2 運維能力提升

在運維能力和手段提升方面，本文方法改變故障監控手段由“被動”監測變“主動”，由原來的單純依賴人工經驗識別判斷故障變為基于真實用戶數據結合網元告警、日志等信息進行智能算法為主的智能化運維[6]。

在應用落地前，故障識別及時率只有30%，并且受測試過程及環境標準影響。應用落地后，故障識別及時率提升到90%以上，且均基于層次聚斂算法自動識別。

在應用落地前，故障判斷準確率不足60%，并受限于環境和人工經驗等因素制約。應用落地后，故障判斷準確率提升到90%以上，并基于最近的網元告警及日志，結合機頂盒軟探針上報的數據進行實時分析。

5 結 語

現有的故障分析技術主要都采用固定指標門限、固定故障類型、固定故障節點，部分有故障隱患但是達不到固定告警條件的數據可能會被遺漏，也無法進一步判斷故障原因?；诰垲愃惴ǖ幕ヂ摼W電視業務故障定界定位方法可以有效地提升故障監控告警數據的有效性和告警及時性，可在互聯網電視批量用戶故障投訴前提前通知運維人員處理故障，減少互聯網電視用戶投訴，提高互聯網電視用戶感知。