“大數據”背景下傳統網絡廠商的挑戰與機遇

◆陳 強

（新疆醫科大學網絡中心 新疆 830011）

“大數據”背景下傳統網絡廠商的挑戰與機遇

◆陳 強

（新疆醫科大學網絡中心 新疆 830011）

大數據是現在非常熱門的一個話題，尤其是涉足互聯網行業的企業，對企業的規劃運營提供了指導和分析，進而影響和改變企業的業務模式和發展方向，大數據時代對傳統的網絡廠商提出了新的挑戰與機遇。

大數據；云計算；發展；挑戰

0 前言

《紐約時報》2012年2月的一篇專欄中所稱，“大數據”時代已經降臨，在商業、經濟及其他領域中，決策將日益基于數據和分析而做出，并非基于經驗和直覺。哈佛大學社會學教授加里·金為大數據時代下了一個定義：“這是一場革命，龐大的數據資源使得各個領域開始了量化進程，無論學術界、商界還是政府，所有領域都將開始這種進程?！?/p>

現代社會信息量的爆炸性增長，移動互聯、社交網絡、電子商務大大拓展了互聯網的疆界和應用領域。在此海量數據的產生，使我們步入了“大數據”時代。

1 大數據

微軟必應搜索通過集成以往的飛機票價畫出未來票價走勢；谷歌利用用戶搜索記錄判斷出美國流感疫情的現狀，并比疾控中心快一兩周；對沖基金通過剖析社交網絡推特的數據信息來預測股市的表現；亞馬遜和網絡影視光盤租賃公司根據用戶在其網站上的類似查詢來進行產品推薦……當然，同樣的技術也可以運用到疾病診斷、推薦治療措施，甚至是識別潛在犯罪分子上。

何謂大數據？大數據之“大”，并不僅僅在于“容量之大”，更大的意義在于：通過對海量數據的交換、整合和分析，發現新的知識，創造新的價值，帶來“大知識”、“大科技”、“大利潤”和“大發展”。大數據的“大”是個相對的概念，最近比較流行的“UP智能手環”，筆者也認為也可以發展為一種潛在的大數據模型，將使用者每天的數據進行收集、分析，形成建議報告。若將個體的數據上傳在進行分析，就能描繪出更好的使用者群體模型，進而對該模型進行有針對性的開發。當然這涉及到公民隱私，但隨著計算機和網絡技術的發展，我們的行為、位置及UP智能手環收集的身體生理數據等每一天的變化都成為可被記錄和分析的大數據。

那么到底什么是大數據呢，它具有什么特點呢。

1.1 大數據的定義

大數據（big data），或稱巨量資料，指的是所涉及的資料量規模巨大到無法透過目前主流軟件工具，在合理時間內達到擷取、管理、處理、并整理成為幫助企業經營決策更積極目的的資訊。

1.2 大數據的特點

大量化（Volume）：大數據的起始計量單位至少是P（1000個T）、E（100萬個T）或Z（10億個T）。

多樣化（Variety）：數據類型繁多，包括網絡日志、音頻、視頻、圖片、地理位置信息等等，多類型的數據對數據的處理能力提出了更高的要求。

價值密度低（Value）：數據價值密度相對較低，隨著物聯網的廣泛應用，信息感知無處不在，信息海量，但價值密度較低，如何通過強大的機器算法更迅速地完成數據的價值“提純”，是大數據時代亟待解決的難題。

快速化（Velocity）：處理速度快，時效性要求高。這是大數據區分于傳統數據挖掘最顯著的特征。既有的技術架構和路線，已經無法高效處理如此海量的數據，而對于相關組織來說，如果投入巨大采集的信息無法通過及時處理反饋有效信息，那將是得不償失的?？梢哉f，大數據時代對人類的數據駕馭能力提出了新的挑戰，也為人們獲得更為深刻、全面的洞察能力提供了前所未有的空間與潛力。

圖1 大數據的特點

1.3 大數據的應用

大數據在各個行業都有應用，比如電商的精準營銷、政府的預防犯罪、金融的信用評分等。以我們身邊的實際應用舉例，淘寶網將注冊用戶2012年的全年交易數據進行了分析，得出結論如下：

圖2 淘寶網將注冊用戶2012年的全年交易數據分析

根據2012年度全民對賬單，可以詳細地統計全國各地用戶的消費情況?？傮w而言，手機支付已經開始成為趨勢。手機支付金額相比2011年上漲了546%，有超過430萬人手機支付的次數超過電腦，其中上海、北京和成都的用戶更加偏愛手機支付。

據此結論可以引導企業在手機支付方面進行更多的資源投入。

2 大數據處理流程

大數據整個處理流程可以概括為四步，分別是采集、導入和預處理、統計和分析以及挖掘。

2.1 采集

收集來自客戶端（Web、App或者傳感器形式等）的數據，并且用戶可以通過這些數據庫來進行簡單的查詢和處理工作。在采集部分，主要特點和挑戰方面是并發數高，因為同時有可能會有成千上萬的用戶來進行訪問和操作，比如著名用于購買火車票的12306站點和淘寶，它們并發的訪問量在峰值時達到上百萬。

2.2 導入/預處理

雖然有采集端本身會有很多數據庫，但是如果要對這些海量數據進行有效地分析，還是應該將這些來自前端的數據導入到一個集中的大型分布式數據庫或者分布式存儲集群，并且可以在導入基礎上做一些簡單的清洗和預處理工作。

2.3 統計/分析

統計與分析主要利用分布式數據庫或者分布式計算集群來對存儲于其內的海量數據進行普通的分析和分類匯總等，以滿足大多數常見的分析需求，在這方面，一些實時性需求會用到EMC 的GreenPlum、Oracle的Exadata以及基于MySQL的列式存儲Infobright等，而一些批處理或者基于半結構化的需求可以使用Hadoop。

統計與分析這部分，主要特點和挑戰方面是分析涉及的數據量大，其對系統資源，特別是I/O會有極大地占用。

2.4 挖掘

與前面統計和分析不同的是，數據挖掘一般沒有什么預先設定好的主題，主要是在現有數據上面進行基于各種算法的計算，從而起到預測（Predict）的效果，這樣實現一些高級別數據分析的需求，比較典型算法有用于聚類的K-Means、用于統計學習的SVM和用于分類的Naive Bayes，主要使用的工具有Hadoop的Mahout等。

在特點和挑戰方面，主要是挖掘的算法復雜，并且計算涉及的數據量和計算量都很大，還有，常用數據挖掘算法庫以單線程為主。

3 大數據的發展方向、趨勢

未來，數據可能成為最大的交易商品，大數據的價值是通過數據共享、交叉復用后獲取最大的數據價值。未來大數據將會如基礎設施一樣，有數據提供方、管理者、監管者，數據的交叉復用將大數據變成一大產業。

大數據的整體態勢和發展趨勢，主要體現在幾個方面：大數據與學術、大數據與人類的活動，大數據的安全隱私、關鍵應用、系統處理和整個產業的影響。大數據整體態勢上，數據的規模將變得更大，數據資源化、數據的價值凸顯、數據私有化出現和聯盟共享。

大數據的發展會催生許多新興新職業，會產生數據分析師、數據科學家、數據工程師，有非常豐富的數據經驗的人才會成為稀缺人才。隨著大數據的發展，數據共享聯盟將逐漸壯大成為產業的核心一環。隨著大數據的共享越來越大，隱私問題也隨之而來，比如說每天手機產生的通話、位置等等。但這給帶來了便利的同時也給帶來了個人隱私的問題。數據資源化，大數據在國家和企業和社會層面成為重要的戰略資源，成為新的戰略制高點和搶購的新焦點。

隨著社會的不斷發展，大數據對IT技術架構的挑戰，大數據的生態環境問題，大數據的應用及產業鏈將日益突出。

4 大數據面臨的問題

“棱鏡門”是一個真實的大數據分析事件，將大數據時代對個人隱私造成的挑戰推到風口浪尖上。根據斯諾登的描述，美國政府一直通過谷歌、蘋果、思科、HP等幾大網絡公司進行數據挖掘和收集活動，監控公民郵件和聊天記錄等內容，令民眾嘩然。

個人隱私問題并非“大數據時代”所特有，手機竊密、信息被盜等都已經普遍存在，只是在今天這個信息獲取多元化的是網絡時代，隱私問題顯得更復雜、更突出。

此前保護隱私的法律、法規尚存在很多漏洞，竊取信息利益高、風險小，使得許多人躍躍欲試。而“大數據時代”的突如其來，也讓許多正享受著這一時代便利的人們措手不及，尚不能形成相應的安全防范意識和上網習慣，加拿大隱私委員會調查顯示，盡管那么多人擔心社交網絡平臺安全和個人隱私泄露等問題，但認真閱讀網站隱私條款的比例，竟僅有7%。

大數據時代既帶來了諸多的便利和新的發展機會，但同時網絡欺詐、侵犯個人隱私現象也屢見不鮮，因此，對于大數據，應該盡快進行立法，規范發展。

5 傳統網絡廠商如何應對大數據時代

傳統網絡廠商諸如思科、華為、H3C、銳捷等，在這方面也都有所應對，思科在2012年發布了“整合釋放大數據分析的價值：信息中介如何創建全新大數據生態環境”的白皮書，旨在將大數據的技術發展成一種商業模式，進而進行標準的制定和輸出，占領產業鏈的制高點。

華為公司在2013年初發布2013年行業趨勢展望，認為從大數據到大智慧，運營商和企業的IT系統成為實時的業務系統，不再是后處理的支撐系統，這是IT系統的一次大變革。華為公司清楚的意識到此次變革對企業帶來的巨大變化，據此對其產品、人員、資源方面做了戰略布局。

H3C的控股公司HP公司將大數據作為其核心戰略，已經形成了從基礎設施、設計咨詢、實施規劃等全程的一攬子服務。與國內的部分大型企業形成了大數據層面的戰略合作，協助企業在簡化IT管理的同時，降低基礎設施的維護成本，并確保其遵循行業標準和政府法規。

作為傳統網絡設備生產廠商中的一員的銳捷網絡該怎么應對呢。筆者認為至少要做一下幾方面的工作：

5.1 人才儲備

公司有后臺信息化支撐部門，每年面臨內部數據的增長，同時我們的業務系統，如CRM、電子商務等也有數據不斷注入。若將這些數據做些簡單的分類和處理，是不需要專業人員的，但對數據要做更好的挖掘和處理，則需要更多的專業人才進行處理。

銳捷網絡的客戶群對數據的認識越來越清晰，視作其單位的核心資源，如何協助客戶群提升核心資源的優化和使用，使其發揮更大的價值，創造更多的效益，是我們需要考慮和布局的。

5.2 產品規劃

銳捷網絡的核心競爭力在于能夠很好的貼近客戶，滿足客戶的需要。伴隨大數據時代的步入，協助客戶做好面對的準備，在大數據的處理流程上都要有核心的產品或工具予以提供，筆者很欣喜看到，銳捷網絡在細分的客戶處已經有所投入，不管是否能夠給客戶帶來變化，但在產品方面一定要做好長遠的規劃。

5.3 重視大數據

一旦客戶認識了數據的價值，務必集中資源投入在大數據方面，多數客戶會在服務器和存儲設施中進行收集，并且大多數的企業信息管理體系結構將會發生重要大變化，我們迫切需要緊密跟進大數據的步伐，了解和收集客戶IT設施的變化，進而將優勢的資源投入在更貼近客戶方面。

大數據是最近幾年才興起的詞語，而并不是所有的人員對大數據都非常了解，例如如今的Hadoop，MapReduce，NoSQL等技術都是近年剛興起的技術，企業IT人員要多關注這方面的技術和工具，以確保將來能夠面對大數據的時候做出正確的決定。

5.4 做好內部培訓

網絡目前最缺乏的是專業人才，當大數據到臨的時候，企業將會缺少這方面的采集收集分析方面的人才。同時需要對公司人員做好相關的知識普及培訓，確保，以確保在大數據到來時，員工也能適應相關的工作。

5.5 風險規避

大數據面臨的隱私問題同樣是企業面臨的問題，內部數據的防泄漏及大數據收集、分析（比如，微哨通過云模式收集到的信息是否合規等），這種處理動作是否符合行業規定或國家法律法規，都是我們要提前考慮的。

做到上面的幾點，當大數據時代來臨的時候，面臨大量數據將不是束手無策，而是成竹在胸，而從數據中得到的好處也將促進企業快速發展。

[1]彎曲論壇．

[2]Google搜索綜合信息資料，關鍵詞“大數據”．

[3]張紅妹，高少華．大數據．“啤酒＋尿布”成經典案例．國際先驅導報．

[4]baidu搜索綜合信息資料．關鍵詞“思科大數據”、“華為大數據”等．

[5]維克托·邁爾·舍恩伯格．大數據時代．浙江：浙江人民出版社，2012．