淺談大數據技術發展趨勢

摘 要：隨著信息技術的迅猛發展，各種數據呈指數級增長，標志著大數據時代的到來。大數據已經開始影響我們的工作、生活，甚至國家決策，大數據技術因此也得到了各大研究機構與企業廣泛的關注和研究。本文對大數據的相關概念進行了介紹，并對大數據技術未來的發展趨勢進行了展望。

關鍵詞：大數據；云計算；大數據技術；數據挖掘

中圖分類號：TP311.13

隨著互聯網技術和應用模式的快速發展，人們生活方式在不斷改變的同時也產生了巨大的數據資源。預計到2020年，全球的數據總量將遠遠超過人類有史以來所有印刷材料的數據總量，大數據時代即將到來?，F階段關于大數據有多種不同的定義，研究機構Gartner認為大數據是指需要新處理模式才能具有更強的決策力、洞察發現力和流程優化能力的海量、高增長率和多樣化的信息資產；維基百科上大數據指的是所涉及的資料量規模巨大到無法通過目前主流軟件工具，在合理時間內達到擷取、管理、處理并整理成為幫助企業經營決策目的的資訊；而麥肯錫則認為大數據是指無法在一定時間內用傳統數據庫軟件工具對其內容進行采集、存儲、管理和分析的數據集合。無論哪種定義，我們可以看出，大數據并不是一種新的產品也不是一種新的技術，就如同本世紀初提出的“海量數據”概念一樣，大數據只是數字化時代出現的一種現象。

數據量的劇增、國家和企業間競爭的加劇，要求政府和企業能更準確、快速、個性化的為客戶和公眾提供產品和公共服務。通過大規模掌握用戶的細節數據，政府和企業可以分析出通過傳統數據分析手段無法獲知的價值和模式，做出更為迅速、科學、準確的決策和預測。由此可見，大數據技術是預測分析、數據挖掘、統計分析、人工智能、自然語言處理、并行計算、數據存儲等技術的綜合運用。

1 大數據特點

從計算科學發展歷程來看，物聯網的興起對數據存儲和分析產生了更高層次的需求，云計算則進一步拓展了計算機的計算能力。在以上二者的共同推動之下，大數據的概念應運而生，同時也標志著計算科學進入到一個嶄新的時代。大數據有著不同于傳統數據對象的特點。目前的研究認為，大數據具有以下主要特征：數據規模大、數據種類多、數據要求處理速度快、數據價值密度低以及數據真實性。數據規模大體現在大數據的數據量是以PB，EB和ZB來進行衡量的；數據種類多體現在大數據的數據類型不僅是結構化數據，還包括物聯網數據、社交網絡數據和位置數據等數據，更多的是半結構和異構數據，數據的復雜性高；數據處理速度快體現在對靜態數據和動態實時數據處理的速度與時效要求高；數據價值密度低主要體現在大數據數據量巨大但由于數據結構分散導致數據價值密度低，需要進行數據分析和推理實現價值提純；數據真實性體現在只有真實而準確的數據才能使大數據的分析、推理和管理有意義。

2 大數據技術發展趨勢

2.1 人工智能技術的結合

大數據分析的目的是挖掘大數據中有價值的信息，是從大數據中獲取更準確、更深層次的知識，而不是對數據的簡單統計分析。要達到這一目標，需要提高計算機的智能計算能力，讓系統具備對數據的分析、推理和決策，人工智能是實現以上能力的核心技術。近年來，人工智能的研究成為學術界和企業界的研究熱點，一方面得益于計算機硬件性能的提升，另一方面得益于以云計算、大數據為代表的計算技術的快速發展，使得信息處理的速度和質量大為提高，能夠快速、并行地處理海量數據。

2.2 基于數據科學的多學科融合

在大數據時代，許多學科的研究內容從表面上看存在很大的區別，但是從數據研究的視角來看，其實是有共通點的。隨著數字化時代的到來，越來越多的學科在數據層面趨于一致，可以采用相似的思想來進行統一的研究。但數據科學的基礎問題體系尚不明朗，其自身的發展尚未形成體系成為制約多學科融合的關鍵問題。

2.3 與網絡技術領域的交叉融合

未來大數據將與物聯網、移動互聯網、云計算等熱點技術領域相互交叉融合，產生更多融合不同行業數據的綜合性應用。近年來計算機和信息技術發展的趨勢是：前端更加簡單豐富，后端更加智能快速。物聯網與移動互聯網促進了物理世界和人的融合，大數據和云計算提升了后端的數據存儲管理和計算能力。今后，這幾個熱點技術領域將相互交叉融合，產生很多跨行業和跨領域的綜合性應用。

2.4 大數據安全與隱私

過去幾年大數據安全和隱私問題是國內外的研究熱點，未來大數據的安全和隱私問題依然將是學術界和企業界研究與探討的熱點。大數據及其相關核心資源涉及企業商業機密和國家主權，引發了社會各界人士的廣泛關注，因此如何保護大數據的安全以及用戶的隱私成為一個亟待解決的社會熱點問題。但大數據應用所產生的隱私問題、大數據系統和體系存在的安全防范方面還沒有實質性的進展和突破。毫無疑問，未來大數據安全和隱私問題依然是熱點趨勢。

2.5 基于大數據的深度學習和眾包計算

最近幾年深度學習大熱，在很多領域發揮了巨大的作用，成為人工智能和大數據領域研究的熱門學科，未來基于大數據的深度學習還將是各大研究機構和企業的研究重點。

基于物理資源分散式的應用場景，比如以前常用的P2P技術等對于深度學習這種需要物理資源相對集中的計算方式則會有局限，而眾包計算這種物理資源分散式的分布式計算平臺則可以有效避免這個問題。因此基于大數據的眾包計算也是未來大數據分析與應用領域的研究熱點和發展趨勢。

2.6 大數據技術課程體系建設和人才培養

大數據技術的快速發展和行業應用需求的快速增長，使得目前技術市場上高素質大數據技術人才嚴重短缺。因此，政府、高等院校和科研院所將加快建立大數據技術人才教育和培養體系，發展數據科學和工程專業，梳理和構建跨學科和領域交叉的大數據課程體系，融合計算機、數學分析統計、應用相關的學科，推動交叉學科數據分析技術的發展以及人才的培養。只有在體系建設和人才培養方面與市場需求同步，大數據技術才有不斷向前發展的基石和動力，因此這也是未來大數據技術行業的發展趨勢。

3 結束語

大數據技術是我們利用計算技術對大數據進行分析和推理并挖掘其潛在價值的技術，具有重要的研究意義和實際價值。本文從大數據的概念展開討論，詳細分析了大數據技術研究目前面臨的一些問題以及未來的研究熱點和發展趨勢。盡管目前大數據技術研究已經取得了一些研究成果，但在學科基礎、應用廣泛性、系統支撐基礎、生態環境、人才底蘊等方面仍然存在一些亟需解決的問題，需要政府、企業高等院校和研究機構等共同努力，推動國家在該領域的技術水平走到世界前沿。

參考文獻：

[1]王元卓，靳小龍，程學旗.網絡大數據：現狀與挑戰[J].計算機學報，2013（06）：1-15.

[2]陶雪嬌，胡曉峰，劉洋.大數據研究綜述[J].系統仿真學報，2013（25）：142-146.

[3]Thomas H.Davenport，Paul Barth，Randy Bean.How'BigData'is Different[J].MIT Sloan Management Review， 2012，54（01）：22-24.

[4]Victor Mayer-Schonberger，Kenneth Cukier.大數據時代[M].杭州：浙江人民出版社，2013：193-232.

作者簡介：劉琳（1981-），女，四川瀘州人，講師，本科，研究方向：計算機網絡、多媒體技術。

作者單位：重慶電子工程職業學院 計算機學院，重慶沙坪壩 401331