云環境下影響數據分布并行應用執行效率的因素分析

馬生俊，陳旺虎，俞茂義，李金溶，郟文博

(西北師范大學 計算機科學與工程學院，蘭州 730070) (*通信作者電子郵箱1780761723@qq.com)

云環境下影響數據分布并行應用執行效率的因素分析

馬生俊*，陳旺虎，俞茂義，李金溶，郟文博

(西北師范大學 計算機科學與工程學院，蘭州 730070) (*通信作者電子郵箱1780761723@qq.com)

云環境下，類似MapReduce的數據分布并行應用被廣泛運用。針對此類應用執行效率低、成本高的問題，以Hadoop為例，首先，分析該類應用的執行方式，發現數據量、節點數和任務數是影響其效率的主要因素；其次，探討以上因素對應用效率的影響；最后，通過實驗得出在數據量一定的情況下，增加節點數不會明顯提高應用的執行效率，反而極大地增加執行成本；當任務數接近節點數時，應用的執行效率較高、成本較低。該結論為云環境中類似MapReduce的數據分布并行應用的效率優化提供借鑒，并為用戶租用云資源提供參考。

云環境；數據分布并行應用；MapReduce；效率；成本

0 引言

隨著互聯網應用的蓬勃發展，大數據時代已經到來[1]。數據來源廣而快，數據量龐大而多樣，常規的處理方法已很難滿足需求，云計算(Cloud Computing)應運而生。云計算理論上可以提供無窮的計算能力和存儲能力，用戶按需租用供應商提供的計算資源和存儲資源[2]，如Google、Amazon、IBM、百度、騰訊、阿里巴巴等擁有各自的云環境租給用戶執行計算和存儲等操作。在云環境中，提供給用戶的計算資源和存儲資源通常對應一定數量和類型的節點，節點類型限定了其處理能力、吞吐量、單位時間的費用等特性[3]。

作為用戶，在任務完成的基礎上，更重要的是關心如何節省費用和時間以減少租用成本保障自身的利益。比如說，如何花費最少的時間和金錢完成最多的應用。然而，用戶執行應用、處理數據時，一方面，要求執行時間短，就應該租用較多的節點并發地執行，若節點數過多且數據量過小，可能造成資源利用率的降低，增加資源使用成本；另一方面，要求花費金錢少，就應該租用較少的節點，若節點數過少且數據量過大，將導致任務執行時間延長，同樣增加最終執行成本[4]?？梢?，對用戶來說，執行時間和處理費用是一對矛盾體，很難達到“既要馬兒跑又叫馬兒不吃草”的目標；但用戶確實存在這樣的需求，如何盡量滿足用戶的這種需求？為此，應該著眼于應用的執行效率，提高每個節點的利用率，租用適當的節點數以降低執行成本、滿足用戶需求。

如何提高應用的執行效率、減少執行成本已成為一大研究熱點，而分析影響應用執行效率和執行成本的各類因素及其內在關系至關重要。本文以Hadoop為例，重點分析云環境中影響數據分布并行應用執行效率的因素,探討因素間的關系及對應用執行效率產生的影響；通過實驗，給出各因素間的變化規律；總結實驗結果，試圖發現如何確定適當個數的節點以提高應用的執行效率、降低執行成本的結論。

本文的主要貢獻：1)初步探索了在云環境中影響數據分布并行應用執行效率和租用成本的數據量、節點數、任務數等因素及其相互關系。2)根據各因素的變化規律，發現數據量一定時，增加節點數不會明顯提高應用的執行效率，反而極大地增加了執行成本；任務數接近節點數時，應用的執行效率較高、成本較低。

1 相關工作

云計算作為一種新的計算模式以其自身的特點和優勢被廣泛地應用，如何提高資源利用率、降低應用執行時間已成為一個研究的熱點。針對該問題，目前已開展了許多研究，主要涉及文獻[5-14]等。

文獻[5]針對由物理機和虛擬機混合組成的異構云環境進行Hadoop性能測試，得出由于虛擬機的高IO開銷，導致Hadoop的性能相比傳統的純物理節點集群急劇降低。該文獻采用不同的數據量進行測試；但沒有考慮節點數和任務數的變化對固定數據量執行時間的影響。文獻[6]通過在OpenStack云平臺搭建Hadoop集群測試影響應用執行性能的因素，得出數據量的大小和集群規模是影響應用性能的主要因素；該文獻采用任務數的默認個數，沒有考慮在數據量和節點數一定時任務數的變化對應用執行性能的影響。文獻[7]通過Amazon EC2(Elastic Compute Cloud)兩種不同類型的虛擬機在Hadoop集群中測試Wordcount、TeraSort、Grep等多種應用，得出集群節點數的增加可提高應用執行效率，降低執行時間；該文獻考慮了節點數的變化對應用性能的影響，但沒有考慮數據量和任務數的變化對應用性能的影響。文獻[8]針對當前對數據中心網絡拓撲的研究主要集中在如何提高性能上，然而忽略了數據中心網絡拓撲與云計算機制的相適應問題，設計了一種支持云計算的數據中心網絡拓撲；該文獻著眼于數據中心的網絡拓撲，提出只有拓撲結構和云計算機制相匹配的數據中心網絡才能更好地滿足需求。文獻[9]針對作業過程中數據傳輸和數據處理流程，提出了虛擬網絡拓撲結構的優化機制，減少了數據傳輸和處理的總開銷，提高了MapReduce云框架處理大數據的整體性能。文獻[10]針對數據重分布，充分利用map/reduce空閑、開發新的混合路由表等方面對MapReduce進行擴展提出了“XMR”(eXtensible-MapReduce)模型，應用性能得到了提高。文獻[11]針對Hadoop中處理小文件的4種方法(TextInputFormat默認輸入格式、為處理小文件而設計的CombineFileInputFormat輸入格式、SequenceFile和Harballing技術)通過Wordcount應用測試多種典型的數據集(信息科學方面的數據集、航空方面的數據集、圖書館科學方面的數據集等)得出四種處理方法對應用性能的影響。文獻[12]根據實時作業的特性，針對Hadoop自帶的調度器不能有效支持實時作業，設計了新的實時調度器，其核心是通過修改作業的優先級算法，讓更多作業能在截止期前完成。文獻[13]歸納Hadoop集群使用到的參數，分析云計算工作流程中的參數，使參數和流程一一對應，尋找出可以作為性能參數的參數值，通過啟發式算法進一步得到最佳參數組合，以提高Hadoop云計算平臺的性能。文獻[14]通過分析比較Hadoop現有的排序算法，發現頻繁的磁盤讀寫是降低數據處理效率的主要原因，為此優化現有的排序算法，提出了置換選擇算法，使得效率有了一定的提升。文獻[9-14]分別針對影響MapReduce應用的內部機制作了相應的處理，使得應用效率有一定的提高。

云環境中，有非常多的因素影響數據分布并行應用的執行效率。上述研究中，考慮了很多影響因素，如異構集群環境、內部處理機制、網絡拓撲和帶寬、集群規模及數據集類型等因素，但是沒有綜合考慮節點數、數據量、任務數對應用執行效率的影響。文中重點關注節點數、數據量和任務數等因素對數據分布并行應用執行效率的影響，為用戶確定適當個數的節點以提高執行效率、降低執行成本提供參考。

2 影響因素分析

為滿足用戶使用較少的成本處理較多數據的需求，不得不考慮云環境中數據的存儲和計算方式。下面從存儲和計算兩方面探討用戶數據在云環境中的處理方式。一般地，用戶數據量會比較大，通常在TB的級別，甚至會更大，單個節點無法存儲足如此大規模的數據[15]，更別說進行其他操作。

顯然，用戶面臨的首要問題是如何完成大規模的數據的安全存儲，這就要求用戶不得不借助數據分布存儲技術將數據分布存儲在云中的多個節點上。云環境中廣泛使用的數據分布存儲技術是Google的GFS(Google File System)[16]和Hadoop團隊開發的HDFS(Hadoop Distributed File System)[17]。例如，Hadoop-HDFS將數據物理地分割成固定大小(默認是64 MB)的多個數據塊(Block)，采用冗余備份機制為每個Block創建多個副本(默認是3)保證數據完整性，并將這些副本盡可能分散地存儲在所有節點上。完成數據的存儲之后，用戶面臨的問題便是如何處理存儲在多個節點上的數據，這就要求用戶不得不借助數據并行處理技術并行地處理數據。MapReduce編程模型是云環境中被廣泛使用的并行處理框架，其主要實現有Hadoop的MapReduce[17]、Google的MapReduce[18]和斯坦福大學的Phoenix[19]。以Hadoop-MapReduce為例，其采用Map-Reduce的思想即“分解歸約”，將分散存儲的數據邏輯地劃分成多個分片(Splits)，為每個Split創建一個map任務，最后通過reduce任務把所有map任務的輸出作整合處理。

綜上，將云環境中處理數據的過程概括為兩步：第一步，借助數據分布存儲技術把數據物理地分割成固定大小的多個Blocks，以Block為單位在各節點上分散地存儲數據；第二步，借助數據并行編程和計算框架將數據邏輯地劃分成多個Splits，以Split為單位在各節點上并行地處理數據。顯然，Block是節點上存儲數據的基本單位，Split是節點上處理數據的基本單位?？梢园l現用戶處理的數據量大小、租用的節點個數和劃分的任務個數等因素是影響應用執行效率的主要因素；同時，在上述兩步處理過程中伴隨著大量的數據移動，所以在云環境中網絡拓撲和帶寬是影響執行效率的另一個主要因素。用戶處理數據過程如圖1所示。

在并行計算中，任務的總消耗時間由計算時間和額外開銷組成，進程間數據的傳輸時間是主要的額外開銷[20]。同樣，在云計算環境中應用的總消耗時間主要來源于任務計算時間和數據傳輸時間。用戶按需租用不同數量和類型的節點，為每個節點付出一定的費用。因此，在云環境中用戶租用節點處理數據所需主要的時間T和費用M可表示為：

(1)

(2)

其中：s表示平均在每個節點上處理的任務數，tmr(i)表示執行第i個任務需要的計算時間；b表示傳輸數據的次數，tio(j)表示第j次傳輸需要的時間；n表示租用的節點總數，m(k)表示第k個節點的租用費用。

圖1 云環境中數據處理過程

根據式(1)可知，用戶要減少數據處理時間，就從以下幾方面考慮：1)增加節點數量，提高任務的并行性；2)減少數據量，減少任務處理和數據傳輸的次數；3)租用較高性能的節點，減少每次任務執行的時間；4)改進網絡拓撲，增加網絡帶寬，減少每次數據傳輸時間；5)提高節點利用率，以減少時間。根據式(2)可知，用戶要降低租用節點費用，就該減少租用節點數量。

然而，在實際中處理的數據量是不能被縮減的；用戶又不情愿增加費用租用更多的節點；每種類型的節點性能是一定的；網絡拓撲和帶寬是云環境中制約通信能力的瓶頸：可見，提高節點利用率增強應用執行效率是滿足用戶需求最為有效的途徑。作為用戶，如何確定適當的節點數，且最大限度地提高節點的利用率是亟待解決的問題。下面就從數據量D、節點數N、任務數S三者間的關系討論用戶該如何抉擇。

1)節點數N和任務數S一定時：

數據量D越多，根據式(1)，計算次數不變，但每次tmr時間越多；傳輸次數不變，但每次傳輸內容越多，tio越多，進而消耗的總時間T越多。

數據量D越少，根據式(1)，計算次數不變，但每次tmr時間越少；傳輸次數不變，但每次傳輸內容越少，tio越少，進而消耗的總時間T越少。

2)數據量D和任務數S一定，且節點數N滿足0

節點數N越多，根據式(1)，每次tmr時間一定，但每個節點計算的次數減少；傳輸次數越小，tio時間越少，進而消耗的總時間T就越少。

節點數N越少，根據式(1)，每次tmr的時間一定，但每個節點計算的次數減多，傳輸次數越多，tio時間越少，進而消耗的總時間T就越多。

3)數據量D和節點數N一定時，且任務數S滿足0

任務數S越多時，根據式(1)，計算次數越多，tmr時間越多，傳輸次數越多，tio時間越多，進而消耗的總時間T就越多。

任務數S越少時，根據式(1)，計算次數越少，tmr時間越少，傳輸次數越少，tio時間越少，進而消耗的總時間T就越少。

3 實驗分析

3.1 實驗平臺

實驗中的硬件設備為10臺聯想ThinkServer RD650服務器即10個節點(Nodes)，其中1個為Namenode，其余都為Datanode。所有Node的硬件配置是Genuine Intel處理器、32 GB內存、2 TB硬盤。所有節點都是CentOS 7.0操作系統，JDK 1.7.0_45 JDK環境，Hadoop 2.5.2云框架。

由于文中主要探索數據量、節點數、任務數對應用性能的影響，為了盡量降低網絡拓撲和帶寬對實驗的影響，在實驗環境中，將10臺服務器連接在一臺普聯TL-SG1024DT千兆機架式交換機上形成一個局域網，網絡帶寬為1 000 Mb/s，網絡拓撲如圖2所示。

圖2 實驗環境網絡拓撲

3.2 實驗設計

實驗用于驗證數據量、節點數和任務數對應用完成時間的影響，所以實驗以最簡單也是最能體現MapReduce思想的單詞計數Wordcount程序作為測試應用。

實驗數據來源于100本英文txt類型的書籍，將所有內容拷貝到單個txt文件，通過多次復制得到實驗要求的數據量D；節點數根據實驗要求啟動相應個數的Datanode來控制節點數N的變化，且每次重啟時須重新上傳數據；任務數可修改文件(mapred.site.xml)中mapred.min.split.size的大小得到實驗要求的任務數S。其他都采用默認配置，如Reduce任務數為1，Block固定大小為64 MB，Block備份數為3。

實驗中各個變量變化如表1所示。

表1 各因素變化

3.3 實驗結果

根據3.2節實驗設計，采用控制變量的方法進行實驗。實驗中，數據量D、節點數N、任務數S，當其中一個因素的值從序號1的值變化到序號5的值時，其他兩個因素的值取序號3的值保持不變，且每次實驗都進行3遍，求其平均數得到Map和Reduce任務的執行時間即M-time(Map-time)和R-time(Reduce-time)，對M-time和R-time求和得到總執行時間T-time(Tittle-time)。分別得到如下實驗結果(時間單位為ms)。

1)當節點數N=7和任務數S=10時，隨著數據量D的變化，得到實驗結果如表2所示。

2)當數據量D=896 MB和任務數S=10時，隨著節點數N的變化，得到實驗結果如表2所示。

3)當數據量D=896 MB和節點數N=7時，隨著任務數S的變化，得到實驗結果如表2所示。

表2 不同D、N、S時的實驗結果 ms

3.4 因素間關系分析

根據3.3節得到的實驗結果，可以發現：

1)節點數N=7和任務數S=10時，隨著數據量D的變化，應用的M-time、R-time和T-time分別呈現如圖3所示的變化趨勢。

圖3 數據量D對執行時間的影響

根據圖3明顯地發現當節點數和任務數一定時，隨著數據量的增大，T-time呈遞增趨勢，符合在第2章中對各因素的分析。特別地，隨著數據量的變化，M-time變化明顯，而R-time無明顯的變化趨勢，因此，為了降低應用的執行時間，當數據量很大時，用戶應租用較多的節點。

2)數據量D=896 MB和任務數S=10，且節點數N滿足0

根據圖4發現當數據量和任務數一定時，隨著節點數的增大，T-time呈遞減的趨勢，符合在第2章中對各因素的分析。特別地，隨著節點數的增多，R-time的變化趨勢是先驟變后緩慢地變化，而M-time無明顯的變化趨勢，因此，為了降低應用的執行時間，當數據量一定時，用戶應租用適當個數的節點，并非節點數越多執行效率越高。

3)數據量D=896 MB和節點數N=7，且任務數S滿足0

圖4 節點數N對執行時間的影響

圖5 任務數S對執行時間的影響

根據圖5明顯地發現當數據量和節點數一定時，隨著任務數的增大，T-time整體呈遞增趨勢，符合在第2章中對各因素的分析。特別地，數據量和節點數數保持不變的情況下，隨著任務數的增多，M-time和R-time都呈緩慢遞增的趨勢；可以發現，任務數接近節點數時應用的執行時間處于較小，因此，為了降低應用的執行時間，用戶應使任務數接近節點數，以便提高資源利用率。

4 結語

在云環境中影響數據分布并行應用執行效率和執行成本的因素很多。文中針對類似MapReduce數據分布并行編程模式下的數據分布存儲技術和并行編程模型，詳細分析了云環境中影響該類應用執行效率和執行成本的數據量、節點數和任務數等因素；探討了數據量、節點數、任務數間的關系以及對應用執行效率和執行成本的影響；采用Hadoop云框架驗證了文中對各影響應用執行效率和執行成本的因素分析符合實驗結果；同時，分析實驗結果總結如下：1)數據量越大時，節點數越多應用執行的效率較高；2)數據量一定時，并非節點數越多應用執行效率越高；3)任務數接近節點數時，執行應用的效率較高。

本文工作可以作為研究云環境中影響類似MapReduce的數據分布并行應用執行效率和執行成本因素的一個重要基礎；為類似MapReduce的數據分布并行編程模式的研究和用戶租用云資源提供一個參考。下一步，將更進一步地分析和探討影響執行效率和成本的因素——網絡拓撲和帶寬，盡可能全面地分析各種因素對應用執行性能和執行成本的綜合影響，通過實驗總結出近似最優的解決方案。

References)

[1] 馮登國,張敏,李昊.大數據安全與隱私保護[J].計算機學報,2014,37(1):246-258.(FENG D G, ZHANG M, LI H. Big data security and privacy protection [J]. Chinese Journal of Computers, 2014, 37(1): 246-258.)

[2] VAQUERO L M, RODERO-MERINO L, CACERES J, et al. A break in the clouds: towards a cloud definition [J]. ACM SIGCOMM Computer Communication Review, 2008, 39(1): 50-55.

[3] JIANG D, PIERRE G, CHI C H. EC2 performance analysis for resource provisioning of service-oriented applications [C]// NFPSLAM-SOC 2009: Proceedings of the 3rd Workshop on Non-functional Properties and Service Level Agreements Management in Service Oriented Computing. Berlin: Springer, 2010: 197-207.

[4] BYUN E K, KEE Y S, KIM J S, et al. BTS: resource capacity estimate for time-targeted science workflows [J]. Journal of Parallel & Distributed Computing, 2011, 71(6): 848-862.

[5] 劉丹丹,陳俊,梁鋒,等.云計算異構環境下Hadoop性能分析[J].集成技術,2012,1(4):46-51.(LIU D D, CHEN J, LIANG F, et al. A performance analysis for Hadoop under heterogeneous cloud computing environments [J]. Journal of Integration Technology, 2012, 1(4): 46-51.)

[6] AHMAD N M, YAACOB A H, AMIN A H M, et al. Performance analysis of MapReduce on OpenStack-based Hadoop virtual cluster [C]// ISTT 2014: Proceedings of the 2014 IEEE 2nd International Symposium on Telecommunication Technologies. Piscataway, NJ: IEEE, 2014: 132-137.

[7] GOHIL P, GARG D, PANCHAL B. A performance analysis of MapReduce applications on big data in cloud based Hadoop [C]// ICICES 2014: Proceedings of the 2014 International Conference on Information Communication and Embedded Systems. Piscataway, NJ: IEEE, 2015: 1-6.

[8] 丁澤柳，郭得科，申建偉,等.面向云計算的數據中心網絡拓撲研究[J].國防科技大學學報,2011,33(6):1-6.(DING Z L, GUO D K, SHEN J W, et al. Researching data center networking topology for cloud computing [J]. Journal of National University of Defense Technology, 2011, 33(6): 1-6.)

[9] 李立耀,趙少卡,許華榮.基于云平臺的MapReduce性能優化策略[J].蘭州大學學報(自然科學版),2015,51(5):752-758.(LI L Y, ZHAO S K, XU H R. MapReduce performance optimization strategy based on a cloud platform [J]. Journal of Lanzhou University (Natural Sciences), 2015, 51(5): 752-758.)

[10] PREMCHAISWADI W, ROMSAIYUD W. Optimizing and tuning MapReduce jobs to improve the large-scale data analysis process [J]. International Journal of Intelligent Systems, 2013, 28(2): 185-200.

[11] 李三淼,李龍澍.Hadoop中處理小文件的四種方法的性能分析[J].計算機工程與應用,2016,52(9):44-49.(LI S M, LI L S. Performance analysis of four methods for handing small files in Hadoop [J]. Computer Engineering and Applications, 2016, 52(9): 44-49.)

[12] 楊浩.Hadoop平臺性能優化的研究與實現[D].成都：西南交通大學,2015:25-37.(YANG H. Research and implementation of Hadoop platform performance optimization [D]. Chengdu: Southwest Jiaotong University, 2015: 25-37)

[13] 王春梅,胡玉平,易葉青,等.Hadoop云計算平臺的參數優化算法[J].華中師范大學學報(自然科學版),2016,50(2):183-189.(WANG C M, HU Y P, YI Y Q, et al. Cross layer parameter optimization algorithm for Hadoop cloud computing platform [J]. Journal of Central China Normal University (Natural Sciences), 2016, 50(2): 183-189.)

[14] 李千慧,魏海平,竇雪英.基于Hadoop的排序性能優化研究[J].電子設計工程,2016,24(2):45-47.(LI Q H, WEI H P, DOU X Y. Optimization of sorting performance based on Hadoop [J]. Electronic Design Engineering, 2016, 24(2): 45-47.)

[15] PRINCE J D. Introduction to cloud computing [J]. Journal of Electronic Resources in Medical Libraries, 2011, 8(4): 449-458.

[16] GHEMAWAT S, GOBIOFF H, LEUNG S T. The Google file system [J]. ACM SIGOPS Operating Systems Review, 2003, 37(5): 29-43.

[17] WHITE T, CUTTING D. Hadoop: The Definitive Guide [M]. 4th ed. Sebastopol: O’Reilly Media, 2012: 1-4.

[18] DEAN J, GHEMAWAT S. MapReduce: simplified data processing on large clusters [J]. Communications of the ACM, 2008, 51(1): 107-113.

[19] GORDON A W, LU P. Elastic phoenix: malleable MapReduce for shared-memory systems [C]// NPC 2011: Proceedings of the 8th IFIP International Conference on Network and Parallel Computing. Berlin: Springer, 2011: 1-16.

[20] WOOD D A, HILL M D. Cost-effective parallel computing [J]. Computer, 1995, 28(2): 69-72.

This work is supported by the National Natural Science Foundation of China (61462076).

MAShengjun, born in 1989, M. S. candidate. His research interests include big data and cloud computing.

CHENWanghu, born in 1973, Ph. D., professor. His research interests include big data and cloud computing.

YUMaoyi, born in 1991, M. S. candidate. His research interests include big data and cloud computing.

LIJinrong, born in 1989, M. S. candidate. Her research interests include big data and cloud computing.

JIAWenbo, born in 1992, M. S.candidate. His research interests include big data and cloud computing.

Analysisoffactorsaffectingefficiencyofdatadistributedparallelapplicationincloudenvironment

MA Shengjun*, CHEN Wanghu, YU Maoyi, LI Jinrong, JIA Wenbo

(CollegeofComputerScienceandEngineering,NorthwestNormalUniversity,LanzhouGansu730070,China)

Data distributed parallel applications like MapReduce are widely used. Focusing on the issues such as low execution efficiency and high cost of such applications, a case analysis of Hadoop was given. Firstly, based on the analyses of the execution processes of such applications, it was found that the data volume, the numbers of the nodes and tasks were the main factors that affected their execution efficiency. Secondly, the impacts of the factors mentioned above on the execution efficiency of an application were explored. Finally, based on a set of experiments, two important novel rules were derived as follows. Given a specific volume of data, the execution efficiency of a data distributed parallel application could not be improved remarkably only by increasing the number of nodes, but the execution cost would raise on the contrary. However, when the number of tasks was nearly equal to that of the nodes, a higher efficiency and lower cost could be got for such an application. The conclusions are useful for users to optimize their data distributed parallel applications and to estimate the necessary computing resources to be rented in a cloud environment.

cloud environment; data distributed parallel application; MapReduce; efficiency; cost

TP301; TP393.027

:A

2017- 01- 16;

:2017- 03- 11。

國家自然科學基金資助項目(61462076)。

馬生俊(1989—)，男，甘肅廣河人，碩士研究生，主要研究方向：大數據與云計算； 陳旺虎(1973—)，男，甘肅靜寧人，教授，博士，CCF會員，主要研究方向：大數據與云計算； 俞茂義(1991—)，男，安徽銅陵人，碩士研究生，主要研究方向：大數據與云計算； 李金溶(1989—)，女，山東肥城人，碩士研究生，主要研究方向：大數據與云計算； 郟文博(1992—)，男，江蘇豐縣人，碩士研究生，主要研究方向：大數據與云計算。

1001- 9081(2017)07- 1883- 05

10.11772/j.issn.1001- 9081.2017.07.1883