大數據和云計算在物聯網中的應用

汪曙光+許令順+劉天霽+周青奎+方明英

摘要：近十年物聯網技術不斷發展，已經和計算機網絡、互聯網網絡、通信網絡等融合成一個整體?，F代物聯網的建設成為了一個融合了無線技術、光纖傳輸技術、計算機網絡技術、計算機軟件技術為一體的綜合性工程。由于傳感器網的規模不斷擴大，從傳感器獲取的數據將是TB級別的數據，未來甚至是PB級的數據規模。一個完整的物聯網應用包括了感知層、傳輸層、匯聚層和應用層，該文所述的應用架構借助大數據和云計算平臺讓物聯網具備了智慧，讓物聯網更為精細更為智能。

關鍵詞：大數據；云計算；物聯網

中圖分類號：TP393 文獻標識碼：A 文章編號：1009-3044（2017）28-0282-02

近十年物聯網技術不斷發展，已經和計算機網絡、互聯網網絡、通信網絡等融合成一個整體，不再像以外作為傳感器設備的管理網絡單一存在。早期單一的傳感設備加傳感網絡的應用已經無法滿足當前的復雜需求了?，F在物聯網已經被廣泛應用在智慧城市、智慧園區、智慧電網、智慧交通、智慧物流、智慧農業等多種領域[1，2]。其所涉及的領域非常多，傳感器的種類也越來越多，如溫度傳感器、紅外傳感器、液位傳感器、酸堿度傳感器、壓力傳感器、視覺傳感器、地理信息傳感器等傳感器種類非常多。

如此多的應用場景和種類繁多的傳感器，讓物聯網的建設成為了一個融合了無線技術、光纖傳輸技術、計算機網絡技術、計算機軟件技術為一體的綜合性工程。由于傳感器網的規模不斷擴大，從傳感器獲取的數據將是TB級別的數據，未來甚至是PB級的數據規模。巨大的數據背后蘊含著無限的數據價值。這就需要大數據和云計算來做技術支撐，讓物品除了狀態以外還可以具備智能。大數據和云計算在物聯網中的應用，就是借助數據平臺讓物聯網具備智能的過程[3，4]。

1 應用框架定義

目前就物聯網的概念而言，并沒有統一的標準來定義，例如感知器的數據標準，數據傳輸標準，網絡統一標準等都沒有，因此物聯網在早期的建設中是一個異構的網絡環境，數據各異。為了解決這一問題，近幾年越來越多的智慧項目在物聯網的建設中，開始采用分層建設的思路。

結合目前大多數智慧項目的建設思路，可以將系統劃分為感知層、傳輸層、匯聚層和應用層等四個層次。如圖1所示。

感知層是系統的基礎，感知層負責收集感知數據再按照感知網約定的無線通訊協議傳給感知網的網關設備，再有網關設備將數據傳給傳輸層。一般傳感器分為普通傳感器和智能傳感器，普通傳感器只具有感知能力，而智能傳感器是在普通傳感器的基礎上加入了計算模塊和通信模塊。在智慧項目的建設中，一些關鍵傳感信息一般采用智能傳感器。如：環境監測、智能路燈控制、土地監測等應用場景，都會在傳感的基礎上，增加一些實時計算分析的能力，再通過無線通信模塊，傳給感知網網關。目前常用的感知網技術有zigbee、LoRa和NBIOT分別在不同的應用場景使用。

2 物聯網技術

目前在物聯網的技術架構上，大多涉及無線通訊技術，也是感知層網絡建設的基礎架構，是M2M（Machine to Machine）的基礎用于物物互聯減少有線建設的成本。從應用成熟度而言，zigBee更為擅長在室內工業領域和智能家居等領域的應用，Wi-fi或藍牙由于通訊距離限制一般在消費類家電和終端電子產品上應用，Lora和NBIOT由于通訊距離長帶寬占用少適合在戶外覆蓋面大的智慧項目建設中使用。

由于本文所涉及應用為智慧項目的建設應用，因此采用Lora或NBIOT技術作為物聯網的無線通訊網絡。毫無疑問，微信通訊有著部署方便，成本低，網絡架構靈活等天然優勢。對于戶外的應用（如：地磁、井蓋、垃圾桶、環境采集、路燈控制等）而言，一般要求低功耗低帶寬、低功耗、遠距離、連接數量大。這樣就提出了LPWAN的概念，即低功耗廣域網的概念，Lora和NBIOT是目前較為主流的LPWAN技術。NBIOT并非使用公共頻段要求接入運營商的私有云環境，因此在應用上缺乏靈活性。LoRa憑借其開放的技術特點越來越多的廠家參與開放，并且LoRa提供LoRaWAN服務，通過后臺軟件管理系統讓LoRa可以管理數萬個網絡節點，更大范圍的擴展了其應用范圍，因此也越來越多地被智慧項目采納。在實際應用上也有Lora over IP的方案，即把LoRa的DeviceEUI、APP EUI、Network ID、FPort等信息唯一標示傳感應用，而傳輸層上由可能是帶IP的報頭，因此在Lora over IP方案中，Lora網關會通過IP報頭來封裝信息，這樣給上層匯聚層就可以像處理普通TCP報文那樣處理。

在物聯網的穩定性和安全性方面，系統設計必須滿足高度的可靠性和可用性的要求。物聯網技術并非無懈可擊，仍然可能會面臨非法、病毒的襲擊等威脅。因此，物聯網介入的通信網絡，信息的安全和穩定傳輸也是急需解決的問題。實現物聯網異構系統通信協議轉換以及傳感節點的安全接入；物聯網信息安全接入平臺的總體技術架構與建設方案；建立物聯網的邊界安全規范體系，保證各環節傳感節點及信息的統一安全接入。

3 大數據服務技術

如前所述在匯聚層所涉及的感知數據會非常巨大，因此需要大數據和云計算的技術架構來支持服務。一般建設大數據和云計算的技術架構，可以按管理層次劃分，大體上可以分為服務層、管理層、虛擬化層和資源層四個層次。如圖2所示。

服務層是針對用戶的，其負責管理用戶賬戶、部署服務、對部署后的服務以服務目錄的形式組織，便于用戶索引服務，對終端用戶的使用以報告的形式提供使用信息統計上報。

管理層，對虛擬資源提供管理，調度、分發，在資源出現故障時可以進行切換、恢復等措施。在資源間可以實現負載均衡，實現資源的充分利用，減少導致資源瓶頸的因素。

虛擬化層，將異構系統的存儲、計算、網絡等資源虛擬化成統一的資源模式。對于應用隔離系統間的差異性，通過應用級的文件系統、網絡交換系統等實現虛擬化。endprint

資源層，是最底層的真實資源，如：服務器、網絡、存儲、集群、應用等。資源可以通過虛擬化的形式被納入到云端管理模型中。

從計算框架而言，首先要將數據分布式的存儲到云端的虛擬存儲設備上，其次要考慮的就是如何將海量數據的計算分散在云端的虛擬計算設備上。對于存儲一般采用分布式的文件系統作為底層的數據存儲架構，而計算則一般采用MapReduce框架負責分布式的計算模型。

由于在云端需要部署大量的應用服務，這就需要一個可以滿足彈性的計算框架來滿足應用服務的需要。一般會設計一個由服務提供方（Provider）和服務消費方（Consumer）的服務消費模型來滿足應用服務。在服務模型上需要考慮服務定義、服務配置、服務代理模式、服務注冊中心、下層云的服務集群、為了滿足負載均衡設計的服務質量監控、應用協議的封裝、數據交換方式、數據傳輸模式和最底層的數據序列化。整個服務框架都是基于RPC和消息的模式設計的，因此在服務提供方和服務消費方都明確的語義、語法和明確的傳輸約定。

4 管理功能定義

大數據和云計算的物聯網應用平臺，提供管理功能包括，GIS拓撲管理、設備配置管理、網絡故障分析、網絡運維管理、公共服務管理、大數據服務、云服務管理等主要管理功能，同時還提供面向應用的豐富的應用接口服務。

GIS拓撲管理，系統結合了物聯網和GIS的服務，能夠在資產的物理位置發生變化的情況下，使得系統能夠結合GIS提示用戶當前物的所在位置和定位信息，提供追蹤服務等功能。設備配置管理，提供物聯網設備的配置服務，如網絡設置，訪問設置，設備工作參數設置，通信模式設置，設備存儲設置，設備性能設置，設備告警設置，設備工作模式設置等。網絡故障分析，主要是在系統上可以管理來之網聯網的故障，傳輸網絡的故障，數據中心機房的網絡故障，可以連帶做關聯分析和主因分析等故障智能判定。網絡運維管理，主要是調度網絡運維資源，包括網絡統計、運維調度、分配公共資源、運維人員管理、任務管理等。公共服務管理，主要是提供安全管理、系統日志管理、操作日志管理、安全事件管理、云服務平臺管理等基礎功能。大數據服務和云服務管理，主要提供對大數據的資源管理、網絡資源管理、計算資源管理、彈性服務配置、安全策略配置等服務管理。應用接口服務，即為上層應用的API服務，一般采用Web Service的Restful形式為用戶擴展，同時滿足不同用戶的管理需求定制化的安全服務等功能。

5 總結

綜上所述，物聯網的規模擴大讓數據的收集變得容易，但是讓存儲、處理、挖掘數據本身的價值變得復雜，但是其價值就在于讓物體具備了智能。一個完整的物聯網應用包括了感知層、傳輸層、匯聚層和應用層，其融合了無線技術、光纖傳輸技術、計算機網絡技術、計算機軟件技術等多種技術。在智慧項目的物聯網的無線通信技術上，本文建議使用更為開放的LoRa技術作為技術載體，利用其低功耗低帶寬、低功耗、遠距離、連接數量大的特點可以滿足智慧項目戶外設備多的特點。同時，本文擴展了LoRaWAN的技術方案，通過LoRa over IP的技術方案解決了LoRa和IP數據網絡的接口差異滿足了上層服務的接入和擴展能力。在計算框架上海量數據的存儲采用分布式的文件系統作為底層的數據存儲架構，而計算則一般采用MapReduce框架負責分布式的計算模型。由于在云端需要部署大量的應用服務，本文提出設計一個由服務提供方（Provider）和服務消費方（Consumer）的服務消費模型來滿足應用服務。最后，本文所述的應用架構借助大數據和云計算平臺讓物聯網具備了智慧，讓物聯網更為精細更為智能。

參考文獻：

[1] 杜明義，劉揚.物聯網在城市精細化管理中的應用[J].測繪科學，2017，42（7）：94-102.

[2] 有鵬，朱晞旸，謝松巖，等.基于物聯網的電能監測控制系統[J].科技傳播，2017，9（7）：87-88.

[3] 高秀艷，閆紹惠.基于物聯網與新媒體技術的智慧校園建設研究[J].科技傳播，2017，9（13）：32-33.endprint