云南省耕地土壤環境質量現狀調查與監測平臺建設及應用

馬艷蘭，木 霖，曹志勇，高 儼，郭 晉，陳云輝，劉夢然

（1.云南省農業環境保護監測站，云南昆明 650201；2.云南農業大學，昆明黑龍潭 650201）

隨著互聯網、云計算、大數據等信息技術的快速發展，可為數據量龐大的云南省農業環境與農產品質量現狀調查與安全評價提供數據支撐與保障。云南省農業環境保護工作在實施耕地及農產品協同監測中，不能及時可視化、電子化、信息化，工作模式嚴重滯后于國家倡導的“智慧農業、數字農業”，嚴重影響了全省耕地土壤環境質量與農產品質量安全評價的時效性與效率，結合云南省實際，基于云技術的云南省農用地土壤環境質量協同采樣系統開發及應用數據庫的構建，通過大數據平臺及技術，對土壤及農產品的采樣、質控、匯總、分析等過程提供云技術服務，實現耕地土壤和農產品調查、采樣的可視化、實時化、科學化、空間化，以提高工作效率與數據的分析處理能力。

一、現 狀

土壤是經濟社會可持續發展的物質基礎，關系人民群眾身體健康，關系美麗中國建設，保護好土壤環境是推進生態文明建設和維護國家生態安全的重要內容。耕地是農產品生產的源頭，耕地土壤環境質量直接影響農產品質量。定期或不定期的對全省耕地土壤環境質量現狀進行監測與評價，是保護耕地土壤可持續發展及農產品質量安全的基礎。但是長期以來，全省農業環境保護系統的科技人員在實施耕地及農產品協同監測樣品采集、采樣質量控制、樣品流轉、樣品制樣與樣品分析等一系列工作中依然采用傳統的作業模式，做不到實時可視化、電子化、信息化，這種工作模式嚴重滯后于國家倡導的“智慧農業、數字農業”，嚴重影響了全省耕地土壤環境質量與農產品質量安全評價的時效性與效率的提高。

二、平臺設計

農用地土壤環境質量協同采樣系統通過地圖網格化，經緯度定點，土壤樣本采集、食用農產品樣本采集，樣本實驗分析，同時通過數據挖掘和分析技術，找準土壤、食用農產品數據的潛藏價值及聯系，有效直觀地呈現云南省土壤環境質量現狀和趨勢，為云南省耕地土壤環境質量和農產品質量安全相關活動的發展規劃、指導、監督、管理，提供數據支持。系統建設主要包括以下內容：

（一）平臺軟件架構

整個平臺采用基于主流Hadoop的發行版本CDH (Cloudera’s Distribution Including Apache Hadoop)作為數據存儲和計算的基礎平臺。平臺采用分層式的架構模式，具有松散耦合、邏輯復用等特性，可及時響應業務需求變化和高效應對平臺的擴展，其架構如圖1。

1.農業環境大數據融合管理平臺。通過數據融合任務，將已有的各個部門、州（市）的土壤相關數據、農產品數據、污染面源數據等從各個系統中抽取到平臺或通過Excel、CSV數據格式導入到平臺中，并進行數據的清洗、轉換和存儲。數據融合平臺負責多數據源融合、大數據平臺管理、系統基礎支撐管理、系統監控。在整個項目中總領“心臟”的角色，為整個項目的平穩有效運行保駕護航。

完成功能：

（1）開發Hadoop集群進行統一的管理和監控功能；

（2）開發Spark作業提交、任務監控和資源調度、任務提交管理、任務隊列管理、任務刪除管理、任務執行策略管理、任務狀態管理功能；

（3）實現平臺使用Sqoop組件對外圍業務系統的關系型數據庫數據的抽??；

（4）使用Oozie組件對數據抽取任務的計劃調度管理；

（5）開發對數據抽取任務的監控；

（6）開發對Excel數據表格、CSV數據表格數據的處理與導入功能；

（7）開發對大數據平臺組件：HDFS、HBase、Hive、Impala、Zookeeper、Sqoop、Spark、Yarn、Oozie、Solr的健康狀態的實時監控、對大數據平臺各個節點的CPU、內存、IO使用率的實時監控功能；

（8）開發對大數據平臺組件：HDFS、HBase、Hive、Impala、Zookeeper、Sqoop、Spark、Yarn、Oozie、Solr的日志的實時監控、日志統計分析功能；

（9）開發對大數據平臺的分角色和應用的權限管理；

（10）開發系統的基礎管理功能包括：用戶管理、角色管理、權限管理、菜單管理；

（11）開發系統監控功能：CPU、內存、JVM使用率實時監控儀表盤、系統操作日志管理。

2.云南省耕地土壤環境質量專題成果基礎檔案分布式數據庫。負責現場采集app或無人機采集回傳的耕地土壤圖片、視頻，以及包括PDF文檔、Word文檔成果報告、GIS相關數據等結構化或非結構化數據的分布式存儲，確保數據的規范性與標準性，并對外提供數據訪問、數據檢索、數據交換等共享服務。

非結構化存儲使用Hadoop框架中的HDFS分布式文件系統，具備高度容錯性，適合部署在廉價的機器上。同時其能提供高吞吐量的數據訪問，非常適合大規模數據集上的應用。

對于其他結構化的農業耕地土壤詳查數據、專題成果基礎檔案數據、農田資料數據、農業資源等數據，通過數據融合后，使用HBase分布式數據庫進行數據存儲，利用其特點可在廉價PC Server上搭建起大規模結構化存儲集群。

完成功能：

（1）實現HDFS/HBase分布式存儲框架存儲耕地土壤詳查數據、專題成果基礎檔案數據的結構化數據；

（2）實現HDFS/HBase分布式存儲框架，存儲采樣調查中的圖片、視頻等非結構化數據；

（3）實現使用分布式計算引擎Spark/MapReduce2對耕地土壤數據、農產品數據進行批處理計算和分析；

（4）實現流式計算框架Spark Streaming對實時流數據進行分析計算；

（5）實現分布式數據倉庫Hive和Impala對耕地土壤數據、農產品數據構建數據模型并進行存儲；

（6） 實現Yarn對計算資源的統一調度和管理；

（7）開發耕地土壤數據、農產品數據的數據目錄功能；

（8）開發耕地土壤數據、農產品數據的數據目錄服務功能；

（9）開發耕地土壤數據、農產品數據的數據共享交換服務功能；

（10）開發數據共享交換服務的安全保障功能。

3.云南省耕地土壤環境質量數據平臺及分析系統。

一是采樣任務管理。負責現場采集任務管理、采樣數據管理、采樣數據匯總分析。擔任整個項目中“管家”的角色，任務的操控、數據的采集、進度的統計都由云南省耕地土壤環境質量數據平臺及分析系統管理運作。

管理員可以對采樣任務進行新增、刪除、查詢、修改等管理操作。

每個采樣點系統會生成唯一的編碼（點位編碼）。后續采樣檢測結果會依據該編碼進行回填。采樣任務包括土壤采樣、農產品采樣、污染物采樣、其它等類型，創建時可選擇任務類型。

二是任務監控。各區縣可監控各個采樣點隊伍的采樣任務完成情況。

各州市可監控下轄各個區縣的采樣任務完成情況。

省級管理員可監控各州市的采樣任務情況。

三是現場采樣app。采用app可接收平臺下發的采樣點任務，采樣隊伍收到任務后即可前往采樣地點完成采樣任務。采樣隊伍根據任務點位來到預定地點，可打開app進行采樣，app調用拍照功能進行現場采樣拍照。完成后，如有網絡可進行上傳，無網絡則可暫存，等到有網絡時進行上傳。采樣app自動記錄拍照點位精確的經緯度信息，以及時間信息，上傳采樣任務數據時，自動上傳經緯度和時間信息，確保采樣質量?，F場采樣完畢后，樣品送到實驗室進行檢測，檢測結果出來后，需進入平臺將采樣檢測結果回填到平臺中。

樣品經過實驗室檢測后，可根據采樣點編碼將采樣檢測結果回填到對應的采樣任務中。填報完畢后，可提交數據進行審批校驗。樣品檢測結果填報完畢后，提交審批員進行數據審批，審批完成后，任務狀態變為已完成，采樣數據進入通過數據接口進入分布式數據庫中。對于非重點監測點位，如果采用無人機采集或其他手段采集，可以提供非重點監測點位數據的填報功能，按設定的表格填報完成后，提交審批，審批通過后，通過數據接口進入分布式數據庫中。

完成功能：

（1）開發云南省耕地土壤數據平臺，并封裝到農業環境大數據融合管理平臺；

（2）開發土壤采樣任務的管理功能，支持采樣任務系統自動生成；

（3）開發土壤檢測結果填報系統，支持土壤采樣任務監控功能、支持采樣任務的催報功能、支持采樣任務審批；

（4）開發移動端app，支持任務接收及數據回傳功能；支持自動保存采樣時間和采樣點的經緯度坐標；

（5）開發云南省土壤基礎信息數據管理功能；

（6）開發土壤檢測化驗數據匯總分析功能。

（二）培訓及平臺運行情況

2019年2 月下旬，項目組到玉溪紅塔區進行項目實地測試。根據項目需求書內容，實測了用戶模塊、任務中心模塊和任務管理模塊。在實測過程中，信息平臺主要功能均得到實現。同時根據農業環境監測的要求，通過優化算法、增加樣本點位核實功能等手段，對實測中GPS定位精度及協同檢測工作流程質控手段進行了優化。

2019年3-4 月，采樣app首先在師宗、羅平、會澤、魯甸4縣進行農產品采樣試點工作。在工作過程中，不斷與基層采樣人員溝通、協同完善采樣功能、優化質控手段、提高運行效率。項目組成員在培訓過程中不斷與采樣人員進行溝通交流，聽取基層工作人員對于軟件使用過程中操作細節的建議，并將所有建議進行完整記錄、匯總分類，之后對軟件進行了完善和優化。

在師宗縣試點過程中，共完成任務數724條，采樣數556條，核實數724條，獲得采樣圖片1439張，收集了11條意見，增添了手動添加任務功能，完善了數據采集表單內容，優化了數據同步功能，添加2個范圍標識圈，對采集任務定位誤差的距離做了更加符合基層意見的修改，進一步優化采樣質量控制手段。經過對師宗縣試點工作總結，形成通過“試點縣培訓+實操指導+獲取修改意見”的軟件迭代更新模式，并將該模式拓展到羅平縣、會澤縣、魯甸縣3縣，不斷完善軟件功能和運行效率。

2019年3月23 日，到羅平縣進行了培訓，之后試點工作共完成任務數587條，采樣數207條，核實數532條，獲得采樣圖片572張，收集了8條意見，新增步行導航，采樣界面顯示經緯度及距離，同時在任務界面地圖可切換衛星影像及電子地圖功能。為進一步對采樣進行質控，對采樣樣品表單修改添加偏移量、偏移說明等字段。

2019年4月2 日，到魯甸縣進行了培訓，共完成任務數449條，采樣數309條，核實數413條，獲得采樣圖片1363張，獲得3條修改意見，在移動端新增是否采樣狀態標識，并進一步優化采樣字段。

會澤縣試點工作，共完成任務數1127條，采樣數720條，核實數645條，獲得采樣圖片1323張，獲得3條修改意見，對后臺各縣任務進度導出功能進一步優化，對樣品數據關聯導入核實數據進行了優化。

隨后，在2019年下半年的普及推廣過程中，共協助27個縣完成7190條采集任務，獲取140種農產品樣本，經過專業檢測機構評定，最終形成35950組檢測數據并順利入庫。2020年，全省剩余98個縣農產品協同檢測樣品采集、信息收集全部采用這個平臺系統。據后臺統計， 截至2020年7月24日,共完成省級下達任務數8899條，縣級采樣數5054條，核實數8475條，獲得采樣圖片35 378張，達到了農產品協同監測采樣、核實、數據收集實時質量控制要求。

三、存在的問題及改進

（一）項目前期需求分析不夠充分，造成了少數功能開發的返工

項目進行過程中，前期與業務單位溝通不及時，部分技術內容未能準確表達業務意圖。

（二）及時對項目進行了細化需求分析，提升了開發效率

開發后期通過與業務部門加強溝通，積極深入基層試點示范和培訓，梳理基層意見，調整、優化軟件功能，保證了項目對業務工作支持的可靠和可用。

（三）項目開發

通過數據庫連接、抽取、電子表格數據導入、在線監測數據接入、數據上傳接口等多種數據融合方式。但因沒有或不能使用地圖底圖圖層數據、土壤詳細數據（包含云南省農用地土壤分布）、食用農產品詳細數據（包含食用農產品分布、食用農產品種類）、土壤檢測結果等數據，故不能快速生成全省土壤質量和農產品質量分析的分布情況、重點污染區域分布情況，暫不能為決策人員部署實施全省農業環境污染治理方案提供直觀、有效、科學的依據。

（四）進一步制定農業環境監測數據標準

為農業環境監測數據建立全省統一的采集標準和使用規范，為現有業務數據和未來數據融合以及使用提供統一標準和規范。

（五）使用云計算、大數據和移動互聯網技術支撐

現有監測范圍過窄，監測種類數據偏少（土壤和農產品），無法對農業生態環境監測信息統一發布形成有效支撐。

（六）定期對農產品和土壤采樣，建設農產品質量安全信息資源檔案

為推廣應用農產品質量安全檔案信息追溯，建立長期有效的農產品質量安全工作機制，為從農田到餐桌“舌尖上的安全”源頭——農業環境質量現狀打下基礎。