?

氣象大數據云平臺對高校氣象數據調用的影響分析及解決思路
——以蘭州資源環境職業技術大學為例*

2023-12-12 09:59蘭州資源環境職業技術大學金慶忠
數字技術與應用 2023年10期
關鍵詞:氣象資料服務

蘭州資源環境職業技術大學 金慶忠

氣象大數據云平臺(簡稱:天擎)是一個可提供數算一體云上計算服務的平臺,各氣象業務系統融入后,相關氣象數據的訪問、各類氣象資料和產品調用方式發生了一定的變化,對高校使用相關氣象業務資料進行實踐教學和科研產生了一定影響。文章以蘭州資源環境職業技術大學氣象數據調用情況為例,通過分析高校氣象資料獲取的現狀及存在的主要問題,提出了相關解決思路,為高校利用氣象大數據云平臺進行實踐教學和科學研究提供參考。

《氣象高質量發展綱要(2022-2035 年》指出,氣象事業是科技型、基礎性、先導性的社會公益事業,氣象工作關系生命安全、生產發展、生活富裕、生態良好[1]。當前,我國氣象部門已累計海量的數據資料,根據《綱要》的要求,氣象監測更加精密,各類多源數據廣泛匯集,氣象數據將呈現持續爆炸式增長的情況。據初步統計,2022 年各類氣象數據已達到200PB 以上,日增量約40TB,雖然氣象部門已經開發了全國綜合氣象信息共享平臺(CIMISS),但各業務單位、業務系統間仍存在“信息孤島”“應用煙囪”、用戶暴力檢索、ICE 中間件高并發狀態下的穩定性和數據安全性等問題[2,3]。為適應大數據時代,推動氣象數據資源整合共享、促進氣象業務集約化發展,構建新型氣象業務技術體制,中國氣象局組織開發了氣象大數據云平臺(“天擎”)。

1 氣象大數據云平臺概述

1.1 氣象大數據云平臺的功能

氣象大數據云平臺采用云計算、大數據、人工智能等新型信息技術,提供數算一體的云上計算服務,支持智能預報和服務系統研發,并可基于統一的標準規范實現本地化業務融入?!疤烨妗本邆浜A繑祿鎯?、全業務貫通、數據應用高效的能力,可直接支撐天氣、氣候預測、大氣探測、公共氣象服務、人工影響天氣等各類氣象應用的云化融入,形成“云+端”的應用生態[4]。

氣象大數據云平臺的氣象數據服務接口繼承了CIMISS的氣象數據統一服務接口(MUSIC,Meteorological Unified Service Interface Community),基于數據環境,為國、省、市、縣四級氣象業務和科研用戶提供標準化的數據訪問服務以及應用編程接口。新增服務接口網關管理,實現用戶認證、流量控制、服務路由、復雜均衡管理;新增TDS 服務能力,新增格點資料矢量場、數據塊檢索接口和格點數據、數據塊寫入接口、歸檔取回接口等,為用戶提供全面的數據獲取功能的同時,又實現了數據安全升級。針對氣象應用系統,為用戶提供客戶端SDK 服務、REST 服務、TDS 服務、腳本調用服務、眾創接口服務等五種方式,適用C、C++、CS、Fortran、Java、Python、Script 等開發語言開發環境[5]。

1.2 氣象大數據云平臺的框架

天擎系統的本質特征是“云+端”?!霸啤奔礆庀蟠髷祿破脚_,負責統籌管理觀測、預報、服務、政務、行業、社會等完整權威的地球系統大數據,集成質量控制、統計加工、預測預報預警等全流程業務產品算法,統一產品加工流水線,提供“數據、算力、算法”三統一的平臺化服務?!岸恕卑ǜ黝愑^測、預報預測、服務、管理等業務系統,也包括計算機、手機、各種傳感器等硬件終端及其軟件終端程序,氣象大數據云平臺結構框圖如圖1 所示。

1.3 氣象大數據云平臺應用情況

2021 年12 月,“天擎”系統正式投入業務化運行,全面取代CIMISS,所有原始觀測數據、歷史歸檔數據、各類數據集及交匯數據等已經全部對接到“天擎”系統,主要涵蓋地面、高空、海洋、輻射、農業氣象、數值預報雷達、衛星等14 大類614 種資料3000 多億氣象記錄;以及地面基礎氣象數據產品、高空常規氣象觀測數據產品、實況分析和再分析產品、天氣實況產品,同時,還有臺風、海洋、強對流等各類氣象產品。

截至2022 年底,全國氣候監測預測分析系統(CIPAS)、西北區域人工影響天氣作業指揮軟件系統、氣象信息綜合處理系統(MICPAS)、綜合氣象觀測業務運行信息化平臺(“天元”)、各省氣象預報服務業務一體化平臺等共計132 個應用系統融入“天擎”。各氣象業務系統與“天擎”系統深度融合后,“天擎”系統可將氣象行業數據與算法資源整合,使算法向數據靠攏,減少中間環節,優化流程,實現數據、技術、業務融合,使系統更加集約,數據源更加明確、數據流程更加清晰、數據處理更加快捷、數據服務更加高效,從而解決過去各業務系統反復調用、存儲、傳輸帶來的冗余問題[6]。業務系統融入后,系統的運維管理直接交給專業運維團隊,可以使氣象業務監控更加集中統一,業務單位可以更加聚焦業務本身,壓力大大減輕,從而促進氣象觀測、預報、服務、管理業務高效協同,推進氣象事業高質量發展。

2 高校氣象資料獲取現狀

職業教育的特色之一是產教融合發展。產教融合、校企合作是辦好職業教育的關鍵[7]。為有效實現職業教育“教學過程與生產過程對接”,構建“校中廠”,搭建真實氣象業務平臺,服務高職氣象院校進行氣象業務實踐教學與科研開發,2015 年蘭州資源環境職業技術大學與甘肅省氣象局共建了氣象數據共享平臺,由甘肅省氣象局通過網絡專線向蘭州資源環境職業技術大學提供氣象數據資料。

氣象數據共享平臺主要基于CIMISS 平臺的通信系統進行氣象數據的分發傳輸,網絡帶寬為10M。高校教師主要利用本地部署的MICAPS 系統調取獲取的地面觀測資料、高空觀測資料、輻射資料、農業氣象觀測資料、數值預報、天氣雷達探測資料(基數據)、衛星云圖、土壤墑情、大氣成分、風廓線資料等氣象基礎數據開展學生日常教學實習、實訓,使用部分基礎氣象數據、氣象產品等開展科學研究。

“天擎”投入業務運行后,原有CIMISS 系統停用,“天擎”系統雖然繼承了CIMISS 的原有基礎[4-6,8],但由于架構及調用方式較CIMISS 有較大的區別,對氣象類職業院校調用氣象數據資料和氣象產品應用于實踐教學和科研產生了一定的影響。

3 高校氣象數據獲取存在的主要問題

文章以蘭州資源環境職業技術大學為例介紹氣象數據資料獲取存在的主要問題。

3.1 氣象數據傳輸帶寬的問題

目前,甘肅省氣象局與蘭州資源環境職業技術大學之間的氣象信息傳輸帶寬僅有10M,隨著“天擎”系統的投入運行,氣象數據的算力大大增強,氣象業務、服務、科研、管理以及行業社會交換的所有數據,全部入“云”,導致氣象資料種類越來越多、數據量越來越大,師生進行數據訪問時,10M 帶寬已不能滿足氣象數據傳輸的需求。

3.2 外部用戶訪問造成的影響

“天擎”投入業務運行后,氣象部門對其內部結構化、非結構化數據方位時效及并發用戶量進行了承壓測試,結果顯示“天擎”系統性能高于CIMISS 系統10 倍以上,統一服務接口的效率更高、穩定性更強[5]。但針對高校學生實踐教學過程中數據訪問時效、并發用戶訪問“天擎”時未進行壓力測試,“天擎”能否承受氣象類職業高校綜合實訓過程中數百學生同時訪問的壓力,保證系統的穩定性、數據的時效性還需進行進一步的測試。

3.3 數據調用方面存在的問題

“天擎”依然使用氣象數據統一服務接口MUSIC,基于數據環境提供標準化的數據訪問服務以及應用編程接口。但高校師生可能對氣象業務數據的算法及實際應用等技術鉆研較深入,但對于獲取數據方面關注比較少,特別是非計算機技術類的老師對于日新月異的結構化、非結構化數據存儲規則理解不深、關注度不夠,導致不能以最有效的方式獲取氣象數據。雖然數據服務接口的調用方式較CIMISS 變化不大,但各省提供的數據服務方式增加了TDS 服務、眾創接口服務等。目前,“天擎”提供300 余個服務接口,部分接口調用方式還需要高校師生重新適應。

4 主要解決思路

針對以上存在的主要問題,高??梢詮囊韵陆嵌冗M行解決。

4.1 優化局校通信方案

針對10M 帶寬傳輸專線已不能滿足實際教學需要的問題,高校應認真調研省級氣象大數據云平臺功能、架構、存儲管理的資料類型、調用接口,梳理統計教學過程與科學研究所需要調取的各類氣象觀測資料和氣象服務產品,根據學生實踐過程中并發測量到的帶寬流量,按照一定冗余量的原則,重新優化學校和省級氣象部門之間的通信方案。

4.2 制訂平臺使用指導書

分析和整理學校氣象類專業高職??粕椭腔蹥庀蠹夹g職業本科生實習、實訓所需要展示的各類氣象資料和產品類型,針對學生操作使用的內容,制定基于氣象大數據平臺調取的觀測資料和產品元數據信息等,形成氣象大數據云平臺接口調用使用說明書,供學生實訓、實習使用。

4.3 進行并發用戶測試

基于氣象大數據云平臺,聯合省級氣象部門的技術人員開展“高校學生同一時間并發訪問氣象大數據云平臺,調閱、展示各類氣象觀測資料和產品對氣象大數據平臺造成的壓力和時效問題”的測試。根據測試結果,為氣象部門基于“天擎”系統對外開展服務方案的制定提供依據。

5 結語

氣象大數據云平臺投入業務運行,繼承了CIMISS系統的基礎功能,對氣象業務流程優化起到了極其重要的作用。其豐富的氣象數據資料與氣象產品種類、開放的開發環境、多樣的接口服務方式、高效穩定的數據接口為高校學生的實踐與教師科研提供了重要支撐。但因局校之間通信帶寬、學生實踐過程中并發訪問量過大等問題,給高校的實踐教學及科學研究帶來一定的不便,基于以上問題,文章提出了優化局校通信方案、開展并發訪問測試等解決思路,為氣象部門基于“天擎”開展對外服務方案的制定提供科學依據。

引用

[1] 中國氣象局.《氣象高質量發展綱要(2022-2035年)》輔導讀本[M].北京:氣象出版社,2022.

[2] 韓同欣,何文春,吳鵬,等.氣象基礎設施云平臺關鍵設計與實現[J].氣象科技,2022,50(2):290-296.

[3] 劉釗,谷星月.海納百川 風云際會——氣象大數據云平臺“天擎”[N].中國氣象報,2020-08-03(1).

[4] 趙冰燕,郭彩蓮,來志云.基于青海氣象大數據云平臺的數據服務接口[J].青??萍?2021,28(1):82-86+90.

[5] 許竹霞,張春燕,徐娟.甘肅省氣象大數據云平臺的存儲與服務系統設計[J].信息技術與信息化,2022(2):53-57.

[6] 余永城,王笑,魏夏潞.福建氣象綜合業務平臺融入“天擎”技術方案設計及實現[J].氣象科技,2022,50(5):653-659.

[7] 秦青松.青島職業技術學院:產教融合校企合作 和諧共生攜手共贏[N].中國教育報,2022-12-21(08).

[8] 王雙雙,杜建華,王立俊,等.基于氣象大數據云平臺的海南氣象數據共享平臺設計與實現[J].計算機測量與控制,2022,30(10):222-226+232.

猜你喜歡
氣象資料服務
氣象樹
《內蒙古氣象》征稿簡則
Party Time
PAIRS & TWOS
JUST A THOUGHT
服務在身邊 健康每一天
服務在身邊 健康每一天
服務在身邊 健康每一天
大國氣象
美麗的氣象奇觀
91香蕉高清国产线观看免费-97夜夜澡人人爽人人喊a-99久久久无码国产精品9-国产亚洲日韩欧美综合