自動替換國家站異常數據技術方法探究

王旖楠, 閆文輝, 張志龍

(1.內蒙古自治區通遼市氣象局,通遼 028000;2.內蒙古自治區興安盟氣象局,烏蘭浩特 137400;3.河北省唐山市豐南區氣象局,唐山 063300)

0 引言

2020-04-01,地面氣象觀測自動化改革正式業務運行,雖然改革后氣象觀測頻次、數據傳輸效率和數據量顯著提升,但是當臺站地面或輻射正點數據部分或全部缺測或數據異常時,仍需省級數據質控業務部門值班人員聯系臺站業務人員進行繁瑣的人工干預,未能有效利用備份自動氣象站(簡稱“備份站”)數據在省級完成數據處理[1-2]。同時,大多數備份站為Ⅰ,Ⅱ,Milos型自動氣象站,無法生成能在氣象資料業務系統和氣象大數據云平臺入庫的標準格式氣象數據(BUFR文件),數據無法實時進入業務系統,造成資源浪費。將備份站全部更換為新型自動氣象站的性價比很低,因此,研究備份站數據應用方法,使其發揮應有的效益,具有重要的現實意義。

研究數據格式差異及異常數據代替方法,在省級通過程序自動實現用備份站等可用數據代替現用自動氣象站(均為新型自動站,簡稱“現用站”)正點異常數據的功能,將大大提高國家氣象觀測數據的準確率、可用率和業務可用性,文章就省級自動替換國家站異常數據的技術方案進行探究,為省級數據質控業務部門選擇數據處理方式提供有益參考。

1 異常數據替換規則

根據《地面氣象觀測業務技術規定實用手冊》可知,正點時次異常記錄按照正點前10 min內接近正點的正常記錄、正點后10 min內接近正點的正常記錄、備份站記錄、內插記錄的順序代替[3]。風、日照等記錄不可以內插,日照、蒸發、降水量等不可以用分鐘記錄代替。正點前10 min內接近正點的正常記錄代替工作已經由地面綜合觀測業務軟件自動實現[4-5]。文章重點研究利用正點后10 min內接近正點的正常記錄、備份站記錄、內插記錄代替異常數據(不包括日照、蒸發、降水量)的方法[6]。

2 數據替換方法探討

臺站BUFR文件在氣象資料業務系統和氣象大數據云平臺兩個業務系統入庫并對外提供數據查詢服務,但該文件不支持編輯和修改;Z文件可編輯修改,但不能在氣象資料業務系統和氣象大數據云平臺入庫?，F用站能同時生成BUFR文件和Z文件,而Ⅰ,Ⅱ,Milos型備份站只能生成Z文件,再通過“Z轉BUFR”插件轉換得到BUFR文件。臺站地面或輻射正點數據(BUFR文件)部分或全部異常(錯誤、缺測、缺報等)時,需要由省級信息中心負責數據質控的技術人員聯系臺站業務人員按照異常數據替換規則進行人工干預。

研究Z文件格式發現,文件內容分為13段,其中與數據相關的是2～11段。每段的要素和字節量固定,通過自編小程序能夠讀取相關要素數據并修改數據。因此,將臺站的現用站和備份站Z文件通過FTP傳輸至省級備用,當臺站現用站出現設備故障等異常情況時,能夠通過程序自動實現數據替換功能。

正點后第1分鐘檢索該正點Z文件名稱,如果找不到該文件,說明全部要素數據均缺測;找到正點Z文件時,將其打開并按位讀取各要素數據,編報“/”的代表缺測,這兩種情況均需進行異常數據處理。如果找到的正點Z文件中沒有缺測的要素,則不進行處理。

2.1 用正點后10 min內接近正點的正常記錄代替

某時次有要素缺測時,正點后第1 min讀取該要素分鐘數據文件,若該要素不缺測,則用該值代替正點值,寫入正點Z文件中的相應位置,并不再讀取該要素分鐘數據文件;若第1 min該要素缺測,則在第2 min繼續讀取該要素分鐘數據文件,若該要素不缺測,則用該值代替正點值,寫入正點Z文件中的相應位置,并不再讀取該要素分鐘數據文件,以此類推。此過程持續到第10 min為止。

案例:某站2022-01-02T03:00正點氣壓、氣溫和相對濕度缺測,正點后10 min記錄如表1所示;備份站正點氣壓為1,003.5 hPa,氣溫為22.8 ℃,相對濕度為57%。03:08因供電異常導致計算機硬盤損壞,03:08—03:10的分鐘數據于2022-12-18修復計算機硬盤后讀出。按照數據處理流程,正點Z文件中的氣溫應該用第6 min的22.6 ℃代替,相對濕度應該用第7分鐘的56%代替;本站氣壓暫不處理,待12月硬盤修復后用第10 min的1,003.6 hPa代替。

表1 某站正點后10 min記錄

2.2 用備份站記錄代替

當正點后第10分鐘該要素仍缺測時,不再讀取該要素分鐘數據文件,并用備份站正點Z文件中對應要素的值代替。

2.3 用內插記錄代替

當備份站正點Z文件中的氣象要素值缺測時,用現用站該要素值上一時次與下一時次的平均值代替(不包括風)。

案例:某站2022-01-02T08:00正點氣溫缺測,正點前10 min和正點后10 min的記錄缺測,備份站記錄也缺測。07:00和09:00正點氣溫記錄如表2所示,可見,08:00 Z文件中的正點氣溫值應該用內插計算出來的22.5 ℃代替。

表2 某站1月2日07:00和09:00正點氣溫記錄

2.4 按缺測處理

如果現用站某要素連續2個時次缺測且無其他代替值,則該要素按缺測處理。

在上述處理流程中,如果某要素正點后10 min內的記錄均缺測,會導致正點后10 min該要素得不到處理,影響了這段時間的數據準確率。某時次有要素缺測時,按照異常數據替換規則,在當前時間能獲取的數據中選擇符合要求的數據進行代替處理,即可以避免此類問題。如章節2.1的案例中,正點時無法獲取正點后10 min數據,當前本站氣壓、氣溫和相對濕度用備份站記錄代替,既符合要求又提高了數據可用率和到報時效;啟動“用正點后10 min內接近正點的正常記錄代替”的處理流程,用正點后第6 min氣溫代替正點氣溫,正點后第7 min相對濕度代替正點相對濕度,12月18日用正點后第10分鐘本站氣壓代替正點本站氣壓,能有效避免數據缺測率高、更正數據不及時的問題。

如果不采用自動處理異常數據的方式,當省級數據質控業務部門值班人員發現數據異常時,再聯系臺站業務人員人工進行確認處理,一般需要數小時甚至幾天時間,且存在一定的出錯概率。因此,自動處理異常數據的兩種方案明顯比人工處理異常數據具有更高的效率和準確度。

3 數據替換流程設計

經過比較數據異常時幾種處理方案的效果發現,正點時次異常記錄用備份站記錄代替,正點后10 min內接近正點有正常記錄時再替換備份站記錄,備份站記錄和正點后10 min內記錄均缺測時用內插記錄代替,具有較高的時效性和準確性。

4 結束語

實現異常數據記錄自動代替,能夠充分發揮備份站的備份作用。文章提出了現用站數據缺測時自動實時使用現用站分鐘數據和備份站數據代替的兩種技術方案,并與人工處理異常數據的方法進行比較,結果表明:

1)人工處理異常數據流程繁瑣,有一定的出錯概率,效率低;

2)兩種自動處理異常數據方案具有更高的效率和準確度,可解決Ⅰ,Ⅱ,Milos型備份站Z文件不能在氣象資料業務系統和氣象大數據云平臺入庫的問題,同時極大地減少了人工處理數據工作量,對提高國家級地面氣象觀測站數據的準確率、及時率、可用率有很大幫助。