攀西地區2021年夏季多模式降水預報檢驗

曹萍萍 , 王佳津 , 肖遞祥 , 王彬雁 , 陳永仁

（1. 四川省氣象臺, 成都 610072；2. 高原與盆地暴雨旱澇災害四川省重點實驗室, 成都 610072；3. 四川省氣象災害防御技術中心, 成都 610072）

引言

數值預報的檢驗評估一方面有助于預報服務人員定量掌握模式在本地的預報能力和偏差特征，提高模式產品釋用技巧，提升預報和服務效果[1]；另一方面也有助于模式開發人員發現模式存在的問題[2]，進一步完善動力學框架以及各參數的配置等，提高模式本身的預報能力。針對目前我國天氣預報業務中廣泛應用的西南區域模式(South West Center-WRFADAS Real-time Modeling System，SWCWARMS)、 歐洲中心中期預報 (European Centre for Medium-Range Weather Forecasting，ECMWF)和中國氣象局中尺度模式(China Meteorological Administration Meso-Scale Model，CMAMESO)的檢驗，眾多學者已開展了大量研究工作，有的圍繞形勢場、要素場在時效、移動、強弱等方面展開[3-5]，有的圍繞定量降水預報的量級、落區檢驗[6-8]等展開。陳博宇等[9]分析了2013年夏季 ECMWF 集合預報在江南、四川盆地和華北地區強降水過程中的表現，指出中期預報技巧評分總體高于短期預報，四川盆地暖區強降水預報技巧評分高于鋒面強降水預報技巧評分。徐同等[10]采用標準降水檢驗方法、EDI（Extreme Dependence Index）方法和MODE（Method For Object-based Diagnostic Evaluation）方法對華東區域模式在西南地區降水預報效果評估表明，夏、秋季降水TS（Threat Score）評分高于冬、春季。預報偏差和TSS（True Skill Score）評分顯示，模式對西南地區春、夏兩季的各個量級降水預報均較實況偏多，而對秋季的大暴雨和冬季的大雨以上量級預報則相對偏少。屠妮妮等[11]基于MET（Model Evaluate Tool）系統的客觀統計檢驗方法，針對24 h 降水分別評估了SWCWARMS、CMA-MESO、ECMWF 模式對四川地區不同降水量級和不同區域的預報能力。曹萍萍等[12]基于鄰域法計算的FSS（Fractions Skill Score）、ETS（Equitable Threat Score）等評分指標，對比檢驗了ECMWF、SWCWARMS 兩家模式對斜壓鋒生、高能暖區型暴雨過程的預報能力，結果表明兩種過程中SWCWARMS模式對大量級降水的預報效果均較好。張琪等[13]基于SWCWARMS 模式對四川盆地兩次強降水過程進行對比檢驗，表明該模式在強降水預報中優勢明顯。

涼山州和攀枝花兩市州（以下簡稱攀西地區）地處高原、盆地過渡區，地形復雜，氣候多變，天氣預報難度大。尤其是涼山州，地質災害頻發，行政部門對氣象決策服務要求高，需要精準預報，故該地區的模式檢驗顯得尤為重要?？偨Y以往模式檢驗的研究成果可知，目前針對該區域定量降水系統性檢驗的研究較少，且當前業務主推的逐小時格點預報產品今年剛步入業務軌道，還未形成相關的系統性檢驗成果。因此，本文擬利用格點預報（Grid Weather Forecasting，GWF）、SWCWARMS、ECMWF、CMA-MESO 模式定量降水預報資料，系統性檢驗各產品在攀西地區的預報偏差特征，以期為預報員模式選擇及主觀訂正提供定量化依據，從而進一步提高預報服務水平。

1 資料和方法

1.1 資料

本研究所用資料時段均為2021年6～9月，24 h 累計降水統計時段為20 時～次日20 時，檢驗區域為攀西地區（26°～29.35°N，100°～104°E），時效為各產品業務預報中所能接收到的最新時次預報。各檢驗產品時空分辨率分別為：四川省氣象臺業務使用的20 時起報定量格點降水產品，時間分辨率1 h，空間分辨率5 km×5 km；SWCWARMS 模式08 時起報的降水預報，時間分辨率1 h，空間分辨率9 km×9 km；ECMWF模式08 時起報的降水預報，時間分辨率3 h，空間分辨率12.5 km×12.5 km；CMA-MESO 模式08 時起報的降水預報，時間分辨率1 h，空間分辨率3 km×3 km；觀測實況為攀西地區所有觀測站點（共483 站）的24 h累計降水資料。所有檢驗指標計算均采用雙線性插值法將模式資料匹配至觀測站點展開。

1.2 方法

2021年汛期篩選出攀西地區主要降水過程共16 次，分別計算6～9月總體及單次過程的偏差評分（BIAS）、TS 評分、命中率（Hit Rate，HR）、空報率（False Alarm Rate，FAR）。24 h 累計降水評分等級分別為≥0.1 mm（小雨）、≥10 mm（中雨）、≥25（大雨）、≥50 mm（暴雨）。對于某一量級降水，根據實況與預報對應關系獲得列聯表（表1）中NA、NB、NC、ND各項。其中，BIAS、TS、HR、FAR計算公式如下：

表1 列聯表

式中：NA表示預報時段內預報和實況降雨量均出現在某一降水等級內的站點數，即預報命中的站數；NB表示預報出現降水而實況未出現的站點數，即空報站數；NC表示未預報而實況出現降水的站點數，即漏報站數；ND表示觀測和預報都未出現降水的站點數。

2 降水總體偏差特征分析

表2 給出了攀西地區6～9月各預報產品與實況（Observation，OBS）不同降水量級站次統計對比。由表可知，各量級降水各產品預報頻次大多高于實況出現的站次，表明各預報產品均存在較大濕偏差。小雨量級，SWCWARMS 預報頻次與實況最為接近，ECMWF 模式空報次數最多。中雨量級，CMA-MESO 預報頻次與實況統計差距最小，ECMWF 模式空報率最高。大雨量級，ECMWF 模式預報效果最好，SWCWARMS空報頻次最多。暴雨量級，GWF 頻次與實況相比偏差最小，SWCWARMS 空報率最大，ECMWF 模式預報頻次大幅低于實況，強降水預報量級明顯偏小。

表2 不同預報產品與實況各降水量級頻次對比

從晴雨頻次空間分布（圖1）來看，大部分站點的實況降雨頻次均在80 次以下，涼山州西部部分站點有雨日數在80 d 以上；GWF 產品在攀西地區絕大部分站點雨日超過80 d，遠高于實況天數，預報存在嚴重濕偏差。SWCWARMS 模式雨日空間分布與實況最為接近，攀西地區南部預報效果最好。ECMWF 模式與GWF 類似，全區為一致的系統性濕偏差。CMAMESO 預報效果僅次于SWCWARMS，攀西地區東南部晴雨預報頻次與實況較接近，其余地方存在一定程度空報。

圖1 不同預報產品與實況晴雨頻次對比（a. OBS，b. GWF，c. SWCWARMS，d. ECMWF，e. CMA-MESO）

從25 mm 以上量級降水頻次空間分布（圖2）來看，實況頻次在大部站點均在20 次以下，攀枝花西北角部分站點大雨日數達20 d 以上。GWF 仍然以濕偏差為主，與實況差異較大的區域位于涼山州中部一線。SWCWARMS 模式預報涼山州大部站點大雨日數相較實況明顯偏多，預報偏差較小的區域為攀西地區南部。ECMWF 模式大雨日數分布與實況最接近，預報效果最好。CMA-MESO 模式預報在涼山州中部至攀枝花一線站點大雨日數明顯多于實況。

圖2 不同預報產品與實況≥25 mm 降水日數頻次對比（a. OBS，b. GWF，c. SWCWARMS，d. ECMWF，e. CMA-MESO）

3 評分檢驗

3.1 6～9月整體評分

表3 給出了6～9月各預報產品檢驗指標。對0.1 mm以上量級降水，BIAS 評分顯示SWCWARMS 模式預報效果較好，其余3 家模式預報均以濕偏差為主，尤其是ECMWF 模式雨日預報空報最多；TS 評分ECMWF 模式最低，CMA-MESO 模式最高。對于10 mm 以上量級降水，GWF 產品效果最好，命中率較高，空報率最低，故TS 評分最高；SWCWARMS 模式由于空報較大使得TS 評分最低。對于25 mm 以上量級降水，ECMWF 模式預報效果最好，量級預報與實況相當，命中率最高，空報率最低，故TS 評分最高；SWCWARMS模式與10 mm 以上量級降水特征類似，空報率較高導致TS 評分最低。對于50 mm 以上量級降水，BIAS 評分顯示GWF 預報效果最佳，ECMWF 模式預報偏干，SWCWARMS 與CMA-MESO 模式則相反，預報濕偏差較大；TS 評分GWF 最高，預報效果最優，SWCWARMS模式TS 評分值相對較低。

表3 6～9月各預報產品檢驗指標分布

3.2 個例評分

由各預報產品25 mm 以上降水BIAS 評分逐月對比（圖3）來看，7月下旬及8月的過程各產品降水量級預報與實況更接近，評分值1 左右。各產品對比來看，GWF 整體偏干，尤其是0628、0813、0913 這3 次過程嚴重偏干，預報效果相對較好的過程是0608、0703、0731、08094 次；SWCWARMS 模式有6 次過程存在較大濕偏差，分別為0616、0625、0703、0705、0904、0905，其中預報較好的4 次過程為0706、0813、0826、0913；ECMWF 模式有5 次過程濕偏差較大，分別為0607、0703、0705、0706、0905，其中預報較好的3 次過程為0608、0703、0731；CMA-MESO 模式降水量級預報效果優于其他三家產品，較大濕偏差過程為0607、0705、0905，明顯干偏差過程為0628、0813，其余過程降水量級預報與實況相當。

圖3 各預報產品≥25 mm 降水BIAS 評分

由各預報產品≥25 mm 降水TS 評分逐月對比（圖4）可知，7～9月各模式預報效果優于6月，大部過程評分值在20 分以上，表明預報量級、落區與實況匹配較好。GWF TS 評分高于40 分過程數為2 次，20～40 分有9 次過程。SWCWARMS 模式TS 評分高于40 分過程數亦為2 次，20～40 分有5 次過程，8月預報效果較好。ECMWF 模式TS 評分高于40 分過程數為5 次，20～40 分有4 次過程。CMA-MESO TS 評分高于40 分過程數只有1 次，20～40 分有8 次過程。綜上可知，GWF 預報效果最穩定，評分值超過20 分以上過程次數最多。

圖4 同圖3，但為TS 評分（擴大100 倍）

由各預報產品≥25 mm 降水命中率逐月對比（圖5）可知，6月、8月命中率高于其余月份。各預報產品對比來看，GWF 命中率40 分以上過程數為8 次，SWCWARMS 過程數為5 次，ECMWF 模式過程數為9 次，CMA-MESO 模式過程數為7 次。綜上可知，ECMWF 模式預報命中率較高，SWCWARMS 模式預報命中率值相對較低。

圖5 同圖3，但為命中率

由各預報產品≥25 mm 降水空報率逐月對比（圖6）可知，8月預報效果相對較好，空報率值50%以下過程次數最多。各預報產品對比來看，GWF 空報率40%以下的過程數為6 次，SWCWARMS 模式過程數為4 次，ECMWF 模式過程數為6 次，CMA-MESO 模式過程數為3 次。綜上可知，CMA-MESO 模式降水預報空報最明顯。

圖6 同圖3，但為空報率

4 典型個例分析

4.1 24 h 累計降水檢驗

選取過程評分較高的2021年6月7日20 時～8日20 時（個例一）和2021年8月25日20 時～26日20 時（個例2）詳細分析各預報產品的預報性能，同時這兩次過程主要降水區域分別為攀西地區南部和中部、北部，地域上也有一定代表性。

由個例一實況落區（圖7a）可知，此次過程量級為大到暴雨、局部大暴雨，主要降水落區位于攀西地區南部。GWF 產品預報效果最優，25 mm 以上降水分布與實況基本一致，但降水極值偏小一個量級。SWCWARMS 預報落區偏北，極值量級與實況相當，均為大暴雨。ECMWF 預報落區與實況較一致，但量級明顯偏小，以大雨為主，暴雨范圍窄。CMA-MESO 預報效果僅次于GWF，與實況相比暴雨范圍略窄，局地大暴雨未考慮。綜合來看，除SWCWARMS 主要降水落區預報偏北之外，其余3 家產品本次過程預報效果均較好，尤其是SWCWARMS 模式極值預報效果最好，報出了大暴雨量級降水，其它模式均只報出暴雨量級。

圖7 2021年6月7日20 時～8日20 時24 h 累計降水落區對比（a. OBS，b. GWF，c. SWCWARMS，d. ECMWF，e. CMA-MESO，單位：mm）

由個例二實況落區（圖8a）可知，此次過程量級為大到暴雨，主要降水落區位于攀西地區中部、北部。GWF 產品預報大雨以上量級降水區域實況出現了該量級降水，但整體量級和落區預報均明顯偏小。SWCWARMS 預報效果最優，但極值量級和暴雨范圍相比實況偏大。ECMWF 模式預報落區與實況較一致，但大雨區南界偏北，大到暴雨范圍偏小。CMA-MESO預報效果與GWF 類似，對此次過程預報明顯偏弱。綜合來看，SWCWARMS 模式綜合預報效果最好，ECMWF 次之。

圖8 同圖7，但為2021年8月25日20 時～26日20 時

4.2 逐3 h 降水檢驗

從攀西地區觀測和模式預報個例一的24 h 累計降水極值點位置分布（圖9a）來看，GWF 產品（93 mm）降水中心整體位置與實況（119 mm）偏差較小，CMAMESO（94 mm）偏東，ECMWF（75 mm）偏西，SWCWARMS（118 mm）偏北。從逐3 h 降水變化來看，實況主要降水時段為02～11 時，其中02～05 時雨強最大。GWF強降水時段為23 時～次日11 時，強降水開始時間早于實況。SWCWARMS 模式除20～23 時預報明顯偏強于實況外，其余主降水時段與實況較一致。ECMWF 模式10 mm 以上降水在05 時之后開始，14 時以后趨于結束，主降水開始時間比實況偏晚約3 h。CMAMESO 強降水開始時間與實況一致，但量級偏小，10 mm以上降水結束時間比實況晚約3 h。

圖9 個例一中降水極值點空間分布（a. ●為實況， ▲為GWF， ■為SWCWARMS, 為ECMWF, 為CMA-MESO）和各極值點逐3 h降水變化（b）

從攀西地區觀測和模式預報個例二的24 h 累計降水極值點位置分布（圖10a）來看，GWF 產品（84 mm）降水中心位置相比實況（101 mm）偏北，CMA-MESO預報（104 mm）與實況極值點位置最為接近，ECMWF 模式（77 mm）與實況偏差最大，位置最偏北，SWCWARMS 預報極值點位置（177 mm）偏西，量級偏大。從逐3 h 降水變化來看，實況主要降水時段為02 時～次日20 時，其中08～11 時雨強最大，持續時間長。GWF 夜間降水強度與實況相當，白天降水強度明顯弱于實況。SWCWARMS 在20～23 時預報明顯偏強，隨后3個小時降水減弱，而后發展加強，直至下午時段有所減弱，傍晚再次加強，持續時間與降水強度均明顯高于實況。ECMWF 強降水開始時間與實況較一致且強度偏小，14 時以后趨于結束，結束時間比實況偏早約6 h。CMA-MESO 強降水開始時間早于實況約3 h，14 時以后趨于結束，早于實況約6 h，但其降水峰值時段與實況較一致。

圖10 同圖9，但為個例二

5 結論與討論

本文基于業務常用的GWF、SWCWARMS、ECMWF以及CMA-MESO 共4 家客觀預報產品，詳細檢驗了各產品對2021年汛期攀西地區定量降水的預報性能，得出以下主要結論：

（1）從不同量級雨日統計來看，除ECMWF 模式暴雨量級預報偏干外，其余各預報產品各量級降水均以濕偏差為主。從降水偏差空間分布來看，SWCWARMS、CMA-MESO 模式有雨日數在攀西地區南部預報效果較好，其余地方各產品均存在較大空報。大雨日數各產品在涼山州中部預報偏差較大，攀西地區南部預報偏差較小。

（2）對于0.1mm 以上量級降水，SWCWARMS 模式預報效果較好，ECMWF 雨日空報最多。對于25mm以上量級降水，GWF、ECMWF 模式BIAS 評分較高，其余2 家模式預報以濕偏差為主，ECMWF 模式TS評分最高。對于50mm 以上量級降水，GWF 評分最高，其預報量級與實況相當，ECMWF 模式預報較實況偏干，其余兩家模式較實況偏濕。

（3）從16 次過程檢驗來看，各預報產品在8月份過程中的表現優于其余月份，GWF 產品25 mm 以上TS 評分高于20 分的過程次數最多且預報效果最穩定，CMA-MESO 模式空報最大。

（4）從典型過程檢驗來看，GWF 對攀西地區南部過程把握較好，SWCWARMS 模式對攀西地區中、北部過程預報效果較好。逐3h 降水檢驗結果表明，各產品強降水開始時間大部早于實況。兩次過程SWCWARMS 模式3h 雨強均大于實況，且其對于持續時間較長的過程預報效果較好，而GWF、ECMWF 模式累計雨量較實況偏小。

綜上可知，日常業務預報中，晴雨預報應加強消空，大量級降水預報可著重參考SWCWARMS 定量降水預報。但對于各家產品在地形復雜區域的預報能力分析，還需運用更長時段資料展開全面而準確的評估。尤其是對于高分辨率模式，傳統的檢驗指標易因為“雙懲罰”現象而評分偏低，從而忽略掉預報能較好地刻畫中尺度對流系統結構形態特征的積極信息，需要找尋更為有效的檢驗方法挑選更有優勢的預報，進一步提高模式釋用技巧。