小樣本學習技術在新型電力系統中的應用與挑戰

賀 興，潘美琪，艾 芊

（1.電力傳輸與功率變換控制教育部重點實驗室（上海交通大學），上海市 200240；2.上海交通大學國家電投智慧能源創新學院，上海市 200240）

0 引言

數據驅動（data-driven）是新型電力系統數字化轉型的核心范式（paradigm），涉及高維統計、深度學習、數字孿生等多項重要的新興理論與技術。數據驅動主要依托數據自身而非機理模型來構建模型（可視為引擎），進而驅動數據資源（可視為燃料）實現一種免模型（model-free）的數據賦能服務。數據驅動范式為電力系統運管調控各項業務注入了活力。然而，實際工程中往往面臨著樣本不足即“小樣本”問題，嚴重影響了數據驅動范式的最終效果。

小樣本問題可由以下原因造成:

1）樣本失衡:電力設備故障、電力系統暫態失穩、極端氣候災害等異常事件往往是小概率事件，在歷史數據庫中占比較低；基于不平衡樣本訓練的模型傾向于高概率事件，難以給予異常事件足夠的關注。

2）“數力”（數據資產的數量和質量）不足:新型電力系統正處于發展高峰期，新設備、場站的持續投運可能顯著地改變原系統的運營特性，降低有效數據樣本的數量與質量，從而誘發過擬合等問題；隱私保護、傳感器異常等因素將進一步加劇數力不足的問題。

3）模型失真:相比于顯性的數力不足，模型失真狀況相對不易覺察；新型電力系統中，大量新元素的涌入往往伴隨著新節點出現或電網拓撲結構變化，致使基于歷史數據訓練的模型無法適用于實時場景。

綜上所述，小樣本問題已成為制約新型電力系統數字化轉型最終工程效果的重要因素之一。

上述背景下，本文以電力系統中的小樣本問題為出發點，對小樣本學習（few-shot learning，FSL）技術展開探索。FSL 在機器學習領域具有重大意義，是其發展的重要方向之一；是否擁有從少量樣本中學習和概括的能力，是（現行弱）人工智能和（強人工智能）人類智能的分界點。首先，本文從數據、特征、模型3 個層面對現行FSL 技術展開綜述分析；然后，綜述了FSL 技術在場景生成、故障診斷、功率預測、暫態穩定評估等業務場景的研究現狀，并從數據、特征、模型3 個層面分析了其技術難點；最后，對全文工作進行了總結與展望。

1 FSL 技術研究現狀

本章從數據、特征、模型3 個層面分別綜述了FSL 相關技術。首先，引入遷移學習（transfer learning，TL）技術，TL 技術是FSL 技術的重要工具，旨在通過遷移源域知識來提高在目標域上學習的最終表現。TL 技術在FSL 體系中的數據、特征、模型3 個層面均有體現，如圖1 所示。

圖1 FSL 相關技術及其分類Fig.1 Relative technologies of FSL and their classification

1）在數據層面綜述了樣本遷移與樣本生成技術:基于樣本遷移從其他輔助樣本中獲取數據，或基于生成模型生成與原數據分布相似的新數據；該技術通過實現數據增強，解決了數據不足與不平衡的問題，提升了數力［1］。

2）在特征層面綜述了特征遷移技術:該技術通過形成公共可遷移特征空間，降低了特征偏移。

3）在模型層面綜述了模型在線更新技術:該技術通過模型參數微調，實現了系統狀態在線更新與實時跟隨，從而增強了模型輔助實時決策的能力。

1.1 數據層面的FSL 技術

1.1.1 樣本遷移

在數據稀缺時，樣本遷移方法通過使用相似的輔助樣本來擴充樣本集。在FSL 技術中，輔助樣本是源域，小樣本是目標域。樣本遷移的目標是選擇與目標域分布接近的源域實例擴充訓練集，以充分訓練目標域模型。TrAdaBoost 是一個典型的基于樣本遷移的模型，它降低了錯誤分類的源域樣本的權重，減弱了對分類器的影響。樣本遷移需要源域和目標域的高度相似性和充足的源域樣本，但電力系統工程中的偶發故障可能不滿足這些條件。因此，需要利用目標域樣本生成新樣本。

1.1.2 樣本生成

樣本生成是解決小樣本問題的重要手段，與電力領域仿真推演、元宇宙［2］等新興方向的技術強相關。樣本生成的典型模型分為變分自動編碼器（variational autoencoder，VAE）和 生 成 對 抗 網 絡（generative adversarial network，GAN）。

1）VAE。VAE 由一個編碼網絡和一個解碼網絡組成，文獻［3-4］詳細介紹了模型原理，其結構如圖2 所示。

圖2 VAE 結構示意圖Fig.2 Schematic diagram of VAE structure

為提高生成樣本的質量，VAE 還有多個衍生版本。條件變分自編碼器（CVAE）模型［5］通過添加類別信息輔助特定類別樣本生成；重要加權變分自編碼器（IWAE）模型［6］通過增加隱藏變量采樣數量增強模型對不同數據分布的泛化能力；變分損失自編碼器（VLAE）［7］通過結合自回歸模型增強局部特征提取能力。VAE 的改進模型從不同角度提升生成樣本的質量，但這些改進模型在電力系統的應用相對較少或還未引入，很大原因在于其原理在本質上并未改變，都是將似然函數假設為某一分布（通常是正態分布），具有一定的局限性。Goodfellow 等人不再進行假設，而是通過添加判別網絡擬合似然函數，基于這一思想的GAN 模型往往可以獲得更高質量的生成樣本［3］。

2）GAN。GAN 由一個生成網絡和一個判別網絡組成，文獻［3］詳細介紹了模型原理，其基本結構如圖3 所示。

圖3 GAN 結構示意圖Fig.3 Schematic diagram of GAN structure

由于GAN 不再假設樣本分布，生成過程通過隨機采樣生成樣本，這導致GAN 的訓練需要更多的時間且收斂性難以保證。條件生成對抗網絡（CGAN）［8］引入條件信息作為約束條件，使生成網絡可以根據類別標簽（如天氣、季節等）學習數據特征并定向生成樣本，但GAN 的訓練過程仍不穩定，存在梯度消失和模式崩壞問題。Wasserstein 生成對抗網絡（WGAN-GP）［9］引入梯度懲罰更新權重，并使用Wasserstein 距離代替JS 距離量度真假樣本分布之間的差異，可以穩定訓練過程且生成更高質量的樣本［1］，但相應的代價是訓練時間更長且樣本多樣性不足［10］。為獲得多元表征的效果，深層卷積生成對抗網絡（DCGAN）［11］基于卷積神經網絡建立生成網絡與判別網絡，提高神經網絡的特征提取能力，可以更好地處理具有時空特性的高維數據，但生成效果一般且訓練過程不穩定。

綜上所述，GAN 的生成效果良好，但由于缺少后驗分布而存在難以收斂和模式坍塌的問題［12］，收斂性不如VAE，且對電力時空數據間多相關性的捕捉能力較弱［13］。GAN 的衍生模型從不同角度對傳統GAN 做出改進，但其優勢往往并不互用。還有一些優秀的GAN 改進模型尚未被引入電力領域。例如，StackGAN 可以基于文本描述生成數據，適合基于電力知識定向生成故障樣本；BigGAN 優秀的穩定性和超高生成能力使其幾乎成為目前表現最好的生成模型［10］，適用于基于圖像的電力線路異常檢測。

3）生成數據評價指標。評價生成數據與真實數據相似度可以從定性評價和定量評價兩個角度進行。定性評價通過將高維數據投影在低維空間，提供可視化效果，主要方法有主成分分析（principal component analysis，PCA）法和t 分布隨機臨近嵌入（t-distributed stochastic neighbor embedding，t-SNE）法；定量評價主要有相關性分析、距離函數和基于下游任務表現效果等方法。其中，基于下游任務表現效果的定量評價是指:在故障分類、負荷預測等研究領域中，數據生成是優化分類/預測效果的基礎支撐，部分文獻并未評估生成數據質量，但下游任務（故障分類/負荷預測）效果間接反映了生成效果。因此，本文將其作為數據質量評估指標。

1.2 特征層面的FSL 技術

特征的選擇決定了模型的泛化性能?；谔卣鞯腇SL 實質上是基于量度的遷移學習，基本特點是使用距離函數衡量特征之間的差異，通過最小化源域與目標域數據特征差異得到兩域的公共可遷移特征空間［14］，在公共特征空間內訓練的模型可以跨域測試?；谔卣鞯腇SL 方法主要有遷移成分分析（transfer component analysis，TCA）、基于量度的網絡模型、對抗遷移學習模型等。

1.2.1 TCA

TCA 是使用核函數將源域樣本和目標域樣本映射至高維再生核希爾伯特空間中。高維再生核希爾伯特空間中，源域和目標域樣本間的最大均值差異（maximum mean discrepancy，MMD）為:

式中:xsrci為第i個源域樣本；xtari為第i個目標域樣本；n1和n2分別為源域樣本和目標域樣本的數量；H表示高維再生核希爾伯特空間；?(?)為映射函數（核函數）；x?src和x?tar分別為高維再生核希爾伯特空間中的源域和目標域樣本。

TCA 通過最小化MMD 修正源域與目標域樣本邊緣概率分布差異，使x?src和x?tar的分布相似，從而可以進行訓練分類任務［15］。

1.2.2 基于量度的網絡模型

基于量度的網絡模型與TCA 的基本思想一致，不同之處在于其映射方式采用神經網絡。目前，基于量度的遷移學習網絡有孿生網絡、匹配網絡、原型網絡、關系網絡等模型，其量度方式、特點及缺陷如表1 所示。

表1 基于量度的遷移學習網絡Table 1 Measurement based transfer learning network

1.2.3 對抗遷移學習模型

對抗遷移學習模型中，特征提取器向標簽分類器和域判別器輸出數據特征。其中，標簽分類器根據特征劃分樣本類別，域判別器根據特征判別樣本來自源域還是目標域，兩者通過梯度翻轉層與特征提取器連接。梯度翻轉層會在域判別誤差反向傳播過程中引入平衡系數，使特征提取器不斷縮小源域與目標域特征的邊緣分布距離［22］，最終，域判別器難以辨別數據來自哪個域。域判別器與標簽分類器聯合訓練可以實現特征空間既具有公共性又具有判別性。公共性指不能根據特征區分源域與目標域，判別性指根據這些特征可以進行標簽預測，完成分類任務。對抗遷移學習模型結構如圖4 所示。

圖4 對抗遷移模型結構Fig.4 Structure of adversarial transfer model

1.2.4 基于隨機矩陣的統計指標

以上TCA、基于量度的網絡模型、對抗遷移學習模型都需要構造公共特征空間，這就要求輔助樣本和小樣本之間具有一定的相似性，當不滿足這一條件時，這3 種方法難以實施。隨機矩陣模型（random matrix model，RMM）基于高維統計提取高維多源拼接數據的深層特征，在缺乏可靠輔助樣本時仍然可以基于高維指標判斷電力系統狀態。

RMM 以高維矩陣（電力時空數據）為分析對象，通過特征值、線性特征根統計量、平均譜半徑等特征指標實現對矩陣信息的凝煉。隨機矩陣理論認為在某一事件擾動下，系統的運行機制和內部狀態將會被影響，其統計隨機特性隨之改變，具體體現在特征指標的異常［23］。RMM 通常結合滑動窗口法感知數據實時動態變化，對數據異常、缺失、異步有較好的包容性。

1.3 模型層面的FSL 技術

模型直接關聯數據驅動范式及其各類算法的最終工程效果。模型微調法是基于模型層面的FSL技術?；谠从蛴柧毮Ｐ?，將訓練好的模型參數劃分為凍結部分和非凍結部分。當模型應用于目標域時，對比預測結果與真實結果的差異，通過反向誤差傳播機制更新非凍結部分網絡參數，即可使用少量目標域數據得到基于目標域的模型?；谀Ｐ臀⒄{的遷移學習通常利用神經網絡提取電力數據特征，通過優化網絡層數、神經元個數、凍結層個數提升模型特征提取能力與遷移能力［24-25］。

為提升訓練效率，可以僅對與輸出結果密切相關的分類層進行微調［26］，或先用較大的學習率對非凍結部分進行訓練，再采用較小的學習率對整個網絡進行訓練，通過多階段參數調整提高算法精度并節約訓練時間［27］。為提高模型挖掘源域與目標域共同特征的能力，可以調整感受野的大小生成多種參數和層凍結策略，以分別應用于不同的小樣本數據［28］，或直接采用多尺度卷積核串行疊加和并行拼接的方式有效提取不同層級特征，還可以在源域數據訓練時通過分層遷移保存每層最優權重［29］。凍結層的模型參數是基于源域的先驗知識，體現了源域與目標域的共同特征。因此，模型微調法對源域數據與目標域數據分布相似度的要求較高，源域與目標域數據越相似，需要調整的參數越少，且微調后的模型表現越好。

2 FSL 技術應用于新型電力系統的問題與挑戰

FSL 技術已在多個新型電力系統領域開展了示范應用，但由于FSL 技術本身的特點和局限性，使其工程效果難以保障甚至無法有效應用?？紤]FSL 應用于電力領域，從數據層面看，生成數據的目的是提供能反映原始樣本分布的仿真樣本，但完全相同的數據不符合工程場景動態變化的實際情況；從特征層面看，需要提供具有相似特征的歷史樣本等輔助信息；從模型層面看，參數調整的范圍、路徑都對最終效果有難以量化的影響。

面對上述挑戰，本章綜述FSL 技術在場景生成、故障診斷、功率預測、暫態穩定評估等業務應用場景的研究現狀，并從數據、特征、模型3 個層面依次分析其技術難點。

2.1 數據層面：數據相似性與波動性平衡問題

以深度學習為代表的數據驅動方法憑借其強大的特征提取和高維分析能力，成為新型電力系統感知與預測領域研究的主流選擇。但在新型電力系統中，新加入的大量新能源設備往往不具備良好的數據條件支撐數據建模。通過生成數據增強訓練集，可以直接在數據層面解決樣本不足的問題。近5 年內的通過生成數據解決小樣本問題的部分代表性文獻如表2 所示。

表2 數據生成方法在新型電力系統中的應用Table 2 Application of data generation methods in new power system

由表2 可以看出，當前研究將相似性作為評判生成數據質量的依據，即認為生成數據與歷史數據越相似則質量越好，但高度相似的數據不符合工程場景動態變化的實際情況。因此，部分研究基于不同場景生成數據以滿足場景多樣化需求。文獻［40-41］為考慮氣象條件對新能源功率的影響，分別基于聚類算法、季節和天氣劃分歷史樣本類型，將功率和溫度、輻照強度等氣象數據作為輸入量，通過WGAN-GP 模型構造面向多種氣象場景的高質量光伏功率生成樣本；文獻［42］通過建立噪聲分布與日前場景集之間的映射關系，可以使模型具有多樣性表征能力，生成場景可體現新能源的隨機性。極端（氣候）場景作為影響新能源發電的風險因素，將影響新型電力系統的安全與穩定。場景的極端性需要考慮合適的指標量度，功率平均值、峰谷差值、爬坡率、功率差值等設備狀態量可以有效反映場景極端程度，將這些極端場景指標作為生成模型的附加條件，可以實現在一定范圍內進行極端場景生成。文獻［37］選取合適的轉移因子和歷史數據中較為極端的場景，先對數量較少的極端樣本進行增強處理，再基于WGAN-GP 生成相似場景并入數據集，對原始數據集進行重新分布處理。

以上研究雖然生成了多場景數據，實現了電力應用場景的多樣化，但對考慮生成數據分布波動性的研究較少。波動性與相似性相反，是指生成數據與歷史數據分布的偏差，相似性的不斷提高易導致生成模型泛化能力下降。文獻［43］引入拉格朗日乘子平衡VAE 隱空間維度與生成精度的關系，生成與原始樣本集概率分布相似、時序分布不同的電動汽車充電行為場景集。適當增加生成數據的波動性可以實現與歷史數據的差異化，擴大適用范圍。然而，如何確定合適的波動程度，實現生成數據相似性與波動性的平衡是FSL 技術尚未解決的問題。

2.2 特征層面：輔助樣本問題

除了生成數據擴充訓練樣本，FSL 技術還可以通過特征遷移建立源域與目標域的公共特征空間，實現基于小樣本的感知與預測，這一方法依賴于與目標域具有一定相似性的輔助樣本。例如，在軸承故障診斷領域:電力設備滾動軸承的型號多樣，某些型號的故障數據較少，而且軸承運行工況隨時間動態變化，不同時間區間內的監測數據是對應不同工況的小樣本，但不同型號或不同工況的軸承工作原理相似，其振動信號樣本具有共性特征。文獻［44］通過局部最大均值距離來完成不同工況下同類故障特征的適配，削弱了因電機軸承工況變化造成的數據分布差異，實現變工況場景下軸承故障的有效診斷。

但在實際工程中，可能無法同時提供滿足上述要求的樣本。例如，設備的A 故障和B 故障發生機理相似且影響惡劣，但歷史數據只有A 故障樣本，僅基于A 故障樣本對B 故障進行診斷，這一問題是極端的FSL 問題，也稱為零樣本故障診斷。零樣本問題無法通過生成數據解決。目前，有研究利用專業知識揭示A 故障與B 故障的關聯特征，通過知識嵌入定義潛在語義空間，在特征層面實現零樣本遷移學習，但在電力系統故障診斷領域研究較少。

2.3 模型層面：可解釋性和尋優問題

相比于軸承故障診斷，電力系統暫態穩定評估對時效性的要求更高，評估模型需要滾動式監測以適應系統運行方式和拓撲的變化，一般利用少量實時樣本更新模型局部參數［45］。為快速響應系統狀態變化，部分研究基于系統當前狀態仿真生成樣本，通過樣本遷移擴充訓練集。當系統狀態變化不大時，歷史數據與實時數據分布相似，可以基于模型分類效果篩選歷史樣本作為訓練集［46］；當系統狀態變化較大時，則需要通過仿真生成樣本，并選擇距離相近的可遷移歷史樣本與仿真樣本共同組成訓練集［47］。文獻［48］將模型在線更新分為兩個子階段:第1 階段通過領域自適應挖掘無標注數據信息，初步更新模型快速響應異常；第2 階段通過樣本遷移更新模型參數，直至評估模型性能恢復到較高水平。文獻［49］通過主動學習篩選信息價值較大的少量仿真數據用于更新模型參數，顯著縮短了模型訓練時間。另外，拓撲變化可能會導致模型輸入特征維數改變。當特征維數改變時，模型不僅要更新參數還要調整網絡結構［50］，采用圖神經網絡作為特征提取器可以拓展節點，很好地適應特征維度的變化［47］。

由于調整對象往往是黑箱模型，對提取不同層級抽象特征的網絡進行更新，其效果可解釋性較差。因此，模型參數調整缺乏科學理論的指導體系和系統性的尋優策略，需要人工篩選方案。模型參數調整過程的可解釋性重點包括:1）關鍵特征的可解釋性，提供影響模型決策的關鍵特征及其對模型決策的貢獻度；2）決策機制的可解釋性，實現認識模型參數更新動機、更新機制，在此基礎上形成科學的改進方法。

3 結語

數據驅動及其相關的機器學習和深度學習算法，已經成為新型電力系統建設和數字化轉型的重要支持。在電力領域，針對數據不足的現狀，FSL技術具有廣泛的應用前景。本文從FSL 技術的不同層面（基于數據、特征和模型）介紹了其關鍵技術和特點，并探討了FSL 技術在新型電力系統中場景生成、故障診斷、非侵入式負荷監測、暫態穩定評估等業務的應用現狀。同時，也明確了FSL 技術在電力領域的不足和挑戰，為FSL 技術在電力系統中的應用和發展提供了有益的指導和參考。

電力領域仍然存在許多待研究的FSL 問題。例如，FSL 可以有效地構建電力知識圖譜，這是一個結構化的語義知識庫，需要從文本中提取關鍵信息，形成清晰的知識結構，以管理電力系統中的大量實體、屬性和關聯關系。處理多源異構的文本信息是構建電力知識圖譜的關鍵步驟，而傳統的基于人工或關鍵字索引的方法效率較低，難以滿足信息多樣性和復雜性的要求。FSL 技術可以通過少量標注樣本來完成文本分類和句間關系等任務，從而創建結構明確、關系清晰的電力知識圖譜［51］。此外，電力系統中的隱私保護問題也需要考慮。由于不同利益主體之間存在數據隔離，聯邦學習等方法被用于加密處理數據［52］。引入FSL 技術可以幫助開發更高效的聯邦學習方案，減輕通信和計算負擔。

在推進電力系統信息化、數字化和智能化的過程中，從示范區到全域推廣是必經之路。然而，示范區的歷史數據和經驗相對有限，被視為“小樣本”。如何從示范工程中提取通用性知識，確保其準確性和可推廣性，將試點經驗擴展到整個電力系統，是一個長期面臨的FSL 問題。同時，這也是人工智能領域的共性前沿問題，需要綜合運用復雜系統理論、高維分析、數字孿生等多門新興數據科學技術，進行系統性討論和定量分析。綜上所述，電力系統中的“小樣本”問題將在相當長的一段時間持續構成挑戰。為系統性地解決該問題，需要將專業知識、專家經驗與數據科學有機結合，從而提升FSL 技術的最終工程效果。