?

基于大語言模型的電力系統通用人工智能展望:理論與應用

2024-03-26 02:30趙俊華文福拴黃建偉劉嘉寧程裕恒董朝陽薛禹勝
電力系統自動化 2024年6期
關鍵詞:調度文獻模型

趙俊華,文福拴,黃建偉,劉嘉寧,趙 煥,程裕恒,董朝陽,薛禹勝

(1.香港中文大學(深圳)理工學院,廣東省深圳市 518172;2.深圳市人工智能與機器人研究院,廣東省深圳市 518038;3.浙江大學電氣工程學院,浙江省杭州市 310027;4.廣東電網電力調度控制中心,廣東省廣州市 510030;5.南洋理工大學電氣與電子工程學院,新加坡 639798,新加坡;6.南瑞集團有限公司(國網電力科學研究院有限公司),江蘇省南京市 211106)

0 引言

近年來,全球范圍氣溫持續升高,極端天氣頻發,減少溫室氣體排放以支撐可持續發展已成為21世紀人類社會的重大目標之一。在此背景下,國際上對減少溫室氣體排放達成諸多重要共識,中國也明確提出“碳達峰·碳中和”的目標和具體要求。通過大規模開發利用太陽能、風能等可再生能源,實現全社會減排,已成為國際社會的普遍共識[1]。

為了實現可再生能源對傳統化石能源的替代,構建可再生能源發電占比逐步提升的新型電力系統已成為行業發展共識。根據國家能源局提出的定義,新型電力系統是“以新能源為主體,以創新為根本驅動力、以數智化為關鍵手段的新一代電力系統”[2]。新型電力系統具備“安全高效、清潔低碳、柔性靈活、智慧融合”[2]四大重要特征。通過推動電力生產、傳輸、消費、儲蓄各環節的電力流、信息流、價值流的融合和綜合調配,新型電力系統實現了綠色低碳、安全可控、經濟高效、柔性開放、數字賦能的電力系統。新型電力系統可以明顯提高可再生能源發電的消納能力,顯著降低化石能源發電的占比,從而減少溫室氣體的排放。因此,新型電力系統是實現國家“雙碳”戰略的重要手段和保障。

新型電力系統的發展代表了對傳統電力系統的顛覆性變革。建設新型電力系統將面臨以下重大挑戰[2]:

1)在電力供應安全方面,長期來看,由于電源結構的根本性變化、電力需求的持續增長趨勢以及尖峰負荷特征的日益突出,確保電力供應安全將面臨長期挑戰。

2)在新能源消納方面,隨著新能源轉變為主體電源,其間歇性、隨機性和波動性特點對電力系統的調節能力提出了更高的要求,新能源消納面臨巨大的技術挑戰。

3)在系統運行壓力方面,新型電力系統中高比例可再生能源發電和高比例電力電子設備的“雙高”特性日益凸顯,系統運行壓力持續增加。

4)在新形勢與新業態方面,傳統電力系統的調度方式和技術難以適應海量分布式設備(如分布式電源、新型儲能、電動汽車等)接入、電力市場環境下交易計劃頻繁調整、源網荷儲“多相互動”等新形勢與新業態。

5)在電力市場體制方面,現有電力市場體制與新型電力系統的特征不匹配,難以滿足建設新型電力系統的要求。

要應對這些挑戰,需要從政策、機制、裝備、技術等各方面進行全方位的創新。

人工智能(artificial intelligence,AI)是計算機科學的一個重要分支,專注于研究和開發能夠模擬、擴展和增強人類認知功能的智能機器和軟件。這些功能包括理解、學習、推理、解決問題、感知和語言交流等。大語言模型(large language model,LLM)[3]是近年來AI 領域的重大突破之一。LLM 源自深度學習和自然語言處理(natural language processing,NLP)的交叉發展。深度學習架構Transformer 的出現使得LLM 的能力獲得了本質性的突破。Transformer 架構通過自注意力機制解決了自然語言處理中長期存在的長距離依賴問題,使模型能夠處理更長的文本序列。目前,以ChatGPT(chat generative pre-training transformer)為 代 表 的LLM已經在機器翻譯、文本摘要、問答系統、文章編寫、自動繪圖等眾多領域中獲得廣泛應用。ChatGPT 在2022 年11 月推出后,僅用2 個月時間就實現了用戶數破億,是史上用戶數增長最快的互聯網應用。

研究發現,具有千億參數量的LLM 在各種多模態任務中展現出傳統AI 模型不具備的強大常識理解和邏輯推理能力。這意味著LLM 已為通用人工智能(artificial general intelligence,AGI)技術的發展奠定了初步基礎。AGI 指在大多數任務中具有超越人類能力的自主智能系統[4]。一般認為,AGI 系統應具有以下能力[4]:

1)推理、策略、解決問題和在不確定環境下做出決策:能夠處理復雜的問題和任務,并且在面臨不確定性和模糊性時做出正確的決策。

2)理解和表示知識:能夠學習和理解各種類型的知識,并以可操作的形式表示這些知識。

3)規劃:能夠規劃未來的行動和決策,并且考慮多種可能性和場景。

4)學習:能夠從經驗中學習和改進自己的行為和決策,并自適應地適應新環境和新任務。

5)自然語言處理和交互:能夠理解和處理人類的自然語言,并與人類進行有效的交互和溝通。

AGI 技術的實現將為構建更加智能的電力系統和解決新型電力系統所面臨的挑戰提供新路徑。LLM 已在一定程度上具有了AGI 的基本特征。本文旨在探索基于LLM 構建的AGI 技術在電力系統中的潛在應用,討論LLM 可為電力系統研究和工程應用帶來的發展和挑戰,并展望以LLM 為基礎的電力系統AGI 理論體系和實現技術的發展前景。

1 LLM

LLM[3]是一種利用大規模文本語料進行預訓練與微調的深度學習語言模型,能夠理解和生成與人類語言相似的表達。預訓練語言模型(pretrained language model,PLM)[5]以神經網絡為基礎,通過在大量無標注文本上進行無監督學習,學習文本的統計規律和語義信息,然后在特定的下游任務進行微調,以提高任務性能。LLM 與PLM 有相似的架構和預訓練任務,區別在于LLM 使用了更多的模型參數和訓練數據,例如BLOOM(bigscience large open-science open-access multilingual)模型[6]有1 760 億個參數,PaLM(pathways language model)模型[7]有5 400 億個參數。LLM 能夠處理更長的文本輸入,并具有更強的上下文感知能力。研究表明,與參數量較小的PLM(例如110 億個參數量的T5[8])相比,LLM 在一些少樣本(few-shot)或零樣本(zeroshot)的任務中,表現出了超越人類水平的涌現能力[9],即不需要額外的訓練數據或標簽,就能夠完成特定的任務。LLM 已經在多個領域得到廣泛的應用,例如常識對話、文本生成、邏輯推理等,并取得了令人矚目的成果。

1.1 LLM 的原理、方法與實現技術

LLM 的基本原理是通過神經網絡來進行序列建模。它將輸入的文本序列映射到輸出的文本序列,中間通過多層Transformer 網絡[10]進行信息的傳遞和處理。Transformer 網絡能夠在不同位置的單詞之間建立關聯,從而捕捉長距離的依賴關系。在輸入文本的位置編碼方面,部分LLM(例如LLaMA(large language model meta AI)模 型[11]、PaLM 模型)使用了基于絕對位置特定的旋轉位置編碼(rotary position embedding,RoPE)[12],以增強模型的上下文感知能力。這些網絡結構能夠有效捕捉到序列數據中的長期依賴關系,并且具有強大的表達能力。LLM 的訓練方法是通過在大規模語料庫上進行無監督的預訓練,學習語言的統計規律和語義信息,然后在特定任務或者數據集上進行有監督的微調,以達到更好的性能。

LLM 的實現技術包含深度學習框架、分布式訓練和模型壓縮等。深度學習框架(例如TensorFlow框架[13]和PyTorch 框架[14]等)是指提供了豐富的神經網絡模型和優化算法的軟件平臺,方便研究人員快速搭建和訓練LLM。分布式訓練技術(例如DeepSpeed 技術[15])可以將LLM 的訓練過程分布到多臺服務器上,利用分布式計算技術可對訓練進行可觀的加速。模型壓縮技術通過量化[16]和蒸餾[17]等方法,減少LLM 的參數量和計算量,提高模型推理和計算的效率和性能。

1.2 LLM 的神經網絡結構及訓練方法

在 LLM 中,常用的神經網絡結構為Transformer,包含編碼器與解碼器兩部分,如圖1 所示。其中,編碼器負責將輸入的文本序列轉換為高維表示,以便后續處理。編碼器由多個相同的層堆疊而成,每個層都包含2 個主要子層:多頭注意力與前饋神經網絡。多頭注意力將每個位置的單詞與其他所有位置的單詞建立注意力關系,從而捕獲全局的上下文信息;前饋神經網絡將每個位置的向量映射到更高維度的空間,有助于模型捕獲更復雜的語義信息。每個子層后都有累加和層標準化,以穩定訓練并加速收斂。編碼器融合輸入序列的特征,采用多層堆疊結構便于模型的逐層提取。而解碼器與編碼器不同的是,在解碼器中還引入了遮蔽多頭注意力,用于對輸入序列和當前解碼位置的輸出建立關聯,以便生成所需的輸出序列。相比于傳統的循環神經網絡[18]與長短期記憶網絡[19],Transformer 網絡通過自注意力機制實現對全局信息的建模和更高效的特征抽取,且能在訓練過程中有效防止梯度爆炸與梯度消失等問題,使語言模型的參數量可以擴展到千億級別。

圖1 Transformer 架構Fig.1 Transformer architecture

不同語言模型使用的Transformer 網絡結構不盡 相 同。 例 如,BERT(bidirectional encoder representations from transformers)[20]和RoBERTa(robustly optimized bert pretraining approach)[21]使用編 碼 器 結 構(encoder-only);GPT(generative pretraining transformer)[22]和GPT2[23]使 用 解 碼 器 結 構(decoder-only);T5 使用編碼器-解碼器(encoderdecoder)結 構;GLM-130B[24]使 用 前 綴 解 碼 器(prefix-decoder)結構。目前,LLM 使用最多的底層結構是解碼器結構,因為該結構相比于其他結構更有利于文本生成[25]。

LLM 的訓練方法通常采用預訓練和微調的策略。預訓練階段通過無監督學習,讓模型學習到語言的潛在表示。在微調階段,通過在特定任務上進行監督學習,進一步優化模型的性能。在預訓練階段,通常采用無監督學習方法,例如使用自編碼器或語言模型進行訓練。在預訓練階段,模型通過學習大規模的文本語料庫,構建了對語言的潛在表示。預訓練的目標是使模型能夠學習到語言的統計規律和語義信息。預訓練數據一般使用網頁、書籍、對話文本、代碼等作為語料。預訓練任務一般為語言模型任務。給定一個文本序列S={s1,s2,…,sn},語言模型任務目標是基于序列中前序文本s1,s2,…,si-1,通過自回歸地預測目標文本si。目標函數L(s)可表示為如式(1)所示的最大似然函數。

式中:n為文本個數;P(·)為似然函數。

在預訓練完成后,LLM 將進入微調階段。在微調階段,模型的參數會根據任務的損失函數進行優化,使其更好地適應具體任務的要求。PLM 微調的任務是通過在特定場景進行訓練,而LLM 使用指令微 調(instruction tuning)與 對 齊 微 調(alignment tuning)進一步優化模型的性能。

指令微調的本質目的是將自然語言處理任務轉換為自然語言指令,再將其投入模型進行訓練,通過給模型提供指令和選項的方式,使其能夠提升零樣本任務的性能表現。具體而言,需要構建多任務指令集合,其中一個格式化的指令實例包括一個任務描述指令、一對輸入(input)與輸出(output)以及少量示例。指令微調后,LLM 可展現出處理泛化到再訓練過程中從未見過任務的卓越能力。為增強模型推理能力,可采用思維鏈(chain-of-thought)指令微調策略[26],LLM 在微調過程中可以利用包含在中間推理步驟的提示機制來解決這些任務,得到最終答案。

部分LLM 如InstructGPT[27]完成指令微 調后,會額外使用對齊微調,目的是讓LLM 輸出內容更加可靠、安全,符合人類的偏好。研究人員提出了基于人類反饋的強化學習(reinforcement learning from human feedback,RLHF)[28],通過 獎勵模 型使LLM產生的文本更符合人類期望的回答。RLHF 的第1 步是訓練獎勵模型,將指令數據集輸入LLM 并得到一定數量的輸出文本。然后,讓有領域經驗的標注人員進行排序標注,再訓練獎勵模型來預測文本的排名。第2 步是強化學習微調,在InstructGPT中會使用近端策略優化(proximal policy optimization,PPO)[29]來針對第1 步訓練的獎勵模型進一步優化LLM。其中,強化學習的狀態為生成的文本序列,動作空間為LMM 的詞匯庫,獎勵模型的排序分數為獎勵。

1.3 LLM 的智能水平

現有研究表明,LLM 在邏輯推理、編程與代碼理解、數學推理等領域展現出了遠超傳統AI 技術的智能水平。

1.3.1 邏輯推理

邏輯推理任務需要LLM 運用常用知識與一般事實的邏輯關系和證明來解答任務所提出的問題,一般而言,可分為常識理解推理與科學推理。目前的研究主要通過特定的常識理解或科學問答數據集來評估不同類型推理的能力。例如,常識理解推理可使用CommonSenseQA 數據集[30],而科學推理可使用ScienceQA 數據集[31]。對于任務評測方法,除了人為評測以外,還可以使用如雙語互譯質量評估(bilingual evaluation understudy, BLEU)[32]、ROUGE (recall-oriented understudy for gisting evaluation)[33]等指標來評估生成的推理過程質量。這些任務要求LLM 根據事實和知識逐步進行推理,直至給出問題的答案。其中,大型語言和視覺助理(large language and vision assistant,LLaVa,即GPT-4)[34]在ScienceQA 數 據 集 上 評 價 得 分 最 高(92.53 分),超過了人類平均評分(88.40 分)。

1.3.2 編程與代碼理解

相比于預訓練語言模型,LLM 在生成和理解格式化語言方面有顯著的突破,尤其是在生成和理解計算機程序和代碼方面,這種能力被稱為編程和代碼理解。與生成自然語言不同,生成的代碼可通過相應語言的編譯器進行編譯運行,可基于此評估生成代碼的準確率。目前的研究主要通過計算測試用例的通過率來評估LLM 生成代碼的質量。近期已有研究提出了評測代碼正確率的基準數據集,用于評 估LLM 的 代 碼 生 成 能 力,例 如,APPS[35]與HumanEval[36]?;鶞蕯祿喾N編程問題,每個編程問題包括題目描述和用于檢查正確性的測試用例。文獻[37]評測發現GPT-4[38]的編程與代碼理解能力在LeetCode 評測集上pass@1 與pass@5已經超過了人類平均水平。此外,LLM 還可以理解、注釋和修正現有的代碼。文獻[37]闡述了可以通過問答方式讓LLM 對已有代碼進行修改,經過文本提示,可以描述一個深度學習中全新的梯度下降算法,GPT-4 可以理解提示文本內容,實現編碼并成功編譯。

1.3.3 數學推理

數學推理任務一般包含數學計算任務或者推理證明任務。任務需要LLM 使用基本數學知識、邏輯與計算來解決任務提出的計算問題或者生成證明過程,并且需要按照推理過程生成逐步的中間推導過程與答案。LLM 中評估數學推理能力常用的數據集 包 含GSM8K[39]和MATH[40]數 據 集。其 中,GSM8K 是小學數學數據集,MATH 是高中數學數據集。LLM 需要根據描述生成準確的具體數字、方程以及推理證明過程來回答數學問題。目前,數學推理能力表現較好的LLM 有GPT-4、Minerva,其中,性能最好的模型為GPT-4,在GSM8K 和MATH 數據集的準確率分別達到了87.1% 和42.5%[37]。

從總體來講,LLM 展現了在邏輯推理、編程與代碼理解以及數學推理領域的強大能力,并在某些任務評測中超過了人類的平均水平。然而,LLM 還是會在復雜推理中出現上下文不一致[41]與數值計算偏差[42]的問題,這可以通過細化思維鏈及指令數據方式進行改進。

根據AGI 的定義[3],LLM 已經具備了AGI 的基本特征。AGI 系統應具備推理、學習、理解與表示知識、規劃以及自然語言交流等能力,而LLM 已經在這些方面取得了重要進展,能夠通過邏輯推理和證明解決問題,理解和生成復雜的計算機代碼,并在數學推理中展示出準確的解題能力。目前,雖然仍存在一些挑戰和局限性,但LLM 展現的強大能力為構建AGI 系統提供了有力的基礎。

2 LLM 在新型電力系統中的應用展望

LLM 在新型電力系統中具有廣泛且前景可期的應用潛力,這些應用場景包括但不限于電力系統負荷預測與發電出力預測、電力系統規劃、電力系統運行、電力系統故障診斷與系統恢復以及電力市場等領域,具體如圖2 所示。

圖2 LLM 在新型電力系統的應用展望框架Fig.2 Framework for application prospect of LLM in new power system

2.1 電力系統負荷與發電出力預測

電力系統的獨立系統運營商(independent system operator,ISO)通過準確的電力系統負荷與發電出力預測實現經濟安全的電力系統運行規劃和管理。該部分從用戶行為理解與用戶畫像、負荷預測以及間歇性電源出力預測3 個角度分析LLM 的潛在應用。

2.1.1 用電行為理解和用戶畫像

電力用戶行為理解和用戶畫像構建通過分析和理解電力用戶在不同時空條件和系統環境下的行為特征,構建用戶行為畫像,為負荷預測、節能減排以及需求側資源聚合控制等問題提供用戶行為方面的預測信息。目前的用戶行為分析主要針對的是居民用戶、商業樓宇以及電動汽車用戶。

近期研究中,通常采用聚類方法或者社會心理學方式來對用電行為進行理解。文獻[43]使用自編碼器和聚類方法分析了復雜電網環境下的居民用戶和電動車用戶的用電行為特征。文獻[44]從社會心理學角度分析了影響人們能量消費的重要因素,如家庭成員數量、年齡構成、教育程度、經濟狀態、房屋類型等。文獻[45]通過分析用戶活動、使用電器及其時間來了解家庭用電特征。文獻[46]研究了瑞士第一個真實世界的點對點能源市場中家庭和商業實體的行為。文獻[47]基于聚類方法分析了工商業用戶的負荷特征,用于電力套餐設計。

目前,以電表為基本單位的用電行為模式研究正向更精細化的以個人和設備為基本單位的用電行為模式轉變,進而考慮天氣變化、心理偏好、社會環境等超出能源系統環境的因素,理解差異化的用電行為并構建精準用戶畫像。但是,由于天氣、心理、社會等數據獲取困難,且現有數據樣本量較小,難以實際支撐具體的分析研究。LLM 的強泛化能力減少了對用戶標注數據的依賴,有助于解決用電行為分析中用戶特征缺失、多源數據融合困難等問題。同時,利用LLM 的潛在知識和理解能力,有望實現以自然語言為核心,基于數據的用戶行為理解方法。

2.1.2 負荷預測

負荷預測利用歷史和實時負荷數據、季節變化、節假日條件、天氣狀況等信息預測未來一段時間內的電力系統負荷需求。負荷預測按照預測時間長短可以劃分為短期預測、中期預測與長期預測。

文獻[48]提出利用卡爾曼濾波和微調技術解決無法捕捉特殊社會狀態下的短期負荷預測問題。文獻[49]提出一種結合遷移學習和圖神經網絡的短期電力負荷預測方法,以解決新居民用戶缺少數據的問題。文獻[50]提出一種集成機器學習的中期負荷預測方法。文獻[51]提出一種基于長短期記憶網絡的配電網饋線長期負荷預測方法??紤]多能負荷之間的空間耦合關系和時間耦合關系,文獻[52]提出一種基于ResNet-LSTM(residual network and long short- term memory)網絡和注意力機制多任務學習的預測方法。

可以發現,目前大部分機器學習方法需要海量數據的支撐才能實現負荷的精準短期預測,但新增用戶和低頻用電場景下的數據匱乏問題仍待解決。而LLM 在通用數據上進行預訓練和學習,遷移能力強,其小樣本學習能力有望解決該問題。對于中長期負荷預測問題,如何選取合適的經濟、氣候和社會環境特征并生成數據是主要問題。LLM 學習了大量的通用知識,經過少量領域數據進行微調,便可以通過提問、對話和提示(prompt)命令等方式形成專門的數據集。在解決可信度等問題的基礎上,LLM可以解決長期負荷預測的特征選擇和非用電數據生成問題。

2.1.3 間歇性電源出力預測

間歇性電源出力預測主要針對風能和太陽能等間歇性電源,基于歷史和實時發電數據、天氣狀況等信息,預測未來一段時間內的電源出力。不同類型的可再生能源出力由于間歇性和波動性體現的時間尺度(分鐘級、小時級和日級)和因素不同,在出力預測時間和特征選擇上存在一定的差異。

現有研究一般基于機器學習或者深度學習模型結合多種數據源進行出力預測。文獻[53]總結了不同類型可再生能源的出力預測方法和變化性評估方法。文獻[54]提出一種基于貝葉斯模型,適用于小時以上不同時間尺度的光伏出力概率預測方法。文獻[55]基于衛星圖像數據結合時空圖神經網絡追蹤云運動變化,以預測短期的太陽能出力。文獻[56]提出一種利用超分辨率技術提高超短期風力預測準確性的方法。文獻[57]提出一種基于雙重注意力長短期記憶網絡的超短期海上風電出力預測方法。

目前,間歇性電源出力預測向超短期預測發展,并且越來越多地考慮天氣因素的影響。與負荷預測類似,新能源的數據匱乏和高頻出力數據缺失是當前的重要問題之一。LLM 的小樣本數據學習能力和知識遷移能力有望幫助間歇性電源實現更準確的超短期預測。同時,LLM 的知識提取能力有望幫助超短期出力預測提供實時的天氣信息。

2.2 電力系統規劃

電力系統規劃以滿足電力需求增長、系統安全運行、可再生能源消納、系統整體經濟性等為目標,對電力系統的發電資源配置、電網結構等進行綜合性規劃。本節從不確定性模擬、規劃場景生成和規劃方案優化3 個角度分析LLM 的潛在應用。

2.2.1 不確定性模擬

不確定性模擬基于歷史數據和專家知識模擬電力系統的不確定性因素(例如負荷、可再生能源、經濟環境等)變化的可能性來評估電力系統規劃方案的預期和風險。對不確定性因素的選取與概率分布的合理假設是不確定性模擬需要解決的核心問題。

已有研究中一般使用馬爾可夫鏈或者蒙特卡洛方法進行不確定性模擬。文獻[58]針對天氣、光伏和暖通空調構建概率密度函數和馬爾可夫鏈,并用于配電網規劃問題。文獻[59]選取電源點和負荷作為系統的不確定性,并直接給定了具體概率。文獻[60]考慮了負荷、能源價格、風電出力和設備可用性的不確定性,并對前3 個特征的不確定性構建最壞場景,最后一個特征的不確定性采用蒙特卡洛采樣。文獻[61]提出一種改進馬爾可夫鏈的蒙特卡洛模擬方法,同時考慮時間獨立性和不同資源的關聯性。文獻[62]結合蒙特卡洛模擬和價值風險指標解決可靠性評估問題。

盡管大部分因素的概率分布是可以確定的,例如風電出力服從Weibull 分布、負荷服從正態分布,但是采樣數量隨特征數量和時間長度呈指數級增加,難以準確模擬系統所有的不確定性因素。對于特定置信度/區間下的不確定性模擬和復雜依賴關系下的不確定性模擬問題,LLM 在微調后有望基于知識生成直覺性的模擬結果,以節省采樣計算時間并達到近似的結果。同時,LLM 通過專家反饋學習,還有望實現基于不確定性模擬結果的電力系統風險評估。

2.2.2 規劃場景生成

在電力系統規劃中,規劃場景生成主要利用歷史數據、算法和專家知識,生成差異性的未來典型場景,以支撐系統規劃和擴展,評估規劃方案的效果。根據規劃目標、系統特點和時間長度的不同,規劃場景生成和選擇的方法也不盡相同。

文獻[63]用分層聚類獲取代表日作為可再生能源不確定性的場景表示,以求解發電和輸電擴展問題。針對輸電擴展規劃問題,文獻[64]提出一種以成本為目標的動態場景聚類方法。文獻[65]針對具有互相依賴特性的熱電聯產能源系統擴展規劃問題,考慮了基于歷史數據的負荷和可再生能源出力場景。文獻[66]提出一種利用故障特征和故障網絡特點進行規劃場景選擇的方法。文獻[67]針對電力系統擴展規劃的信息物理系統協同安全提出一種多種系統攻擊場景生成方法。

規劃場景生成方法絕大部分是針對特定電網目標和結構,難以將已有的場景快速遷移到具有不同結構、出力、負荷等特性的電網中,且需要選擇代表性場景以減少場景數量。通過微調學習不同場景生成方法在各類型電網多種狀態下的典型規劃場景特征,LLM 有望實現規劃場景的自動生成,即通過自然語言描述自動生成典型規劃場景,并調整優化具體場景。例如,通過輸入“考慮新能源、負荷和網絡信息攻擊,生成20 個IEEE 30 節點系統的典型場景”,可以依靠LLM 直接完成。

2.2.3 規劃方案優化

規劃方案優化通過物理模型和不確定性場景描述系統特征,以經濟性、安全性、可再生能源消納等為目標,利用優化算法求解最優的電力系統規劃方案。由于目標和場景的差異性,模型選擇上也存在差別。

目前,已有的研究通常根據不同目標使用優化算法來求解規劃方案。文獻[68]考慮了可再生能源裝機容量和環境成本目標,提出一種結合容量規劃和運行優化的兩階段優化方法。針對具有能源-水-排放關系的區域電力系統規劃問題。文獻[69]綜合多種優化方法,提出一種解決沖突和順序目標的優化框架。文獻[70]總結了高比例可再生能源下電力系統規劃優化中的系統模型、約束條件和不確定性因素。文獻[71]提出一種考慮投資成本、系統效率和系統可靠性的離岸風力發電場規劃模型。文獻[72]提出一種基于合作博弈的共享儲能與分布式光伏容量協同規劃方法。

總體來說,規劃方案優化是一個構建模型、確定約束和不確定性、優化求解的過程,而LLM 主要可以從兩方面改進這個過程。一方面,盡管規劃優化能夠求解得到規劃方案,但是該方案難以被直觀理解,LLM 的自然語言生成能力可以應用于優化方案自動解釋中,通過對比理解不同方案,生成最優方案的自然語言說明;另一方面,規劃方案優化需要考慮不同的模型和約束條件,以求解得到更準確的規劃結果。但是,過于復雜的模型和約束會導致優化難以求解。因此,需要大量嘗試不同的模型和約束條件。通過訓練規劃方案與模型和約束之間的關系,LLM 有望通過自然語言快速生成對應的規劃模型和約束條件,以減少電力系統規劃的工作量。

2.3 電力系統運行

電力系統在運行過程中,不僅需要調度模型進行最優調度決策,還需要調度員根據實時負荷偏差通過操作票對發電機組、線路等設備進行人為調度修正。本節從以調度員為核心,圍繞調度員經驗提取、調度建模、調度決策、操作執行和電力系統態勢感知5 個角度分析LLM 的潛在應用。

2.3.1 調度員經驗提取

調度員經驗提取的目標是通過從調度員調度數據中獲取對調度調整、緊急事件處理等系統運行相關的經驗和知識,以幫助新調度員快速學習調度知識、提供緊急調度輔助優化決策以及調度模式分析等。

現有的相關研究相對較少,主要采用知識圖譜和生成對抗網絡方法提取調度員的行為經驗。文獻[73]通過構建配電網拓撲知識圖譜實現配電網拓撲識別。文獻[74]提出一種構建電網調度知識圖譜的方法。文獻[75]總結和展望了知識圖譜在電力系統調度和運作的潛在應用。文獻[76]針對短期調度任務提出一種基于生成對抗網絡的調度行為學習方法。

現有的調度員經驗提取方法最大的問題在于提取的經驗可拓展性和可遷移性較弱,難以形成通用和全面的電網調度經驗知識并適用于具有不同網架結構、負荷、出力以及設備特點的電網。利用LLM泛化性強的特點,可以將調度員行為數據總結為更加通用的、可解釋的調度經驗知識,以改進結構化知識的弱點。

2.3.2 調度建模

調度建模通過對電力系統拓撲、設備狀態和運行規則進行建模,以支撐電力系統調度決策和分析。根據系統特性、設備條件、系統約束等不同,調度建模也不盡相同。

近期研究中,一般根據不同場景建立目標優化模型。文獻[77]考慮了5 種不同的調度模式和動態碳排放交易系統,提出了風光火一體化多能源混合電力調度模型。文獻[78]針對火電、水電和可控負荷作為可調度資源的電力系統,提出一個日前調度模型。文獻[79]由可再生能源和能源中心組成的孤島電網進行分布式運行管理。文獻[80]針對區域綜合能源系統提出了考慮可再生能源不確定性和電動汽車的多目標優化模型。文獻[81]針對信息物理融合的微能源網,提出綜合多種因素的統一調控模型。

目前,調度建模正向多能源種類、多設備類型和多系統融合發展,這將導致調度建模越來越復雜,對調度員的要求越來越高。與程序代碼類似,LLM 有望從兩方面輔助調度員進行調度建模。一方面,可以利用LLM 對建好的調度模型進行特性解釋,生成調度員可以理解的模型特征描述,例如,設備類型、能源種類等;另一方面,基于自然語言生成和改進調度模型的設備、約束等函數,可減少調度員構建模型的工作量。

2.3.3 調度決策

調度決策基于調度模型和優化目標求解包括啟停機計劃、發電機組出力、輸配電線功率、可控負荷等控制變量,以滿足電力系統經濟安全低碳運行需求。在這個過程中,調度員要根據經驗對調度決策結果進行分析評估和調整。

目前已有研究中通常采用目標優化或者博弈方法進行建模。文獻[82]提出一種同時考慮經濟成本、電壓偏差和統計電壓穩定指數的多目標調度方法。文獻[83]提出一種基于Stackelberg 博弈的綜合能源系統低碳經濟調度方法。針對園區綜合能源系統,文獻[84]提出一種以經濟和環境為目標的優化調度方法,并考慮了碳市場的影響。文獻[85]提出一種基于有限時間共識的分布式優化算法來解決經濟調度問題。文獻[86]采用滾動優化方法在線求解每個調度時段的孤島運行方案,并提出了間歇性電源的有功出力控制策略。

多目標是未來電力系統調度決策的重要發展方向,這需要調度員從經濟性、安全性、低碳性、各個主體的博弈關系、與其他能源系統的配合等多個角度綜合評價調度決策的好壞,增加了判斷的難度。

LLM 可以對決策進行快速評估,輸出自然語言的決策評估結果,以幫助調度員快速分析調度決策在各個維度的表現。同時,調度員可以利用自然語言讓LLM 提供決策改進建議,以輔助調度員進行快速的調度決策調整。

2.3.4 操作執行

操作執行是將調度決策落實到電力系統的實際操作過程。具體而言,就是調度員根據經驗進行調度計劃的調整,并編寫操作票。

目前還沒有專門針對操作執行的具體研究。在寫作輔助任務方面,LLM 已經表現出強大的上下文生成和泛化能力。文獻[87]提出一種基于LLM 的AI 輔助郵件寫作工具。文獻[88]探索了指令微調在不同寫作輔助場景對LLM 的改進效果。

與其他寫作輔助任務類似,經過特定任務微調后的LLM 可以根據調度員的調度決策關鍵信息生成規范化的業務操作票,以節省調度操作執行的時間。

2.3.5 電力系統態勢感知

電力系統態勢感知針對大規模復雜電網系統狀態難以直觀理解的問題,通過歷史和當前電網的測量數據,基于事件分析和系統狀態預測算法實現對電力系統狀態的監測、分析和預測,并通過可視化技術展示結果。

已有研究通常使用基于測量系統或者神經網絡方法進行態勢感知。文獻[89]提出一種基于廣域測量系統的同步發電機一致性檢測方法,用于電力系統態勢感知中。文獻[90]提出一種基于配電網相位測量單元數據的事件提取和檢測方法。文獻[91]提出基于卷積神經網絡和長短期記憶網絡的態勢感知方案,用于檢測故障位置和預測穩定性。文獻[92]利用遷移學習解決電力系統少樣本事件的識別問題。文獻[93]分別對電力系統態勢感知在電力系統事件監測、電力系統事件辨識、電力系統風險預測、態勢可視化技術、廣域控制和風險調度進行了技術總結和展望。

現有電力系統態勢感知的難點在于如何融合多類型事件識別結果形成未來態勢預測,并可視化展示。LLM 可以將態勢預測數值結果轉化為調度員可以理解的系統態勢自然語言表示,然后結合圖像化插件,形成可視化態勢感知展示結果,以輔助調度員快速理解系統整體運行態勢。

2.4 電力系統故障診斷與系統恢復

電力系統故障診斷通過對監測信息和報警信息的分析確認故障的類型、位置和原型,并采用設備修復、切機切負荷、主動解列等措施將電力系統恢復到正常狀態。本節從設備故障診斷、輸電和配電系統故障診斷、輸電系統恢復和配電系統恢復4 個角度分析LLM 的潛在應用。

2.4.1 設備故障診斷

電氣設備故障診斷針對不同類型設備結構和功能特性,利用氣體、光學等傳感器數據信息進行設備的故障特征提取與分類。不同類型設備的監測數據和故障診斷方法差異較大。

目前,已有研究中一般基于不同的傳感器數據整合及處理方式進行故障診斷。文獻[94]基于有載分接開關振動信號數據,提出一種基于同源異構數據特征融合的機械故障診斷方法。文獻[95]基于變壓器溶解氣體分析數據,提出一種結合序貫卡爾曼濾波的故障診斷方法。文獻[96]提出一種基于定子電力和振動信號的感應電動機多類型故障診斷方法。文獻[97]提出一種基于紅外圖像切割和溫度分析的變電站絕緣子故障診斷方法。文獻[98]提出基于數字孿生的小型變壓器管開路故障診斷方法。

設備故障檢測主要利用感應數據進行故障類型識別,但各類型故障數據量小,環境、天氣、系統等外部因素難以采集是設備故障監測的主要難點。LLM 的泛化性優勢有望幫助設備故障檢測解決該問題,即利用小樣本微調學習適合于目標設備的診斷模型。同時,LLM 也可以基于診斷結果和系統狀態自動生成故障診斷綜合報告,減少后續決策時間。

2.4.2 輸電和配電系統故障診斷

電網故障診斷需要從故障數據和監測數據中快速匹配故障特征,分析故障的原因和位置,為故障恢復提供可靠依據。輸電系統故障診斷主要涉及高壓輸電線路、變電站等設備的故障,而配電系統故障診斷主要涉及低壓配電線路、配電變壓器等設備的故障。

在目前的研究中,通?;诜蔷€性或者深度學習模型進行故障診斷。文獻[99]考慮電力物聯網信息下,基于分布式相位測量單元數據判斷故障位置和類型。文獻[100]提出一種基于深度學習的紫外線-可見光視頻處理方法,用于配電網線路故障診斷。文獻[101]提出一種針對主動配電網的高阻抗故障診斷的非線性等效模型。文獻[102]通過將自覺模糊邏輯加入脈沖神經P 系統,提出一種改進的電力系統故障診斷方法。文獻[103]提出一種基于卷積神經網絡的交直流輸電系統故障診斷方法。

輸配電系統故障診斷情況復雜、可能影響因素多且存在信息誤報和多故障同時發生的可能性,很難做到對所有的故障類型同時診斷。LLM 的通用性有望將不同類型故障診斷的知識學習融匯到一個模型中,實現多類型故障的同時診斷。

2.4.3 輸電系統恢復

輸電系統恢復的目標是在發生輸電系統故障后,恢復輸電系統的供電能力和穩定性,更關注輸電網解列后子系統如何快速協調恢復的問題。

目前,一般采用整數規劃求解方法來完成輸電系統恢復。文獻[104]提出一種基于兩階段混合整數線性規劃問題的自適應輸電系統恢復決策方法,以減少系統恢復時間。文獻[105]提出雙層決策的多分區輸電網系統恢復方法。文獻[106]針對高風電滲透率的輸電系統恢復,提出一種魯棒分布式的并行子系統協調方案。文獻[107]提出一種計及通信系統失效的信息物理協同恢復策略。

輸電網恢復需要在確保電網安全的基礎上采用多階段方式逐步恢復電網穩定輸電的能力,在高比例新能源滲透的情況下其安全性和穩定性愈發難以保障。LLM 更適用于對恢復方案的多維度安全綜合評估,以輔助調度員進行恢復方案調整和確認。

2.4.4 配電系統恢復

配電系統恢復主要涉及修復故障設備、恢復接通用戶和運行備用設備等操作,以恢復配電系統的供電服務能力。

在已有研究中通常使用調度與協調方式完成配電系統的恢復。文獻[108]提出一種考慮柔性軟開關的多周期配電系統恢復模型。文獻[109]提出一種考慮電-水-氣互相依賴的配電系統恢復方法。文獻[110]提出一種協調維修人員、移動電源、可再生能源和儲能資源的穩健恢復方法。文獻[111]通過調度分布式能源、配電系統控制設備的輸出以及輸電系統恢復的功率消耗,逐步恢復配電系統平衡。文獻[112]提出一種考慮間歇性電源出力不確定性的配電系統恢復模型。

相對于輸電系統恢復,配電系統恢復可控對象更少,決策時間更短,更容易形成標準化的恢復方案。一方面,LLM 可以基于調度員的語言提示快速生成恢復方案,并通過具體標準進行評價,以幫助調度員快速選擇合適的恢復方案;另一方面,對于維修人員,LLM 可以通過視頻接入實現恢復過程中的設備操作指導和監督,進一步確保操作人員的行為安全。

2.5 電力市場

目前,很多國家和地區都在經歷深刻的電力市場化變革。美國、歐洲、澳大利亞等已從傳統的壟斷型電力體制轉向更加開放和競爭的電力市場模式,以提高效率和鼓勵創新。從2015 年開始,中國的電力市場改革也正在快速推進。在電力市場改革的推動下,正在逐步引入競爭機制,同時也在積極推動電力系統的清潔和智能化。

電力市場研究涵蓋了一系列復雜且相互關聯的問題和環節,主要包括電力市場建模、電力市場決策、電力市場機制設計等。LLM 在這些問題中均有很大的應用潛力。

2.5.1 電力市場建模

電力市場建模是對電力市場進行定量研究的基礎。典型的電力市場模型包括以下幾個方面。首先,它涉及物理電力系統的建模,包括發電機、電力網絡和負荷。其次,需要構建電力市場交易機制的模型,例如現貨電力市場的出清機制模型。最后,還需要構建市場參與者交易行為的模型。其中,對物理電力系統和電力市場交易機制的建模研究相對成熟,但市場參與者行為的建模仍面臨許多未解決的挑戰。

在經濟學的傳統研究方法中,交易行為的建模主要依賴于博弈論或優化模型,這些模型的優勢在于它們擁有嚴謹的理論基礎。然而,這些模型通常需要對市場參與者做出嚴格的理論假設,例如理性人假設或完全信息假設,這些假設在真實市場中可能并不總是成立,從而可能導致模型結果與市場實際情況的偏差。而利用機器學習等AI 技術可以基于歷史數據,對市場主體交易行為進行更加精確的建模。文獻[113]對基于AI 的電力市場建模研究進行了較為完整的論述?,F有文獻已將監督學習(如神經網絡與支持向量機)、無監督學習(如聚類算法)、智能優化(如遺傳算法)等多類AI 技術應用于解決電力市場交易行為建模問題。相關研究覆蓋了主網市場、配電網市場、微電網交易、端到端(peerto-peer,P2P)交易等多種市場類型[113]。

雖然基于機器學習技術的交易行為建模方法可以不受傳統經濟學理論假設的限制,但這些方法屬于數據驅動方法,需要足夠的歷史數據保證模型準確性。在實際應用中,可能面臨歷史數據不足,或在市場基本面發生結構性變化時,模型泛化能力差等難題。如1.3 節所示,LLM 在很多應用中已經展現了遠超傳統機器學習方法的常識理解和邏輯推理能力。因此,LLM 在少樣本和無樣本的應用中具有顯著優勢。文獻[114]研究表明,基于ChatGPT 可以在不需要歷史數據的情況下,真實地模擬人類在一個小型社區中的常識性行為?;陬愃扑悸?,在市場建設初期、歷史交易數據不足或難以獲取、市場基本面突然發生結構性變化等情況下,利用LLM 有可能構建更加精確,且能夠基于常識考慮各種市場外生變量影響的交易行為模型。

2.5.2 電力市場決策

在給定市場機制的前提下,市場主體如何優化自身決策是電力市場研究中的一個重要課題?,F有文獻中,針對相關問題的研究包括利用時間序列模型與深度學習模型對市場邊界條件(如負荷、碳價格)進行預測[115]、利用深度強化學習等技術解決現貨市場競價策略優化[116]、雙邊交易策略優化[117]、需求響應策略優化[118]、風險管理[119]等各類決策問題。與上述方法相比,LLM 的主要優勢是在給定不同的市場機制與邊界條件的情況下,具有基于常識和邏輯推理自主生成策略的能力。因此,可以探索基于LLM 的能夠應對市場環境快速變化的電力市場決策方法。

2.5.3 電力市場機制設計

電力市場機制設計是指為電力產業制定一套規則和機制,以便在電力生產、傳輸、分配和消費的各個環節中實現有效的資源配置。這涉及一系列關鍵決策,包括市場結構(如壟斷、寡頭或競爭)、定價機制(如成本加成定價或競爭拍賣)、交易規則(如雙邊合同或集中市場)等?,F有的電力市場設計研究通常以機制設計理論為基本理論工具[120]。機制設計理論主要研究在信息不對稱的情況下如何設計一種機制,使得每個參與者在追求自身利益的同時,整個系統能夠達到某種預定的社會目標(如市場效率、公平性、可持續性、激勵相容等)?,F有文獻中,機制設計理論一般以博弈論作為量化建模的工具[121],將機制設計理論與LLM 結合,利用LLM 的常識理解與邏輯推理能力,更精確合理地模擬市場主體行為,從而更好地保證電力市場機制設計的合理性與實用性,是一個很有前景的研究方向。

3 基于LLM 構建電力系統AGI 所面臨的挑戰

3.1 數據管理問題

在電力系統應用研究中,LLM 的一個重要挑戰是數據管理問題,具體來說是數據質量和可獲取性的挑戰。這2 個問題對于電力系統的分析和優化具有關鍵性的影響。

1)數據質量問題。電力系統中的數據通常來自各種傳感器和監測設備,如同步測量單元和智能電表[122]等。數據格式通常包含復雜操作調度指令、信號序列等信息。這些設備可能存在噪聲、缺失值、異常值等問題,導致數據質量不高[123]。這些問題會對LLM 的訓練與推理產生影響,從而影響電力系統的穩定性和可靠性。

2)數據可獲取性問題。電力系統中的數據通常分布在不同的地方,包括各個電站、變電站、輸電線路等,數據的獲取和整合比較困難[124]。此外,電力系統中的數據通常是實時生成的,需要實時采集和處理,這也增加了數據獲取的難度。為了解決這些問題,研究人員需要開發高效的數據采集和處理方法,以便在保證數據質量的同時,提高數據的可獲取性。

為了應對這些挑戰,研究人員可以采用多種方法來提高數據質量和可獲取性。例如,可以使用數據清洗和預處理技術來消除噪聲、填補缺失值和檢測異常值[125]。此外,可以利用分布式計算和云計算技術來實現數據的實時采集和處理[126]。通過這些方法,研究人員可以在保證數據質量的同時,提高數據的可獲取性,從而為電力系統的優化和分析提供更可靠的支持。

3.2 LLM 的透明可靠性

LLM 的另一個挑戰是其可解釋性和可靠性。

1)可解釋性問題。LLM 通常是黑盒模型,難以解釋其預測結果的詳細機理。在電力系統中,LLM產生的決策和預測的可解釋性對于操作人員和決策者至關重要。然而,由于LLM 的復雜結構和參數數量巨大,其內部機制和決策過程往往難以解釋和理解[127]。這可能導致研究員與調度員對模型的信任度降低,影響電力系統的調度建模與決策模型的應用和接受度。另外,LLM 在訓練過程中可能受到數據偏差和樣本不平衡的影響,導致模型在特定場景下的可靠性不足。因此,如何提高LLM 的可解釋性和可靠性,使其能夠給出可信的預測結果,并與操作人員和決策者進行有效的溝通和交互,是電力系統應用中亟待解決的問題。

2)可靠性問題。LLM 的可靠性是指模型的預測結果是否準確可靠。在電力系統中,模型的負荷或者電源出力預測結果直接關系到電力系統的安全和穩定運行[128]。因此,需要對模型的可靠性進行評估和驗證,以確保模型的預測結果準確、可靠。常用的評估方法包括交叉驗證[129]、測試集驗證[130]等。

3.3 信息安全與隱私保護

LLM 在電力系統應用中還面臨著信息安全和隱私保護的挑戰。

1)信息安全問題。LLM 通常需要在網絡上進行傳輸和共享,涉及網絡信息安全問題。需要采取一系列的網絡安全措施,如防火墻、加密傳輸、身份認證[131]等方法,確保模型在傳輸和共享過程中的安全性。

2)數據隱私問題。電力系統作為關鍵基礎設施,涉及大量敏感信息和關鍵操作。LLM 在訓練和應用過程中,需要使用和處理大量的電力系統數據。然而,這些數據往往包含相關設備、網絡拓撲、運行狀態和安全策略等敏感信息,并且涉及能源安全和國家安全等重要領域,需要保證數據的安全性和隱私性[132]。在收集LLM 訓練語料時需要注意去除用戶用電信息、電力系統拓撲結構及運行等敏感信息。在使用LLM 進行數據分析和預測時,需要采取一系列隱私保護措施,如數據加密、權限控制和安全傳輸等方法,確保數據的安全性和隱私性。

3)模型隱私問題。LLM 通常是基于大規模數據訓練得到的,可能包含一些敏感信息。在使用這些模型進行數據分析和預測時,需要采取一些隱私保護措施,如差分隱私[133]、模型剪枝[134]等方法,確保模型的隱私性。

為了應對LLM 在電力系統應用中的信息安全與隱私保護挑戰,需要采取綜合性的應對策略。這些策略包括以下3 個方面:1)安全開發和部署,在LLM 的開發和部署過程中,應遵循安全開發生命周期的原則,確保模型在設計、開發、測試和部署階段都符合安全要求[135];2)數據脫敏和匿名化,在收集和處理電力系統數據時,應采用數據脫敏和匿名化技術,以降低數據泄露的風險[136];3)安全審計和監控,對LLM 的使用和訪問進行實時監控,以便及時發現和應對潛在的安全威脅[137]。通過實施這些綜合性應對策略,可以有效處理LLM 在電力系統應用中的信息安全和隱私保護。

4 結語

建立新型電力系統被視為實現國家“碳中和”目標的關鍵策略和必要保障。運用AGI 技術進一步增強電力系統的智能水平,為解決新型電力系統所面臨的各種挑戰提供了全新的途徑。近年來,LLM代表了AI 領域的重大突破,標志著AGI 發展的新方向。本文首先對LLM 的原理和實現技術進行了介紹,同時探討了與傳統AI 技術相比,LLM 在智能水平上的核心優勢。接著,對LLM 在電力系統領域的潛在應用進行了展望,包括負荷預測、發電出力預測、電力系統規劃、電力系統運行、電力系統故障診斷與系統恢復、電力市場等領域,以及通向新型電力系統的自主調度、可靠規劃與決策、智能診斷與恢復等目標。最后,探討了LLM 在數據管理、模型透明可靠、信息安全等方面所面臨的挑戰。

猜你喜歡
調度文獻模型
Hostile takeovers in China and Japan
重要模型『一線三等角』
重尾非線性自回歸模型自加權M-估計的漸近分布
《調度集中系統(CTC)/列車調度指揮系統(TDCS)維護手冊》正式出版
Cultural and Religious Context of the Two Ancient Egyptian Stelae An Opening Paragraph
一種基于負載均衡的Kubernetes調度改進算法
虛擬機實時遷移調度算法
The Application of the Situational Teaching Method in English Classroom Teaching at Vocational Colleges
The Role and Significant of Professional Ethics in Accounting and Auditing
3D打印中的模型分割與打包
91香蕉高清国产线观看免费-97夜夜澡人人爽人人喊a-99久久久无码国产精品9-国产亚洲日韩欧美综合