比例延遲微分方程的極限學習機算法

李佳穎,陳 浩

重慶師范大學 數學科學學院,重慶 401331

1 引 言

延遲微分方程是一類廣受關注的微分方程。由于事物運動規律的影響因素不僅包含當前時刻的狀態,而且會受到過去某些時刻或時間段的狀態影響,因此大部分事物運動規律都存在延遲現象。延遲微分方程中的延遲項,不僅能夠展現當前時刻的狀態,而且也能展現出過去某些時刻的狀態,因此這種特殊形式的微分方程被證明能夠更精確地模擬各種客觀事物的變化規律。延遲微分方程被廣泛應用于生命科學和工程問題的各個領域,如種群動力學、免疫學、流行病模型、神經網絡和控制系統[1-5]。

本文將考慮一類特殊形式的延遲微分方程—比例延遲微分方程。其中“比例項”一詞由奧肯登和泰勒[6]在1971年首次引入,用于研究電力機車的受電弓如何收集電流,此后比例延遲問題得到了眾多學者的關注。比例延遲微分方程被廣泛應用于經濟、控制、數論、電動力學、非線性動力學系統等不同學科領域。

廣義比例延遲微分方程初值問題的一般形式為

c(t)y(t)=f(t),t0

y(k)(t0)=λk,λk∈R(k=0,1,…,n-1)

(1)

其中,a(t)、bk(t)和f(t)是解析函數,pk∈(0,1)(k=0,1,…,n)。

一直以來,許多學者對比例延遲微分方程的數值解法進行分析研究,其中一些方法顯示出很大的潛力。例如,Wang等[7]將龍格-庫塔方法應用于一類非線性中立型比例延遲微分方程;Yüzba等[8]提出一種基于殘差校正技術的勒讓德配置方法,利用算子方程的殘差函數,構造了一個誤差微分方程,并對使用勒讓德配置法得到的多比例延遲微分方程數值解進行了修正;Doha等[9]提出一種基于雅可比有理函數和高斯積分公式相結合的譜雅克比有理-高斯配點法,得到了多比例延遲微分方程的半解析解;Cakmak等[10]使用配點法和斐波那契多項式矩陣將比例延遲微分方程問題簡化為一個非線性代數系統,然后計算近似解函數的未知系數,進而得到非線性比例延遲微分方程的數值解;Bahgat[11]應用拉普拉斯變換與變分迭代法求解中立型比例延遲微分方程,該算法只需經過幾次迭代即可得到高精度的數值解。上述方法都能獲得較高精度的數值解,然而這些方法通常需要離散方程,且都包含大量的計算,存在一定缺陷。

近年來,隨著人工智能的大力發展,神經網絡算法因其可以避免傳統數值方法中的一些缺點,逐漸成為求解微分方程數值解的一種替代方法。根據通用近似定理可知,神經網絡是一種通用近似器,它們可以被用于近似任何連續微分方程的解。不僅如此,使用神經網絡近似微分方程的解不需要對方程進行離散化處理,由此可以避免離散過程中產生的誤差。神經網絡方法在求解微分方程方面具有以下幾個優點:不需要通過離散微分方程來求進行解;所得到的解是連續的,而不是在離散點上的數值解;類似的方法可用于不同類型微分方程的初邊值問題,且往往具有較高的精度。

神經網絡方法也吸引了許多學者對微分方程數值解的研究。Mall等[12]利用切比雪夫正交多項式構建了切比雪夫神經網絡,將切比雪夫多項式作為輸入權值,不僅大幅降低了神經網絡所需的參數,而且能夠獲得具有較高精度的數值解;Sun等[13]提出一種基于伯恩斯坦多項式的神經網絡模型用于求解微分方程,該方法將伯恩斯坦多項式擴展輸入來消除神經網絡隱藏層。根據最近的文獻,一些作者已經開始使用神經網絡方法來研究延遲微分方程。Raja[14]利用人工神經網絡、模擬退火、模式搜索、遺傳算法、有源集算法的混合技術求解二階比例延遲微分方程邊值問題;Khan等[15]利用前饋神經網絡結合列文伯格-馬夸爾特算法和貝葉斯正則化通過反向傳播算法求解比延遲微分方程;Sabir等[16]將分數階Meyer小波神經網絡與遺傳算法全局搜索優化和序列二次規劃局部搜索相結合,給出了分數階比例萊恩-埃姆登模型的數值解。然而以上神經網絡算法都有一個常見問題,即都是利用計算成本較高的數值優化算法來逼近解。這些算法大多需要計算梯度,有時還需要計算誤差函數的黑森矩陣,不僅需要進行多次迭代來優化調節參數,而且還會導致訓練過程中出現大量的運算,非常耗時。這些研究工作的另一個問題是,它們很少或完全沒有強調討論算法的收斂性和收斂速度。Panghal等[17]通過單隱藏層的前饋神經網絡和極限學習機算法得到了具有較高精度的延遲微分系統數值解,同時分別利用淺層和多層極限學習機算法驗證了使用極限學習機方法訓練神經網絡時,單隱藏層神經網絡的函數逼近效果最好,但未涉及高階延遲微分方程的求解。

本文著重討論了上述兩個方面,針對廣義比例延遲微分方程構建單隱藏層前饋神經網絡并使用極限學習機算法進行訓練。該算法將比例延遲微分方程轉化為最小二乘問題,通過摩爾-彭羅斯廣義逆直接計算出最優神經網絡輸出權值。不同于傳統基于梯度的網絡訓練方法,該算法完全避免了耗時的網絡訓練參數優化過程,計算量大幅降低,整個網絡訓練過程的速度要快得多。同時討論了該算法取不同數量的訓練點和隱藏層節點時的精度,并在此基礎上,計算了數值收斂速度。通過數值實驗與已有方法的結果進行比較,證明該方法對處理比例延遲微分方程具有較好的效果,并將該方法推廣到雙比例延遲微分系統的數值求解。

2 神經網絡模型構建

神經網絡是一種通過模擬人腦神經系統,進行分布式并行信息處理的數學模型。神經網絡系統是由神經元通過連接權值連接在一起構成的,而不同的連接方式構成了不同種類的網絡結構。本文使用的是前饋型神經網絡,該網絡主要由輸入層、隱藏層和輸出層3部分構成,每一層由許多相互連接的神經元構成,在神經網絡中,神經元也稱為節點。連接權值代表各節點之間連接的強弱,這些連接權值通常在神經網絡的訓練過程中會進行不斷地更新調整。當輸入信號由輸入層到達隱藏層后,經過隱藏層的激活函數激活后再將結果傳遞到輸出層的節點,最后得到輸出結果。

在本文的研究中,構建了一個單隱藏層前饋神經網絡用于求解比例延遲微分方程,該網絡包含一個輸入節點和一個輸出節點,wj表示輸入層到隱藏層的權值,vj表示隱藏層到輸出層的權值,bj表示隱藏層節點的偏置。本文將使用相同的約定。該網絡的示意圖如圖1所示。

圖1 神經網絡圖

對于任意的輸入t,都有輸出

其中,m表示隱藏層的節點個數,φ表示激活函數。本文使用的激活函數為sigmoid函數s(x)=1/(1+e-x),因為該函數便于求導且自身無窮可微。

定理1 通用近似定理(Universal Approximation Theorem):設φ(·)是有界、單調遞增的連續非常數函數,Id為d維的單位立方體[0,1]d,C(Id)是定義在Id上的連續函數集合,對于任意一個函數y∈C(Id)及ε>0,存在有限和

使得

|N(t)-y(t)|<ε,?t∈Id

這里m為正整數且vj、wj、bj∈R。

根據通用近似定理可知,只要構造一個單隱藏層前饋神經網絡并選取適當的激活函數,便可以通過簡單的神經網絡架構去擬合任何連續函數的解。

3 用極限學習機(ELM)算法求解比例延遲微分方程

3.1 極限學習機(ELM)算法分析

神經網絡學習過程有許多不同的訓練算法,最常見的訓練算法是反向傳播(BP)算法。BP算法分為正向傳播和反向傳播兩個學習過程。正向傳播即對每一個輸入信號逐層向前計算最終得到一個輸出結果。如果該輸出值未達到預想的輸出值,則計算輸出值與期望值的誤差,并將該誤差從輸出層向隱藏層進行反向傳播直到輸入層。在反向傳播的過程中,會根據誤差調整各種參數的值,不斷重復上述過程,直至誤差達到期望值時學習結束。BP算法的本質是梯度下降法,這個過程通常需要經過數次迭代,運算時間較長。

極限學習機(ELM)算法[18]作為一種新的前饋神經網絡訓練方法,已經成為機器學習訓練過程中的替代方案。ELM算法是一種無梯度下降過程訓練前饋神經網絡的算法。該算法的核心思想是隨機生成網絡的輸入權值和隱藏層偏置,并且在訓練過程中這些參數一直保持不變,只優化調節訓練點和隱藏層節點的個數,輸出權值則通過最小化平方損失函數,將其轉化為最小二乘法問題,利用Moore-Penrose廣義逆解出輸出權值。其中隱藏層節點數的選擇是重點,如果數量過少,訓練過程中提取到的信息量不足,網絡將無法概括和反映數據的內在規律,映射能力不強,出現欠擬合問題;但數量過多,又會使網絡結構變得復雜,不僅增加訓練時間,而且容易引起過度擬合,影響網絡的整體性能。與其他傳統的基于梯度下降的前饋神經網絡算法相比,ELM算法不僅避免了訓練過程中的大量迭代調整,學習速度極快,在選擇好合適的激活函數和確定隱藏層節點個數后,算法學習過程中不再需要人為調整參數,所得解是唯一最優解且收斂快速,具有良好的泛化性等優勢。

3.2 比例延遲微分方程的求解

對于任意一個連續函數y(t),t∈[t0,T],使用含有m個隱藏層節點的上述神經網絡進行近似,表達式寫為

(2)

用N(t)替換式(1)中的y(t),得到:

c(t)N(t)=f(t)

(3)

再將

N(k)(t)=wjkφ(k)(wjt+bj),k=1,2,…,n

代入式(3)得到:

最后對:[t0,T]上的s個點(t1,t2,…,ts)進行訓練,進一步得到

c(ti)φ(wjti+bj)}=f(ti)(i=1,2,…,s)

(4)

式(4)表示關于vj的線性方程組。

此外,神經網絡還需滿足初值條件,即

則將得到s+k個線性方程組,這個線性方程組可以寫成矩陣形式

Hv=β

其中,H是系數矩陣,β=[f(t1),…,f(ts),λ1,…,λk]T。

根據ELM算法,首先隨機生成輸入權值wj和偏置bj,計算出矩陣H、β是已知的,然后通過公式v=H-1β求解輸出權值,且v是唯一解,最后將得到的v=[v1,v2,…,vm]T代入式(2)即可得到比例延遲微分方程的近似解。

大多數實際情況中,矩陣H通常既不是方陣又不可逆,求解可能會出現問題,這時可以使用Moore-Penrose廣義逆來進行求解。

定義1 若n×m階矩陣H?是m×n階矩陣H的廣義逆矩陣,則滿足

HH?H=H,H?HH?=H?
(HH?)T=HH?,(H?H)T=H?H

由定義1可知,存在H的廣義逆H?,使得v=H?β。

算法步驟:

步驟1 生成定義域內的訓練點集t=[t1,t2,…,ts]T,隨機生成神經網絡中輸入權值向量w=[w1,w2,…,wm]T以及隱藏層偏置向量b=[b1,b2,…,bm]T,其中m是隱藏層節點的個數。

步驟2 計算系數矩陣:

A(:,j)=wjn[φ(n)(wjt+bj)+a(t)φ(n)(wjpnt+bj)]+

j=1,2,…,m

步驟3 計算初值條件:

Ak(:,j)=wjkφ(k)(wjt0+bj)

步驟6 由v=H?β得到v=[v1,v2,…,vm]T。

步驟7 將v代入N=vTφ(wt+b)得到比例延遲微分方程的近似解。

4 數值實驗與仿真分析

在本節中,首先給出3個數值例子與已有方法的數值結果進行比較,說明該方法的適用性、準確性和收斂速度,再將該方法推廣到雙比例延遲微分系統,驗證該方法在雙比例延遲微分系統中也能取得較好的效果。

絕對誤差定義為e=|N(t)-y(t)|,其中N(t)是方程數值解,y(t)是方程的精確解。均方根誤差(FRMSE):

收斂速度(VROC):

其中,s1和s2是實例中使用的訓練點個數,Es1表示使用s1個訓練點得到的解中誤差的均方根值,Es2表示訓練s2個訓練點得到的解中誤差的均方根值。

4.1 一階比例延遲微分方程

考慮一階比例延遲微分方程:

該方程的精確解是y(t)=e-t。表1和圖2比較了ELM方法(m=8,s=10)與兩級一階龍格-庫塔法[19](步長取0.01)和變分迭代法[20](迭代次數取8)的絕對誤差。將訓練點數量控制在2—32之間,同時選取隱藏層節點數量為5、10、15、20,分別將這些數據代入算法中,獲取更多的數據以了解ELM方法在求解比例延遲微分方程中的準確性和收斂速度。表2顯示了使用ELM方法求得數值解的均方根誤差和收斂速度。

表1 絕對誤差比較

表2 一階比例延遲微分方程數值解的均方根誤差和收斂速度

圖2 一階比例延遲微分方程使用龍格-庫塔法、變分迭代法和ELM方法解的絕對誤差

由表1和圖2可以清楚看出:ELM方法得到的數值解精度明顯優于兩級一階龍格-庫塔法和變分迭代法。表2則顯示了ELM方法得到的精度與隱藏層節點和訓練點個數相關:當增加隱藏層節點和訓練點個數時,均方根值迅速減小,收斂速度也更快。

4.2 二階比例延遲微分方程

考慮二階比例延遲微分方程:

上述方程的精確解是y(t)=t2。表3和圖3比較了ELM方法(m=6,s=10)與兩級一階龍格-庫塔法[19](步長取0.01)和變分迭代法[20](迭代次數取6)的絕對誤差。表4顯示了將訓練點數量控制在2—32之間,同時分別選取隱藏層節點數量為5、10、15,使用ELM方法求得數值解的均方根誤差和收斂速度。

表3 二階比例延遲微分方程的絕對誤差比較

表4 二階比例延遲微分方程數值解的均方根誤差和收斂速度

圖3 二階比例延遲微分方程使用龍格-庫塔法、變分迭代法和ELM方法解的絕對誤差

同4.1節一樣,圖3顯示了ELM方法在精度上明顯優于其他兩種方法。從表4中也可以看出:ELM方法只需要少量隱藏層節點和訓練點即可獲得較高的精度,且隨著訓練點數量和隱藏層節點數量的增加,均方根值迅速降低,這表明ELM方法確實是快速收斂的。

4.3 三階比例延遲微分方程

考慮三階比例延遲微分方程:

上述方程的精確解是y(t)=t4。表5和圖4比較了ELM方法(m=12,s=20)與兩級一階龍格-庫塔法[19](步長取0.01)和變分迭代法[20](迭代次數取6)的絕對誤差。表6顯示了將訓練點數量控制在4—20之間,同時分別選取隱藏層節點數量為8、10、12時,使用ELM方法求得的數值解的均方根誤差和收斂速度。

表5 三階比例延遲微分方程的絕對誤差比較

表6 三階比例延遲微分方程數值解的均方根誤差和收斂速度

圖4 三階比例延遲微分方程使用龍格-庫塔法、變分迭代法和ELM方法解的絕對誤差

由以上實例可知:使用ELM方法得到數值解相比于兩級一階龍格-庫塔法和變分迭代方法得到的解準確性更高。ELM方法不僅只需要少量的訓練點和隱藏層節點即可獲得較高的精度,且隨著訓練點個數以及隱藏層節點數的增多,能得到更高的精度。同時ELM方法收斂迅速,訓練過程中不需要進行迭代優化參數,不僅避免了大量的計算,而且也極大地降低了運算時間。

該方法不僅適用于求解廣義比例延遲微分方程,同時適用于求解雙比例延遲微分系統。由于雙比例延遲微分系統中含有兩個因變量,所以在使用神經網絡方法求解雙比例延遲微分系統時需要對每一個比例延遲微分方程構建一個網絡結構,每個網絡對應一個因變量。

4.4 雙比例延遲微分系統

考慮雙比例延遲微分系統:

其精確解為y1(t)=et,y2(t)=e-t。表7和表8展示了訓練點數量控制在2—32之間,同時分別選取隱藏層節點數量為8、10、12時,使用ELM方法求得的數值解的均方根誤差和收斂速度。

表7 雙比例延遲微分系統中y1(t)的數值解均方根誤差和收斂速度

表8 雙比例延遲微分系統y2(t)的數值解的均方根誤差和收斂速度

由表7和表8可以看出:ELM算法在求解雙比例延遲微分系統中也取得了不錯的效果。

5 結果與討論

本文使用基于極限學習機算法的前饋神經網絡方法求解比例延遲微分方程及雙比例延遲微分系統。ELM算法完全消除了迭代算法的優化過程,使得計算復雜度遠低于其他傳統數值方法。該方法不僅只需要少量的訓練點和隱藏層節點即可獲得較高的精度,且隨著訓練點個數以及隱藏層節點數的增多,能得到更高的精度。數值實驗結果表明:該方法比以往的一些方法精度更高,收斂速度更快。因此,極限學習機算法是求解比例延遲微分方程和雙比例延遲微分系統數值解強有力的數學工具。

由第三節所呈現的圖表可以看出:ELM方法在所有情況下的收斂速度都不是一致的。缺乏統一的收斂速度是因為在訓練點數量和隱藏層節點數量相同的情況下,由于隨機生成的輸入權值和隱藏層偏置每一次都不同,所以每次都會得到不同的結果。在進一步的工作中,可以考慮對神經網絡參數進行預處理,以便可以在不同問題中獲得一致的收斂速度。