基于支持向量回歸的噪聲激勵下混沌系統的預測

侯文濤,柴鑫杰,趙曉樂

(1.運城學院 數學與信息技術學院,山西 運城 044000;2.北方民族大學 數學與信息科學學院,銀川 750021)

混沌系統是指一類非線性動力學系統,表現出一些隨機、不可預測的運動行為,其運動過程是高度敏感的,即微小的初始條件差異可能就會導致非常大的行為差異[1]?；煦缦到y的預測一直是研究者關注的熱點問題之一。然而,現實生活中的混沌系統往往還會受到外界噪聲的干擾,并且這種干擾是不可避免的[2]。因此在預測混沌系統未來演化的研究中,考慮噪聲的影響尤為重要[3,4]。數據科學和大數據背景下, 機器學習技術在各個領域都取得了突出的成果[5-7]。各種具有強大擬合和預測能力的機器學習算法豐富了混沌系統的預測方法[8-13]。支持向量回歸(Support Vector Regression, SVR)是一種基于統計學習理論的機器學習算法,它具有強大的泛化能力和較好的預測性能,在非線性系統的預測中具有廣泛的應用。因此, 將SVR應用于混沌系統的預測研究,具有很大的潛力和發展前景[14]?；诖?本文旨在基于SVR探討Gaussian噪聲和Lévy噪聲激勵下混沌系統的預測問題。

1 理論介紹

1.1 支持向量回歸

支持向量機[14]的回歸算法又稱支持向量回歸。假設給定一個樣本集

Dtrn={(xi,yi)∶i=1,2,…,m},

其中yi∈R,是樣本的標簽值,那么模型可以表示為

f(x)=wTx+b,

其中w是權重項,b是偏置項。通過計算使f(x)可以和y之間最多可以有的偏差。定義SVR的不敏感損失函數為Lε,表達式為

根據結構風險最小化原則,SVR的結構風險為

(1)

其中C是正則項,即懲罰參數。將(1)式轉化為最優問題為

1.2 噪聲理論

Gaussian噪聲是一種常見的隨機信號,其特點是由一組服從正態分布的隨機變量構成。正態分布又稱Gaussian分布,是一種連續的概率分布,可以用其概率密度函數來描述。因此Gaussian噪聲在各個領域中都有著廣泛的應用,例如通信、圖像處理、聲音處理等[3,4]。

許多研究表明,真實的觀測數據通常表現為突變或爆發。由Lévy噪聲驅動的動力系統可以更準確地對它們進行建模。Lévy噪聲表現出大量的微小波動,或有強烈的“跳躍”,有望成為描述非線性系統中固有的隨機波動的有力工具。它已經在不同領域被檢測到,Lévy噪聲擾動的隨機模型受到學者們的廣泛關注[2]。

1.3 精度計算

本文采用均方誤差損失函數(MSE)和相對度量R2評分來評估模型的預測精度和預測性能[3,4]。MSE和R2評分定義為

2 噪聲激勵下混沌系統預測

2.1 Henon混沌系統

Henon是一種經典的二維動力系統,由法國數學家Michel Hénon在1976年提出[4]。Henon映射的定義為

其中a和b是常數,xn和yn是映射的前一個狀態。當a=1.4和b=0.3時,Henon系統表現出混沌行為。

2.2 數據的收集與整理

我們選取Henon映射的控制參數a和b分別為1.4和0.3,初始狀態x0和y0分別隨機取為0.1和0.1。分量x產生2000點,丟棄初始的10000點,使序列完全進入混沌狀態,取之后的10000點構成一維無噪聲混沌序列,對Henon系統的混沌狀態進行觀察。將收集到的10000個數據進行相空間重構,利用自相關法[14]確定延遲階數為1,Cao的方法[14]確定嵌入維數為3。

為了量化Gaussian噪聲和Lévy噪聲的影響,我們在無噪聲的確定性數據中分別添加了Gaussian擾動和α-穩定Lévy擾動。并且考慮了三種不同的噪聲水平,將標準差設置為無噪聲數據標準差的0.5%、1%和5%。

將數據劃分為訓練集和測試集。其中訓練集占85%,也即10000點中的前8500點;測試集占15%,也即10000點中的后1500點。

2.3 噪聲激勵下混沌系統預測

現對0%(無噪聲)、0.5%、1%和5%Gaussian噪聲激勵下的Henon混沌時間序列基于SVR模型進行擬合。SVR網格搜索[15]中,網格搜索取值點如表1所示。

表1 SVR網格搜索超參數取值點

我們一共需要訓練3×5×3=45個不同的SVR模型,采用網格搜索的交叉驗證方法,從中選取MSE最小的模型超參數作為最優的SVR超參數配置。然后在整個訓練集上重新進行一次訓練,作為最終的SVR模型。選取時間序列交叉驗證的折數為5。以0%(無噪聲)數據作為參照,最終選擇的模型超參數是:核函數為RBF核,C=100,ε=0.001。將最終選擇的模型應用于擬合0.5%、1%和5%Gaussian噪聲激勵下的Henon混沌時間序列,最終的擬合效果詳見圖1(a—d)。

a-0%無噪聲;b-0.5%Gaussian噪聲;c-1%Gaussian噪聲;d-5%Gaussian噪聲。圖1 Gaussian噪聲激勵下模型擬合預測效果圖

同理,將最終選擇的模型應用于擬合0.5%、1%和5%Lévy噪聲激勵下的Henon混沌時間序列。最終的擬合效果詳見圖2(a—d)。

計算不同水平Gaussian噪聲和Lévy噪聲下的精度指標MSE和R2,詳見表2。由圖1(a—d),圖2(a—d)和表2可知,隨著噪聲水平的增加,MSE越來越大,R2越來越小。說明受噪聲水平的影響,混沌系統的預測性能越來越差。相比于Gaussian噪聲,Lévy噪聲對混沌系統預測的影響程度更大。

表2 和隨噪聲水平的變化表

3. 基于噪聲混沌理論的股票價格預測

股票市場是一個充滿不確定性的復雜系統,這種不確定性主要是由各種因素的干擾造成,投資者需要通過分析市場趨勢來做出決策。在一個較短的時間內股票價格的變化具有很強的規律性,是一種介于隨機和確定性之間的混沌現象[16,17]。

雖說股票價格有較強的隨機性,但也不是不可預測的。股票市場中最直觀的屬性便是每日開盤價,而股票每日的開盤價是受前幾日的交易情況影響的,并且與最高價、最低價、收盤價和成交量等指標關系緊密。因此選取這四個指標來預測股市短期內的開盤價是有意義的。

3.1 股票價格數據的收集及整理

茅臺股票是中國股市中的一只藍籌股,其價格波動較大。本文借助混沌理論對茅臺股票的開盤價進行預測,數據來自于Yahoo Finance網站https://finance.yahoo.com。數據選取的時間段為2010年4月26日到2020年4月24日,共計2426個交易日。

首先驗證茅臺開盤價數據的混沌性。經計算,x軸的最大李雅普諾夫指數為347.1064,y軸的最大李雅普諾夫指數為192.1266,z軸的最大李雅普諾夫指數為114.1666。三個方向上的李雅普諾夫指數均為正數,說明茅臺開盤價數據確實具有混沌特性[18]。進一步,由于五個指標之間的數量級相差十分巨大,所以對原始數據進行歸一化處理,使所有數據的取值都集中在0～1之間。最后將歸一化后的茅臺股票數據分成訓練集和測試集,其中訓練集包含前85%的數據,測試集包含后15%的數據。

3.2 股票價格數據的降噪

由于股票市場的異常復雜性和非線性,股票數據序列本身是含有大量噪聲的,這些噪聲肯定會影響預測的準確率和有效性。根據2.3可知噪聲會嚴重影響預測的性能,因此在對股票序列進行預測分析之前,必要對序列進行降噪。

小波變換是一種常用的信號處理技術,可以用來對時間序列數據進行奇異值降噪處理,消除數據中的高頻噪聲,保留數據中的低頻信息[19]。本節使用小波變換對茅臺股票價格數據進行降噪處理,降噪結果如圖3所示。其中(a)表示降噪前的原始信號,(b)表示經過小波變換降噪后的信號。由圖3可知,降噪后的信號比原始信號更加平滑,去除了大部分的噪聲信號。

圖3 降噪前后股票價格歸一化數據比較圖,降噪前(a),降噪后(b)

3.3 股票價格的預測

現基于整理好的茅臺股票開盤價、最高價、最低價、收盤價和成交量五個指標數據,利用SVR對開盤價進行擬合[20,21]。SVR網格搜索中,網格搜索取值點如表1所示。

最終選擇的SVR模型超參數是:核函數為RBF核,C=1000,ε=0.1。SVR在測試集上的均方誤差為=7.88389e-07,R2=0.9999890,詳見圖4(b)。比較未進行降噪的擬合效果圖4(a),進一步說明降噪后噪聲激勵下混沌時間序列的預測精度明顯得到改善。

圖4 降噪前后股票價格歸一化數據預測效果圖

4 結論與后續展望

該研究主要探討了噪聲激勵下混沌系統的預測問題,并以Henon映射為例,實證分析了Gaussian噪聲和Lévy噪聲對混沌系統預測性能的影響。研究表明噪聲水平越高,混沌系統的預測性能越差。Lévy噪聲對混沌系統預測性能的影響遠大于Gaussian噪聲。接著借助茅臺股票價格數據,進一步說明噪聲將嚴重影響混沌系統的預測性能。最后,提出的小波變換降噪法對噪聲激勵下混沌系統的預測性能有明顯改善。

本文基于SVR完成了噪聲激勵對混沌系統預測性能影響的研究。后續研究工作的重點包括考慮使用神經網絡、深度學習等方法提高模型的精度和魯棒性;考慮從多個方向探索混合噪聲及其處理方法,例如基于卷積神經網絡,混合神經網絡等,提高模型對于噪聲的容忍度和預測精度;考慮從多個應用場景出發,探索不同混沌領域中時間序列的應用和預測方法,提高模型的應用價值和實用性。