基于小波神經網絡的PIM功率時間序列預測

白春江,陳 翔,何 鋆,白 鶴,胡天存,崔萬照

(中國空間技術研究院西安分院,西安 710000)

0 引言

無源互調[1-11](passive intermodulation, PIM)是指在大功率多通道通信系統中,當輸入兩個或兩個以上的發射載波時,在系統中產生的互調信號進入接收機,從而引起信號干擾的現象。發射系統中的無源微波器件(如天線、饋源、波導法蘭、雙工器、電纜、同軸接頭、負載等)都存在不同程度的非線性特性。盡管無源微波器件通常情況下都表現為線性特性,但是隨著輸入信號功率的增大,其微弱的非線性逐漸顯現,造成無源互調。隨著通信系統容量的不斷提升,對發射機功率的要求也不斷增大,通信系統中無源微波器件的非線性特性將會愈發明顯,同時,伴隨著通信系統接收機靈敏度的不斷提升,無源互調干擾將變得愈發嚴重。因此,無源互調是關系整個通信系統穩定性,以及通信質量提高的亟需解決的重要問題。

鑒于PIM問題在通信系統中的重要性,國內外學者開展了大量的研究工作。作為PIM研究的重要內容,研究人員在PIM的預測分析方面進行了探索性研究,并取得了一系列有價值的成果。西班牙的Vicente C等人[12]開創性地基于微接觸理論,建立能夠描述接觸界面非線性特性的等效電路模型,并基于該等效電路模型對矩形波導法蘭連接結的接觸非線性進行分析,進而對其引起的PIM功率進行了計算分析;以該等效電路模型為基礎,西安交通大學的陳雄等人[13-14]建立了能夠描述同軸連接器內部接觸非線性狀態的等效電路模型,并對影響同軸連接器PIM功率的因素進行仿真分析;北京郵電大學的高錦春等人[15-16]也基于該等效模型計算分析了多個接觸PIM源及振動情況下的同軸連接器的PIM;西安電子科技大學的張世全等人[17]和空軍工程大學的王海寧等人[18]基于實驗測試的低階PIM功率,分別采用冪級數方法和IM Microscope 方法,計算分析得到相同輸入條件下的高階PIM功率。上述這些預測方法,都是從頻域角度,將PIM功率看作一個穩定值,這類方法在通信系統PIM指標的評估方面具有很好的實用價值。然而,實際的通信系統中,PIM功率是一個隨時間變化的非平穩的時域信號[19-20],具有時變性、隨機性和不確定性等特性?；谝陨咸攸c,田露等人[21-22]從通信系統時域信號角度出發,采用Volterra級數方法,構建了包含時間特性的PIM預測模型,開展了PIM功率的數字對消抑制技術研究。該方法雖然考慮了PIM功率的時間因素,但其預測效果與構建的模型參數數量密切相關。當參數較少時,預測結果不夠準確;當參數增多時,又會增加計算過程的復雜度。白春江等人[23]從混沌理論出發研究了PIM功率時間序列的混沌特性,并進行了PIM功率的預測分析。該方法在進行短時間的預測時具有較好的結果。

神經網絡借鑒了人腦系統的工作方式,通過構建模型使得網絡系統具備跟人腦相似的學習、推理能力。神經網絡系統通常能被視為輸入到輸出的映射,因此,在構建的結構模型中,需要充分體現這種映射關系。結合神經網絡的學習能力,構建的網絡系統模型也具有隨系統和環境的變化而變化的特點,所以,這種網絡結構模型非常適用于分析復雜系統。 神經網絡通常都包含輸入層、隱含層和輸出層三種結構。這些結構之間通過神經元進行關聯。因此,神經元可以看作是組成神經網絡的基本單元。在神經網絡的訓練過程中,網絡根據輸入數據的預期輸出和實際輸出之間的誤差,調整神經元的連接權重系數和閾值以達到使得網絡性能逐步優化的目的,從而完成神經網絡結構和參數的確定。只需要知道輸入變量和輸出變量就能很好的擬合兩者之間的映射關系,因此,其在處理復雜數據和解決復雜問題方面具有應用非常廣泛。小波分析不同于單一只考慮時間或頻率分辨率的分析方法,而是一種同時考慮時間和頻率的方法,在處理非穩定信號方面具有很強的優勢。它的最大特點是,無論在時間還是頻域都能夠將所分析的信號的局部特征進行充分表征的能力。因此,在信號分析領域具有相當重要的應用價值。將小波分析與神經網絡組合起來就構成了小波神經網絡[24-28]。它不但保留了小波分析方法在局部信息表征方面的優點,即通過平移操作和尺度伸縮的多尺度分析,獲得信號中所包含的局部信息,而且還繼承了神經網絡處理復雜非線性問題能力的優勢,在避免神經網絡在結構上可能存在的盲目性的同時,還具有更高的精度和更強學習能力。因此,小波神經網絡成為當前預測領域研究的熱點。

本文首先,詳細介紹了小波神經網絡預測模型及其預測方法;其次,以同軸連接器為驗證對象,基于實驗測試系統得到同軸連接器的3階PIM時間序列;最后,依據得到的PIM時間序列,采用構建的小波神經網絡預測模型對后續的PIM時間序列進行預測,并將預測結果跟實驗結果進行比較,從而對小波神經網絡在研究PIM時間序列的預測分析方面的有效性進行驗證。

1 小波神經網絡預測模型

小波神經網絡是一種新的神經網絡模型,本質上可以看作是神經網絡基于小波函數的一種優化。在其結構模型中,神經網絡中的隱含層函數被小波函數所取代,從輸入層到隱含層的權重系數由小波函數中的平移參數來取代,隱含層的閾值則由小波函數中的平移參數來取代。按照結構形式劃分,小波神經網絡主要包含松散型和緊密型兩種形式。其中,緊密型的小波神經網絡,因其快的收斂速度和簡單的結構等特點,能夠使神經網絡充分逼近目標,是當前小波神經網絡模型中使用最為廣泛的一種結構方式,本文也采用這種結構形式進行研究。

如圖1是緊密型小波神經網絡的拓撲結構。其中,x1,x2,…,xk,表示輸入信號;wi,j的含義為從神經網絡的輸入層的第i個神經元到神經網絡的隱含層的第j個神經元之間的權重系數,wj,l的含義為從第j個隱含層的神經元到神經網絡的輸出層第l個神經元之間的權重系數。模型中采用小波函數h(x)作為神經網絡隱含層神經元的傳遞函數。結合本文研究的PIM功率時間序列的特點,該小波神經網絡的拓撲結構中,輸入層包含了k個神經元,隱含層包含了m個神經元,而輸出層則僅包含了1個神經元,因此,輸出層中的y1對應的即為下一時刻PIM時間序列的預測值。

圖1 小波神經網絡結構示意圖Fig.1 Wavelet neural network topological structure

在小波神經網絡中,不再使用激活函數,而是被小波函數所取代。即,當輸入信號序列為xi(i=1,2,…,k)時,其用于計算隱含層輸出的公式可以寫為:

(1)

式(1)中h(j)為神經網絡中隱含層第j個神經元的輸出值;hj表示的是選用的小波函數,bj表示的是選用的小波函數的平移參數;aj表示的是選用的小波函數的伸縮參數。

小波函數是組成小波神經網絡的關鍵,在構建模型過程中必不可少。目前,存在多種廣泛使用的小波函數。例如,哈爾(Harr)小波、莫萊(Morlet)小波、邁耶(Meyer)小波、墨西哥帽(Mexican Hat)小波、Battle-Lemarie小波等。其中,Morlet小波在抗干擾能力方面具有較強的優勢,并且計算過程中也具有較強的穩定性,故,在實際應用中更為廣泛。本文在構建神經網絡模型的過程中也使用Morlet小波。其表達式為:

h(t)=e-t2/2cos(1.75t)

(2)

其中,t為時間變量。

根據模型結構圖可知,本文構建的小波神經網絡的輸出層的計算公式可以表示為:

(3)

式(3)中wj,l表示從第j個隱含層神經元到輸出層第l個神經元之間的權重系數。

本文的小波神經網絡,通過梯度下降法來調整各連接層的權重系數和因子。具體算法流程如圖2所示。

圖2 小波神經網絡預測流程圖Fig.2 Wavelet neural network prediction flow chart

2 PIM實驗及時間序列

通信系統中傳輸的頻率信號通常都是隨時間變化的。當多個隨時間變化的載波信號在經過通信系統中的具有非線性特性的無源微波器件時,不同載波信號之間由于相互調制所產生的PIM信號也隨著時間的變化而不同。對于相同的輸入,產生的PIM功率會因階數的不同而不同,每個階數的PIM功率也表現出隨時間變化的特性。通常,階數越低,PIM功率的幅值越高。PIM功率在不同時間點上的各個數值,表現出的動態特性、隨機特性,符合時間序列的基本特點。因此,不同階數的PIM功率可以被視為時間序列,而通過研究這種時間序列,便可以獲取PIM功率所遵從的統計規律,由此能對通信系統中產生的PIM功率的發展特點做出預判。

為了得到具有時間特性的PIM功率實驗數據,我們依據圖3所示的測試原理圖,搭建了一套PIM測試系統。該系統能夠對無源微波器件的3階、5階、7階等階數的PIM功率進行測試。鑒于本文研究的方法具有通用性,因此,選擇最為簡單的同軸連接器作為實驗測試對象,并使用兩路載波頻率分別為2.16GHz和2.21GHz的信號作為輸入。通過測試系統獲得其3階PIM功率時間序列。通過PIM測試系統中的自動數據采集系統,測試得到了兩路載波20W輸入功率條件下,同軸連接器的前5000s的3階PIM功率(如圖4所示)。

圖3 PIM測試系統Fig.3 Testing system of PIM

圖4 PIM功率時間序列Fig.4 Time series of PIM

從中可以看出,測得的PIM功率不僅表現出時變特性,同時,還呈現出一定程度的隨機性以及不確定性,因此,符合時間序列的特征。本文將基于該測試得到的PIM時間序列進行小波神經網絡的預測研究。

3 預測結果分析

小波神經網絡模型中的隱含層和神經元個數的選取是非常重要的,它的選取結果對構建的神經網絡模型性能有重要影響。在小波神經網絡中,通過隱含層神經元對實驗測試數據進行學習訓練,提取其相應的內在演變規律。因此,當選擇的隱含層神經元數量太少時,小波神經網絡從實驗測試數據中獲取信息的能力就相對較弱,以至于不能夠充分反映實驗測試數據的內在演變規律;而當選擇的隱含層神經元數量過多時,則存在把實驗測試數據中的一些非規律的內容也給涵蓋進來的可能,從而出現所謂的“過擬合”,這種情況下,不僅會增加對實驗測試數據的訓練時間,而且還會一定程度上降低小波神經網絡的泛化能力。研究證明,一兩層的隱含層已經能夠解決很多復雜的非線性映射問題。因此,包含一個隱含層的三層小波神經網絡是本文的主要研究內容,而隱含層的神經元個數的選取是尤為關鍵的部分,本文優先考慮隱含層神經元個數的選取。

3.1 小波神經網絡參數的確定

本文使用經驗公式法來確定小波神經網絡模型中隱含層的神經元個數。具體公式如下式(4-7)所列:

m=2k+1

(4)

m=log2=(k)

(5)

(6)

(7)

公式(4-7)中m表示計算得到的神經網絡中隱含層神經元的數量,k表示神經網絡中輸入層神經元的數量(即輸入的時間序列的嵌入維數),l表示神經網絡輸出層神經元的數量,通常情況下,變量a取值為[0,10]之間的整數。采用這些經驗公式,可以將隱含層神經元數量確定在一個范圍內?？紤]到本文研究的PIM功率信號是一個時間序列,本文選用的小波神經網絡為一個輸出層,即l為1。由于輸入層神經元個數與時間序列的嵌入維數相關,因此,基于實驗測試得到PIM時間序列獲得嵌入維數是開展預測研究的關鍵。

3.1.1 確定嵌入維數

KIM H S等人提出的C-C方法[29]是獲得時間序列的最佳嵌入維數的最常用且有效的方法。本文也采用該方法來獲得最佳嵌入維數。其具體步驟如下:

首先,根據得到的時間序列,采用公式(8),構建該PIM功率時間序列的相空間,

X(t)={x(t),x(t+τ),…,x[t+(n-1)τ]},
t=1,2,…,M,M=N-(n-1)τ

(8)

嵌入時間序列的關聯積分可以表示為:

(9)

式(9)中,x(t)表示時間序列,X(t)表示相空間中的相點,M表示相空間中相點個數,τ表示時間延遲,n表示嵌入維數,N表示時間序列中包含的數據個數,r表示計算中所使用的搜索半徑,θ表示符號函數如式(10)所列:

(10)

時間序列x={xi}的檢驗統計量S(n,N,r,t)可以表示為如式(11)所列:

S(n,N,r,t)=C(n,N,r,t)-Cn(n,N,r,t)

(11)

將得到的時間序列平均分為t(t為時間延遲)個互不相交的子時間序列,表示為如式(12)所列:

(12)

對公式(11)所定義的統計量進行分塊平均,則有如式(13)所列:

(13)

隨時間t變化的S1(n,r,t)反映了時間序列的自相關特性。在S1(n,r,t)～t關系曲線中所有使用的搜索半徑r之間相差最小的時間點,即對應最優時間延遲τ。在S1(n,r,t)～t關系曲線中,選擇最大的半徑r和最小半徑r,并獲得其差值為式(14)所列:

ΔS1(n,t)=max{S1(n,ri,t)}-min{S1(n,ri,t)}

(14)

式(14)中,ΔS1(n,t)表示S1(n,r,t)～t關系曲線中所有半徑r的最大偏差。進而可以獲得如下公式:

(15)

(16)

圖5 C-C方法得到的數值結果Fig.5 The numerical result with C-C method

(17)

S1_cor(t)～t關系曲線中的全局最小值的取值位置,即被認為是所尋找的最優延遲時間窗口τW(如圖5(c)所示)。

3.1.2 確定隱含層神經元個數

基于獲得的嵌入維數,并代入公式(4-7)中,可以估算出本文研究的PIM功率時間序列的小波神經網絡中隱含層的神經元個數m的取值范圍是[2,13]?；跍y得的PIM時間序列,分別對初步獲得的取值范圍[2,13]內每一種神經元個數的隱含層進行仿真計算。仿真過程中均采用500次訓練次數。通過仿真計算,可以分別求得均方誤差(mean squared error,MSE)和均等系數(equation coefficient,EC,即擬合度)的平均值。

均方誤差MSE的計算公式表示為:

(18)

均等系數EC的計算公式表示為:

(19)

式(18-19)中,Yr(t)為在PIM時間序列在時刻t的實際測試值;Yp(t)為采用本文所述小波神經網絡方法仿真得到的PIM時間序列在時刻t的預測值。MSE表示的是實驗值與預測值之間的誤差分布,也就是說,MSE值越小,誤差分布就越集中,而預測效果也就越好。EC反映的是預測結果與測試結果的符合程度,它的值越大,說明預測值與測試值的擬合程度越接近,預測效果也就越好。

根據試驗測得的PIM功率時間序列,采用圖2中的小波神經網絡預測流程,分別對具有不同神經元數量的隱含層的小波神經網絡模型進行預測分析。誤差效果如表1所列。

表1 不同神經元數量的隱含層的預測結果的誤差Table 1 Error of predicting results with different number neurons

從表1的計算結果可以看到,當選取的隱含層神經元個數為7的時候,均方誤差值MSE達到最低,均等系數EC最大。此時,本文構建的小波神經網絡模型的期望輸出值與實際輸出值最為接近。即當隱含層神經元個數為7時,構造的預測模型在預測效果上最佳。因此,本文采用輸入層為4個神經元,隱含層為7個神經元,輸出層為1個神經元的小波神經網絡模型來預測PIM功率時間序列。

3.2 預測結果

采用構建的小波神經網絡模型,對PIM功率時間序列進行單點單步預測。仿真過程中采用的訓練過程的迭代次數設為500次,學習速率lr1和lr2分別取0.01和0.001。

下圖6給出了基于本文所建立的小波神經網絡模型,以及測試得到的前5000s的PIM功率時間序列,預測得到5000s之后的90s的PIM功率。從圖6中可以看出,在預測的90s的時間序列中,小波神經網絡對PIM時間序列的預測結果與實際測試結果相接近。圖7反映的是預測結果與測試結果的相對誤差。從中可以看出,最大相對誤差為1.33%。從而驗證了小波神經網絡模型在PIM功率時間序列預測方面的有效性和可行性。

圖6 前90s的預測結果Fig.6 Predicting results of within 90s

圖7 預測結果與實際測試結果的相對誤差Fig.7 The relative error between predicting results and experiment results within 90s

4 結論

本文提出基于小波神經網絡的PIM功率預測方法。首先,詳細介紹小波神經網絡預測模型及其預測方法;其次,以同軸連接器為驗證對象,通過PIM實驗測試系統獲得3階PIM功率的時間序列;最后,依據獲得的PIM功率時間序列,采用小波神經網絡預測模型對后續的PIM時間序列進行預測,并將預測結果與實驗結果進行比較,從而驗證小波神經網絡在預測PIM功率時間序列方面的有效性。該研究對于開展PIM對消抑制技術具有一定的參考價值。

盡管本文的預測結果與實驗結果具有較好的吻合度。但是,對于實驗測試結果中出現的PIM值突然跳變現象卻不能準確預測,這是因為影響PIM測試結果的因素很多。如要準確預測PIM的跳變,則需要對PIM的影響因素綜合分類,進行量化,測試所有不同影響因素下的PIM時間序列。只有盡可能將各種影響因素都包含進去,才可能對PIM值進行準確預測。在這個過程中,需要大量的實驗測試數據,這也正是小波神經網絡的優勢。本文僅僅是采用一個PIM時間序列來驗證小波神經網絡預測PIM值的可行性。后續,則要基于小波神經網絡繼續開展考慮多種因素影響下的PIM預測研究。