基于深度學習的復雜系統仿人思維控制研究

王培進，杜曉林

( 煙臺大學計算機與控制工程學院，山東 煙臺 264005)

單輸入-單輸出系統(SISO)只有一個被控量、一個控制量,根據干擾量的情況,可以構成反饋、前饋-反饋、串級、前饋-反饋-串級等控制結構,控制相對簡單,而復雜系統的控制就相對復雜．復雜系統一般有如下特點:

(1)有多個被控量、干擾量和控制量,是多輸入-多輸出(MIMO)系統;

(2)被控量與干擾量之間、控制量與被控量之間、被控量與被控量之間存在關聯關系．一個控制量的輸出,不僅僅影響與其特定對應的被控量的變化,同時可能影響其他被控量的變化;一個干擾量的變化,影響多個被控量的變化;同理,一個被控量的變化可能影響其他被控量的變化;

(3)各個量的變化存在時滯,有些復雜系統還是時變系統、非線性系統;

(4)由于系統的復雜性,難以建立數學模型．

以孵化機控制為例,孵化機是用于孵化雞、鴨等用的設備,孵化過程被控量有溫度、濕度、二氧化碳含量等,控制量有通風、加濕、加熱等,干擾因素也很多,包括環境溫度、蛋的種類等,各個量之間相互耦合,是一個典型的復雜MIMO控制系統．孵化機孵化過程要控制的指標是孵化成功率,在控制過程中,溫度、濕度、通風之間存在耦合關系．溫度變化滯后特性明顯,濕度變化滯后小,正常情況下,溫度和濕度成反比例關系,通風可以控制二氧化碳含量,同時既影響溫度變化也影響濕度變化．同樣,控制溫度,也影響濕度;控制濕度,也影響溫度．孵化機控制問題可以看作是一個三輸入-三輸出控制問題,難以建立準確的數學模型．孵化機常用的PID控制、解耦控制、模糊控制、模糊PID控制等控制方法,不能有效地施加控制,穩定性差．

1 復雜系統控制方法

復雜系統可以看作是多個SISO子系統構成,如果子系統之間沒有耦合,可以采用SISO系統控制方法;如果有耦合,一般采用解耦控制或者其他智能控制方法．

在解耦控制問題中,基本目標是設計一個控制裝置,使構成的多變量控制系統的每個輸出變量僅由一個輸入變量完全控制,且不同的輸出由不同的輸入控制．在實現解耦以后,一個多輸入多輸出控制系統就解除了輸入、輸出變量間的交叉耦合,從而實現自治控制,即互不影響的控制．

解耦控制必須有較為準確的數學模型,而一些復雜過程控制、流程控制等控制系統,數學模型難以建立,難以實現解耦控制．即使實現了解耦控制,系統的參數變化,也會破壞解耦控制的穩定性．

其他智能控制方法,例如常用的模糊控制,基于先驗控制規則．對于一個沒有控制經驗的復雜系統,無法采用模糊控制方法．即使實現了模糊控制,也無法在線學習、修訂控制規則或者控制經驗．

因此,必須尋找新的控制理論和方法．

2 仿人思維控制理論簡介

仿人思維控制理論揭示人的控制思維機理和控制智慧[1],克服當前控制理論在設計控制器時存在的不足,并用計算機模擬、實現,解決難以建模的系統控制問題．仿人思維控制理論研究取得的主要研究成果如下:

(1)提出從數據空間到概念空間的轉換方法,定義了被控量、控制量、干擾量、穩定性、控制過程等相關概念[2-4];

(2)提出3種控制算法,模擬抽象邏輯推理控制思維[5];

(3)提出模擬形象直覺推理控制思維算法[6];

(4)提出SISO系統和MIMO系統仿人思維控制經驗挖掘、調用算法[7];

(5)提出SISO系統仿人思維控制器結構,在實際控制系統中得到驗證[8];

(6)提出應用于復雜系統控制的仿人思維復合控制策略[9];

(7)提出擬人化分布式智能控制系統結構[10]．

對于復雜系統的控制,仿人思維控制理論給出了仿人思維復合控制策略,解決了孵化機孵化過程控制問題,但在控制經驗挖掘方面仍然不完善．本文將深度學習和仿人思維控制機理相結合,解決復雜系統仿人思維控制經驗挖掘問題．

3 深度學習簡介

AlphaGo擊敗圍棋國際頂尖選手使深度學習成為當今人工智能領域最熱門的話題．尤其是AlphaGo Zero,在訓練中不依賴于人類的棋譜,不使用人工設計的特征作為輸入,將策略網絡和價值網絡合二為一,網絡結構采用殘差網絡,網絡深度更深,迅速自學圍棋,戰勝前輩AlphaGo．

深度學習是深度神經網絡的簡稱,是一種深層次的神經網絡．目前較為公認的深度學習的基本模型包括基于受限玻爾茲曼機 (Restricted Boltzmannmachine, RBM) 的深度信念網絡 (Deep belief net-work, DBN)、基于自動編碼器 (Autoencoder, AE) 的堆疊自動編碼器 (Stacked autoencoders,SAE)、卷積神經網絡 (Convolutional neural net-works, CNN)、遞歸神經網絡 (Recurrent neuralnetworks, RNN)．深度學習目前主要應用在圖像處理、語音處理、自然語言處理等方面,在控制領域的應用研究剛剛起步．深度學習在控制領域主要有4個方面的研究:控制目標識別、狀態特征提取、系統參數辨識、控制策略計算等．

綜觀文獻[11-19]:(1) 深度學習在控制領域的研究已經開始,但研究成果不多,尤其在控制策略應用研究方面更少,且局限于單輸入-單輸出系統(SISO),對多輸入-多輸出(MIMO)復雜系統控制策略的應用研究,未見相關論文報道;(2)AlphaGo、AlphaGo Zero的出現,對深度學習在控制領域的研究帶來新的動力和想象力．

4 深度學習與仿人思維控制

人腦是世界上最優秀的控制器,一個有經驗的控制專家,可以同時觀測多個量的變化(多傳感器輸入),利用手、腳可以實現多個控制動作(多控制量輸出),以達到給定的控制目的．經過長時間的控制,積累了豐富的控制經驗,他知道哪個被控量變化了,應該執行一個或幾個控制量,可以抑制其變化;同時由于被控量之間的關聯關系,還要調節另一個或幾個被控量,以抑制因前面施加控制動作帶來的變化．人工控制能夠實現開、閉環切換,能夠做到有針對性的控制而不是連續控制;能夠根據干擾量的變化特點和被控制量的變化特點而施加控制,這種控制帶有選擇性．傳統控制方法是只要干擾量和被控制量有變化,或者系統參數有變化,就有控制動作產生,導致系統波動,控制方法如果魯棒性不好,嚴重的可能出現不穩定．

AlphaGo Zero 能夠通過自學習積累豐富的下棋經驗,這跟人工控制過程十分相似．AlphaGo Zero之所以成功,在于圍棋有給定的下棋規則和輸贏判定標準．同樣,人工控制過程也有給定的控制規則和控制有效性判定標準．因而,利用AlphaGo Zero的深度學習機理,模擬人的控制思維是完全可行的．人工控制過程的控制規則是消除干擾、抑制干擾,保持被控量的穩定．每一次控制是否有效,可以用以下標準來判斷,符合其中之一,該次控制有效,可以記憶保存．

(1) 偏差是否減小

|en+1| < |en|;

(2) 被控量變化趨勢是否改變

從Δen>0 到 Δen+1<0,或者從 Δen<0 到 Δen+1>0;

(3) 被控量是否進入穩定區域,相對穩定

|Δen|=|yn+1-yn|=|Δyn|≈0;

(4)控制最終是否有效,可以用以下標準判斷:

|en|≤ε,|Δei|≈0,oren=0.

其中,ε控制精度,e被控量偏差,y被控量當前值．

滿足上述條件之一,可以從閉環控制變為開環控制,保持控制量輸出不變．

當然,人工控制過程與AlphaGo Zero下棋最大的區別在于:AlphaGo Zero 下棋動作無論出現多大的失誤,都可以自身校正,不影響最終結果,不存在安全、穩定等問題．但是,人工控制過程每一次控制動作的產生,都是小心翼翼的,以防止引起被控量的巨大波動,導致系統出現嚴重不穩定和某些危險．可見,如果將類似于AlphaGo Zero的深度學習網絡用于實際系統的實時控制,不能從零開始學習,必須先基于一定的控制經驗學習,然后再邊控制邊學習,積累新的控制經驗,用于實時控制．如果從零開始學習,有可能產生一些非理性的輸出,產生危險控制動作,導致被控系統出現嚴重問題．因此,必須結合AlphaGo、AlphaGo Zero設計深度學習控制網絡,模擬人的控制思維,解決復雜系統的控制,這是將深度學習網絡用于實際控制系統的重要特征．

5 仿人思維深度學習控制網絡

控制的根本目的是消除干擾、抑制干擾,達到給定的控制目標．假定被控量為xi(i=1, 2, …,n),有n個;干擾量為dj(j=1, 2, …,m),有m個;控制量ur(r=1, 2, …,k),有k個,這些量之間存在關聯關系或者耦合關系．控制的任務是:根據當前被控量變化、干擾量變化和控制量當前值,確定下一步控制量的輸出,使被控量達到符合給定控制要求．若達到給定控制要求,由閉環控制轉換為開環控制,“等一等,看一看”,根據被控量變化情況,決定是否要施加控制作用,同時將當前的輸入-輸出作為一條控制經驗進行存儲．若沒有達到給定控制要求,則繼續施加控制作用．

深度學習神經網絡的實質是以多層的帶有一定特征的網絡,以更高的精度逼近輸入-輸出之間的復雜的非線性關系．對于MIMO復雜系統,輸出控制量和輸入被控量、干擾量之間存在復雜的非線性關系,可以用深度學習神經網絡來模擬它們之間的關系．

5.1 網絡架構

根據我們的研究[1],人腦的語言不是數學的語言,人腦主要是基于概念的推理與思考,使用if-then的推理規則．在實際控制系統中,多個傳感器輸出被控量、干擾量的實時數據,加上控制量的當前值,形成數據空間．模擬人的控制思維,必須將輸入數據空間轉換為概念空間,通過各個概念之間的關系,形成推理規則,然后再將概念空間轉換為數據空間輸出控制量．為此,我們定義了如下幾個空間,便于模擬人的控制思維．

輸入數據空間:傳感器陣列獲得的被控量、干擾量(可測的)實時值,控制量當前值．

輸入特征量空間:被控量的偏差、偏差的變化,干擾量的變化量．

輸入概念空間:被控量變化的大小、方向、速度、趨勢,干擾量變化的大?。?/p>

規則空間:被控量、干擾量、控制量之間構成的關聯規則．

輸出概念空間:控制量大幅增加,小幅增加、大幅減小、小幅減少、保持不變、最大、最?。?/p>

輸出數據空間:各個控制量輸出實時值．

輸入、輸出概念空間的定義及其對應特征量值,見前期研究見文獻[2-3]．

對于控制規則空間的定義,需要挖掘語言值關聯規則．語言值關聯規則為“如果X是A,則Y是B”,判斷一個語言值關聯規則是否被采用需要用到支持度和信任度．當支持度和信任度分別不小于給定的最小支持度和最小信任度時,則認為語言值關聯規則被采用,否則不被采用．人工控制過程中豐富的控制知識的形成過程可以看作是人認知過程中從數據到概念,從概念到規則的發現過程．

對于MIMO系統,假定只有2個被控量x1,x2,2個干擾量d1,d2,2個控制量u1,u2,它們之間存在關聯與耦合關系．一般控制經驗表達規則可以是:

ifx1andx2andd1andd2thenu1andu2;

ifx1andx2andd1ord2thenu1andu2;

ifx1andx2ord1ord2thenu1andu2;

ifx1andx2ord1andd2thenu1andu2;

ifx1orx2ord1ord2thenu1andu2;

ifx1orx2ord1andd2thenu1andu2;

ifx1orx2andd1andd2thenu1andu2;

ifx1orx2andd1ord2thenu1andu2.

推廣到基于概念的控制經驗表達,每個被控量有4個特征量:變化的大小、方向、速度、趨勢;每個特征量有不同的特征值,對應的特征值分別有7個、3個、3個、3個;干擾量有1個特征量,有7個特征值;控制量輸出有7個特征值．用被控量、干擾量、控制量特征值表達控制規則,全部轉換為邏輯與形式,例如:

ifx11=3 andx12=1 andx13=1 andx14=0 andx21=3 andx22=1 andx23=1 andx24=0 andd11=0 andd21=0 thenu1=u1maxandu2=u2max．

其中,xij表示被控量xi的第j個特征量,j=1,2,3,4;di1表示干擾量di的特征量．這些形式的組合數上萬種．從組合數從上萬種中抽取常用的、有效的控制規則組合,對于一個給定的控制系統,大約為幾十種,這個過程可以看作是逐步抽取特征的過程,這跟圖像識別類似,從幾萬像素中,經過特征識別,抽取需要識別的特征字符．由此推論,基于卷積神經網絡的深度學習網絡可以用于模擬人的控制思維與控制經驗．卷積神經網絡適合于特征提取,基于卷積神經網絡的深度學習網絡可以實現多級特征提取,根據上述分析,在實時控制過程中,用基于卷積神經網絡的深度學習網絡挖掘人的控制經驗．仿人思維深度學習控制網絡結構圖1所示,由3個網絡組成:輸入網絡、深度學習網絡、輸出網絡．

圖1 仿人思維深度學習控制網絡組成

圖2—4分別給出了每個網絡的具體組成部分．

對于輸入網絡,是一個非全鏈接前向神經網絡,各個層特點:

(1)數據輸入層:被控量當前值、干擾量當前值．節點數是被控量和干擾量數目的和．輸入層與特征層之間連接權值為1．

(2)輸入特征層:被控量節點輸出對應的點是偏差及其偏差的變化,干擾量輸出對應的節點是干擾量的變化,特征層與概念層之間連接權值為1．

被控量輸出對應的第一個節點是偏差節點,輸出:y=ei．

被控量輸出對應的第二個節點是偏差變化節點,輸出:y=ei-ei-1．

干擾量輸出對應的節點是干擾量的變化,輸出:y=di．

輸出激活函數為線性函數．

圖2 輸入網絡組成

圖3 基于卷積神經網絡的深度學習網絡

圖4 輸出網絡組成

(3)輸入概念層:與被控量輸入對應的是被控量變化的大小、方向、速度、趨勢4個節點,與干擾量輸入對應的是干擾量變化的大小1個節點．對應被控量變化大小的節點只與偏差輸出有關．

被控量變化的大小輸出采用ReLU 函數,其他輸出采用tanh 函數．

(4)規則空間層:按照前述的控制規則,規則層節點數很多,它與概念層之間是非全連接關系．只要被控量、干擾量之間有關聯關系,就至少產生一個節點．對于2個被控量、2個干擾量、2個控制量的控制系統(本文實驗研究系統),經過分析,選取可能出現的150種組合,構成150個節點．節點輸出激活函數采用sigmoid函數,其大小反映了該節點對應的控制規則使用強度．

深度學習網絡采用的是卷積神經網絡:

第一個卷積層:概念層的輸出經過一次卷積運算,去掉一些不常用的控制規則．對于我們研究的實驗系統,從規則層的150個節點壓縮到120個節點．

第一個采樣層:采樣層也稱池化層,去掉使用強度不高的控制規則,將節點數壓縮到100個．

第二個卷積層:再經過一次卷積運算,去掉一些不常用的控制規則,將100個節點壓縮到80個節點．

第二個采樣層:進一步去掉使用強度不高的控制規則,將節點數壓縮到50個．也就是常用的、有效的控制規則為50個．

輸出網絡是一個2層的前向神經網絡:

輸出特征層:輸出特征層有6個節點,對應6種輸出,它與前面的采樣層是非全連接方式．每個控制規則對應一個給定的輸出特征值,因而對應給定的節點,而不是所有的節點．特征層輸出激活函數采用sigmoid函數．

控制量輸出層:輸出層節點數就是控制量的個數,對應本實驗研究系統是2個．輸出層與輸出特征層之間是全連接關系,也就是說,任何一個控制量的輸出是6種特征輸出的組合．輸出層激活函數采用ReLU 函數．

5.2 網絡的訓練與學習

如前所述,由于控制的特殊性,仿人思維深度學習控制網絡不能像AlphaGo Zero 那樣從零開始自我學習,必須有一定的控制經驗,然后再邊控制邊學習邊強化,以應對各種控制情況,我們提出2種解決方法．

5.2.1 先驗式訓練與學習法 對于給定的控制系統,如果有條件可以進行手動控制,先進行手動控制(利用組態界面,手動改變控制量輸出大小),取得訓練數據,對控制網絡進行訓練．將訓練好的控制網絡進行實時在線應用,在控制過程中進一步訓練網絡,取得更豐富的控制經驗．

也可以通過理論分析或類似系統的控制經驗,分析出一定數量的控制經驗,對控制網絡進行訓練,將訓練好的控制網絡進行實時在線應用．

5.2.2 嘗試式訓練與學習法 將復雜系統按照被控量、干擾量、控制量之間的強關聯關系,劃分幾個相對獨立的子系統,每個子系統設計基于仿人思維控制的智能反饋、智能前饋-反饋、智能串級、智能前饋-反饋-串級等控制結構,主回路控制器采用我們研究的仿人思維控制算法——三階段控制法[1],副回路控制器采用我們研究的智能前饋控制器[9]等．設計好各個子系統,開始控制．這個階段是試探性控制階段．該階段的控制,可以實現“快速”控制,接近給定控制要求,但不能保證“穩、準”的控制要求．在控制過程中,保存控制有效的數據,對控制網絡進行訓練．網絡訓練完畢后,訓練控制子系統不再發揮作用,系統控制由控制網絡接管．

5.2.3 訓練學習約束條件 經過初級階段訓練好的網絡,在實時在線控制過程中,利用有效的數據進行在線訓練,獲取更豐富的控制經驗．由于控制的特殊性,實時訓練過程需要考慮如下約束條件.

(1)控制量輸出大小約束:對于一組給定的輸入數據,經過控制網絡計算輸出的控制量值必須在最大與最小之間,若超出,自動選擇上限值或下限值．

(2)控制量輸出變化約束:在被控量變化不大的情況下,控制量輸出變化不能過大,即

|Uk-Uk-1|≤∮．

如果計算的控制量超出上述約束條件,不能直接施加控制,需要做適當修正:

U輸出=U計算-Kp·Δu.

(3)控制有效性約束:對于一組給定的輸入數據,經過控制網絡計算的控制量,施加到被控系統后,如果滿足如下條件之一,說明控制是有效的,該組數據可以保存,與前面初始訓練數據一起用于控制網絡的實時訓練．

(a) 偏差是否減小: |en+1| < |en|;

(b) 被控量變化趨勢是否改變:從 Δen>0 到 Δen+1<0,或者從 Δen<0 到 Δen+1>0;

(c) 被控量是否進入穩定區域,相對穩定:

|Δen|=|yn+1-yn|=|Δyn| ≈0．

(4)訓練學習終止約束:當如下條件滿足時,控制網絡的在線訓練學習可以終止．

每個被控量達到給定的控制精度:|en|≤ε,可以從閉環控制變為開環控制,保持控制量輸出不變．

6 實驗研究

實驗系統采用三水箱液位控制系統,圖5是實際對象示意圖,圖6是其結構工藝原理．

圖5 實驗系統

圖6 實驗設備工藝原理

如圖5、6所示,V1,V2,V3為小水箱,V4為儲水箱．V1,V3水箱的液位可以單獨控制,V2水箱液位可以由P1,P2 2個直流伺服電機輸出的水流控制．JV11,JV21 2個手動閥可以調節供水流量,用于控制中施加干擾量．我們實驗設置是控制V1、V2水箱的液位,且V2液位大于V1液位,因而控制系統的被控量是2個水箱的液位,干擾量是兩路流量,控制量是2個直流伺服電機施加的電壓,即系統2個被控量,2個干擾量,2個控制量．它們之間的耦合關系是:V2水箱液位受2個控制量控制,一個控制量改變,另一個控制量也必須改變,才能保證液位不變．V1水箱液位可以單獨控制,但是對它施加的控制必然影響V2水箱液位．控制邏輯關系如下:

初始控制階段.先對V1水箱液位施加控制,使其達到給定控制值,然后通過調節P2電機轉速,調節右路流量,使V2水箱液位達到給定控制值．

抗干擾控制階段.例如,加大JV16手動閥的開度,V1水箱液位下降,通過控制加大P1電機轉速,增大左路流量,使V1水箱液位恢復到給定控制值,同時減小左路流量,保證V2水箱液位不變．反之,亦然．控制經驗為

If V1水箱液位減小 and V2水箱液位不變 then P1電機轉速增大and P2電機轉速減?。?/p>

同理,通過分析可以推理出如下幾條控制經驗:

If V1水箱液位增大 and V2水箱液位不變 then P1電機轉速減小and P2電機轉速增大;

If 左路流量減小 and V1液位不變and V2液位不變 then P1電機轉速增大or P2電機轉速增大or P2電機轉速不變;

If 左路流量增大 and V1液位不變and V2液位不變 then P1電機轉速減小or P2電機轉速減小or P2電機轉速不變;

If V1液位不變and V2液位減小 then P1電機轉速不變and P2電機轉速增大;

If V1液位不變and V2液位增大 then P1電機轉速不變and P2電機轉速減小;

If V1液位減小and V2液位減小 then P1電機轉速增大or P2電機轉速增大or P2電機轉速不變;

If V1液位增大and V2液位增大 then P1電機轉速減小or P2電機轉速減小or P2電機轉速不變;

If V1液位增大and V2液位減小 then P1電機轉速減小and P2電機轉速增大;

If V1液位減小and V2液位增大 then P1電機轉速增大and P2電機轉速減小;

If 右路流量減小 and V1液位不變and V2液位不變 then P1電機轉速不變and P2電機轉速增大;

If 右路流量增大 and V1液位不變and V2液位不變 then P1電機轉速不變and P2電機轉速減?。?/p>

利用上述控制經驗,手動控制每條控制經驗獲取5組數據,共獲取60組實驗數據,對深度學習控制網絡進行訓練．訓練完畢,參與實時閉環反饋控制．控制系統結構如圖7所示．

實際實驗過程中,采用組態王做監控軟件,但它不能實現復雜的算法．控制網絡的在線實時訓練,其訓練算法是很復雜的,涉及矩陣運算、優化、迭代、函數計算等．因此,讓組態王完成在線訓練與應用,實時性難以做到,編程困難．為解決這一問題,我們采用了DDE技術,實現MatLab、組態王之間的數據交換,發揮各自的特長．MatLab實現神經網絡的訓練與計算十分簡單;組態王可以通過DDE技術與其他軟件通訊,編制監控界面方便．

圖7 實驗控制系統

圖8、圖9給出了訓練好的控制網絡進行的閉環控制實驗曲線．如圖所示,液位1隨著左路流量的增大、減小發生變化很大,或者上升,或者下降．在控制過程中,盡管左路流量波動較大,液位1波動很大,但是液位2基本沒有變化,始終在給定值附近(控制精度為1),這是右路及時控制的結果．實驗結果表明,訓練好的控制網絡,模擬了人的控制思維,成功地實現了解耦,取得優良實驗結果．

圖8 實時控制曲線(1)

圖9 實時控制曲線(2)

7 總 結

復雜系統有多個輸入、輸出,輸入、輸出變量之間一般存在耦合關系,對一些復雜的過程控制系統難以建立數學模型,控制相對復雜．現有控制理論解決復雜系統控制問題,仍然存在不足．仿人思維控制是基于人控制思維和控制智慧的控制方法,跟其他控制方法不同之處在于:(1)能實現開環、閉環切換;(2)分段控制,不同階段采用不同控制方法;(3)依據被控量變化的大小、方向、速度、趨勢確定控制策略;(4)采樣周期、控制周期在控制過程是可變的;(5)控制過程實時挖掘控制經驗與技巧,指導控制過程;(6)依據被控量、控制量、干擾量的動態特性以及它們之間的關系確定控制策略;(7)能夠有機地融合人的思維智能、動覺智能、視覺智能;(8)能夠協調“穩、快、準”3個控制性能指標之間的統一．仿人思維控制理論方法已經成功地運用于單輸入-單輸出過程控制系統,對多輸入-多輸出復雜系統控制也有應用,但也存在不足．深度學習網絡可以實現類似人腦邊學習、邊積累經驗功能,將仿人思維控制機理與深度學習網絡結合,發揮各自的優勢,解決復雜系統控制問題是可行的．我們研究了2個被控量、2個干擾量、2個控制量的實驗控制系統,實驗結果表明,我們提出的仿人思維深度學習網絡取得良好的控制效果．下一步將研究更加復雜的多輸入-多輸出系統控制,完善基于仿人思維深度學習網絡的控制方法．