雙容水箱液位智能控制實訓裝置研究*

賴小華

(贛南師范大學 物理與電子信息學院，江西 贛州 341000)

液位控制是工業領域最常見的過程控制問題，例如在飲料食品、化工生產、核電站等各種行業的生產加工過程中都需要對反應容器液位進行適當控制，而工業生產過程往往是繁雜的，控制變量具有多階性、非線性、強耦合等特點[1-3].因此，為了貼近生產實踐，本科及研究生控制類課程往往將液位控制問題作為典型案例引入課堂.本文在調研了飲料、食品加工、化工生產等多種行業生產過程中液位控制的基礎上，進行合理簡化，設計了一套適用于本科、研究生控制類課程教學的液位控制實訓裝置.該裝置采用模塊化設計，具有配置靈活、操作方便等優點，可為《自動控制原理》《過程控制》《PLC控制》《線性控制理論》和《智能控制》等本科及研究生課程的教學及實訓服務.同時針對提出的裝置，采用機理分析法得出裝置數學模型.

1 雙容水箱液位控制實訓裝置及實驗項目設計

1.1 雙容水箱液位控制實訓裝置

雙容水箱液位控制實訓裝置硬件結構如圖1所示，主要由2個柱形水箱，1個蓄水箱，2個進水控制閥，1個連通閥和2個儲水調節閥組成.控制系統通過液位傳感器采集水箱液位信息，經過一定控制算法，向電磁閥發出一定電壓信號，調節閥門開度，從而調節管道流量.控制系統可以用單片機、PLC和上位機等方式實現，以滿足多課程實訓的需要.

圖1 雙容水箱液位控制實訓裝置結構示意圖

1.2 實驗項目設計舉例

該實訓裝置具有很強的靈活性，可以調整各閥門的通斷與否、控制與否等配置出多種實驗項目，以模擬出各種實際生產過程中場景.本文略舉幾個例子如下.

例1出水隨機的單容水箱灌裝系統

對某些特殊液體的灌裝，要求貯液缸內存在等壓的氣相區和液相區，貯液缸內液位的變化會直接影響到機器的正常運轉和機器的生產能力，以至影響產品的質量和產量，譬如啤酒灌裝機.這些場景的實際問題都可看作是出水隨機的單容水箱灌裝系統液位控制問題.該系統可由雙容水箱實訓裝置的1個水箱，1個液位傳感器，1個出水閥門，1個入水閥門以及控制系統組成.被控量是液位，控制量是進水閥門的開度.控制器根據液位傳感器檢測的液位信號與設定值之間的偏差發出電壓信號，調節進水閥門的開度，從而調整水箱入水量，使得液位保持在設定值，同時控制器可以向出水閥門發出一定的電壓信號，模擬隨機出水干擾.實驗內容是設計合適的控制器，在出水存在干擾的情況下，調節入水流量，使得液位維持在1個設定值.同理，我們調換上述系統出水閥和進水閥的角色，很容易改造成隨機進水的單容液位控制裝置.

例2單一進水的雙容水箱排液系統

在實際排液系統中，當在用水流量比較大的情況下，為了平抑液位的過快變化，系統往往需要再添加1個儲水箱，這些場景的實際問題都可看作是單一進水的雙容水箱排液系統液位控制問題.該系統可由雙容水箱實訓裝置的2個水箱，2個液位傳感器，1個出水閥門，1個入水閥門，1個連通閥門以及控制系統組成.被控量是2個液位，控制量是進水閥門S1的開度和連通閥門S3的開度.控制器根據液位傳感器檢測的液位信號與2個液位設定值之間的偏差發出電壓信號，調節進水閥門S1的開度和連通閥門S3的開度，從而調整水箱入水量和2個水箱之間的流通量，使得液位保持在設定值，同時控制器可以向出水閥門發出一定的電壓信號，模擬隨機出水干擾.

圖2 單容水箱液位控制實訓 裝置結構示意圖

2 水箱液位控制實訓裝置數學模型

2.1 單容水箱控制實訓裝置數學模型

為了更好理解雙容水箱液位控制裝置模型，先討論單容水箱液位控制裝置的物理機理，其結構如圖2所示.Qi是進水流量，Qo是出水流量，h是液位高度，為被控變量，其變化與Qi和Qo有關.根據流量平衡原理可得：

(1)

式中A是水箱截面積.ΔQi是進水閥門S1的開度u引起的，當閥門前后無壓力差時，可得：

ΔQi=KuΔu

(2)

其中Ku是閥門的流量系數.ΔQo是出水閥門S2的開度引起的，但當閥門前后存在壓力差時，根據流體力學中的伯努利方程，可得：

(3)

(4)

其中U表示施加在出水閥門上的電壓，α是閥門節流系數，在閥門的線性區域，是一個常系數.將(4)代入(1)可得單容水箱液位控制裝置的數學模型為：

(5)

2.2 雙容水箱控制實訓裝置數學模型

以圖1為例，討論雙容水箱控制實訓裝置實訓模型.參照上述單容水箱的分析，應用伯努利方程和動量守恒定理，可推導出連通閥門的流量與兩側水箱間的高度差的平方根成正比，即：

(6)

若選取2個水箱的液位高度h1和h2為狀態變量，2個水箱的進水流量Qi1和Qi2為輸入量，其受施加在進水閥門上電壓的線性控制，因此實際的控制量是電壓.假設閥門S3，S4和S5開度固定，因此可推導出雙容水箱控制實訓裝置數學模型為[4]：

(7)

3 基于強化學習的智能控制算法研究

強化學習是在與環境的互動中為了達成一個目標而進行的學習過程，包括智能體(Agent)、環境(Environment)和目標(Goal)3個基本元素.強化學習的學習過程是處在某一初始狀態S0的智能體為了達到目標，采取一序列行動(Action)，與環境互動后可獲得與當前狀態和所采取的行動有關的獎勵(Reward)并折現累加，同時智能體轉移到新的狀態S1，如此進行下去，直至達到目標狀態.從同一初始狀態出發，可能有若干條行動系列路徑可達到目標狀態，強化學習的目的是通過不斷“試錯”，找到累加獎勵最大的行動序列，稱之為最優策略[5].因此，強化學習算法主要是解決序列決策過程中的最優策略選擇問題.尋找最優策略的過程就是一個馬爾可夫決策過程(Markov Decision Processes, MDPs)，其可表示為：M=〈S,A,Ps′|s,a,R,γ〉,其中S表示有限狀態集合，A代表可執行行動集合，Ps′|s,a表示從s采取行動a轉移到s′的概率，R表示采取某個動作后的即時獎勵，γ表示折現系數.

(8)

其中：Hd表示期望的目標狀態；H表示當前狀態；C為一個大于0的實數.

Vπ(H)=E[R(H(0))+γR(H(1))+γ2R(H(2))+…|H(0)=H,π]

(9)

強化學習的目的是利用Bellman方程找到狀態空間中每個狀態對應的最優價值函數：

(10)

然后，根據最優價值函數確定最優策略，即使價值最大化所采取的策略，定義為：

(11)

在強化學習中，為了找到最優價值函數和最優策略，有值迭代(Value iteration)和策略迭代(Policy iteration)2種方法.在隨后的控制過程中，控制器根據當前狀態及最優策略決定發出的控制指令，從而實現最優控制[6].

4 仿真分析

為了驗證本文提出的基于強化學習智能控制算法的可行性和優越性，搭建了一個式(7)表示的雙容水箱液位系統.假設水箱的最高液位為10 m,水箱1的進水最大流速為20 m3/s，水箱2的進水閥門關閉，不參與液位調節.選取式(8)為獎勵函數，其中C取100.將高度變量和流速變量離散化(N1=20，N2=20，M1=30)，因此對馬爾可夫決策過程來說，有400個狀態和30個可執行行動.最后在matlab平臺上編寫M文件最優價值函數和最優策略的搜尋，并利用最優策略調節液位高度.

圖3 強化學習后的最優函數

圖4 基于強化學習控制的狀態響應

圖4所示為基于強化學習智能算法控制器作用下的狀態響應過程.由圖可知：系統狀態(液位高度)能快速到達期望值，且過沖很小，無明顯振蕩過程.但存在一定靜差，這是離散化固有的量化誤差造成的，可以通過采用更精細的量化來降低，但會大大增加強化學習過程的運算量，有文獻提出對強化結果進一步使用神經網絡訓練來降低量化誤差.

5 結語

大多數工業過程都具有固有的非線性，經典控制策略使用線性化模型進行控制器設計，所以其在最優控制方面并不有效.本文提出一種基于強化學習的控制策略，用于控制非線性相互作用的液位系統.該策略充分考慮系統的非線性特性，利用強化學習方法的最優決策能力，可以通過設定不同的控制目標，實現不同方面的最優控制.仿真表明：該策略可以獲得較好的控制效果，其振蕩和超調都很小.