基于PSO的LSTM神經網絡門診量預測研究

覃智威 宓軼群 陸允敏 劉釗 朱平

摘 要：研究基于粒子群優化算法的長短期記憶神經網絡模型構建方法及其在醫院門診管理中的應用，選取三甲醫院中醫慢病相關科室門診量歷史記錄數據，構建基于長短期記憶神經網絡的門診量預測模型，借助粒子群優化算法對長短期記憶網絡進行參數優化，并使用優化后的模型對門診量進行預測。月度門診量預測結果表明，經過粒子群優化的長短期記憶神經網絡模型在測試集上的預測誤差RMSE，相比未優化的模型減小了48.5%。粒子群優化算法能高效地優化預測模型，可使模型較好地預測出門診量變化趨勢，從而為醫務人員門診管理工作提供決策支持。

關鍵詞：門診量預測;長短期記憶神經網絡;粒子群優化;深度學習

DOI：10. 11907/rjdk. 192823

中圖分類號：TP319 文獻標識碼：A 文章編號：1672-7800（2020）010-0029-05

Abstract： To investigate the construction method of long short-term memory （LSTM） neural network model based on particle swarm optimization （PSO） algorithm and its application in hospital outpatient management， the historical outpatient quantity data of the department related to Chinese medicine chronic disease in the tertiary hospital are selected to establish an outpatient quantity prediction model by means of the long short-term memory neural network， and particle swarm optimization algorithm is used to optimize the parameters of the prediction model. The prediction results of monthly outpatient quantity show that the prediction error RMSE of the LSTM neural network model optimized by PSO on the test set is 48.5% lower than that of the unoptimized model. Particle swarm optimization algorithm can optimize the prediction model efficiently， so that the model can better predict the trends of outpatient quantity and provide decision support for the outpatient management of medical staff.

Key Words： outpatient quantity prediction; long short-term memory neural network; particle swarm optimization; deep learning

0 引言

隨著現代信息技術的發展，醫療活動、醫學研究等過程數據被越來越多地記錄與存儲，由此形成的醫療大數據蘊含著大量有價值的信息，而傳統數據處理方式難以對這些醫療數據進行有效處理[1-4]。人工智能與醫療領域的深度融合是大數據背景下醫療信息化的核心技術之一。針對各級診療機構，尤其是三甲醫院累積的包括門診量歷史記錄等醫療管理數據，利用數據挖掘方法可以有效挖掘這些數據潛藏的價值。

醫院門診統計量體現了醫院運行情況，為醫院管理提供了重要參考。對門診量進行合理、準確的預測，可幫助醫院管理者優化醫療資源配置，方便醫院進行精細化管理，對提高醫院效益和診療能力具有重要意義。醫院門診服務面廣，門診人次統計數據具有較強的隨機性。同時，門診人次又受多種因素影響，既體現出中長期周期性變化的趨勢，又具有較明顯的季節效應[5-7]。應用傳統時間序列預測方法如灰色系統GM（1，1）模型[8]、差分自回歸滑動平均（Auto-Regressive Integrated Moving Average，ARIMA）模型[9]、季節性差分自回歸滑動平均（Seasonal Auto-RegressiveIntegratedMoving Average，SARIMA）模型[10]等對門診量進行預測面臨較多限制。隨著機器學習，尤其是深度學習技術的不斷發展[11-12]，針對門診量這類時間序列問題的預測精度不斷提升。如楊旭華等[13]首次使用基于深度信念網絡（Deep Belief Networks，DBN）的門診量預測方法，完成門診量數據特征提取，提升門診量預測精度;桑發文等[14]按照相似日原理對歷史門診量進行分類，并建立極限學習機（Extreme Learning Machine，ELM）預測模型對醫院門診量進行短期預測，獲得了較高精度;劉健等[15]構造搜索關鍵字的百度指數特征、時間特征及門診量特征，基于XGBoost算法對醫院精神科門診量進行較為精確的預測。循環神經網絡（Recurrent Neural Network，RNN）適合于處理序列數據，因此許多研究者利用這類方法構建針對性的預測模型。如李琳等[16]基于長短期記憶（Long Short-Term Memory，LSTM）網絡[17]，研究不同步長下模型對月度門診量的預測精度變化;陳渝等[18]在單一LSTM網絡預測模型基礎上，融合經驗模態分解對非平穩數據進行預處理，實驗結果表明，組合模型取得了比單一模型更好的預測精度;盧鵬飛等[19]構建基于SARIMA-LSTM的門診量預測模型，對節假日、法定上班天數、平均最高氣溫等多個指標進行綜合建模，相比主流預測方法可獲得更高的預測精度。

循環神經網絡，特別是長短期記憶網絡已被許多研究者證實適合于處理長序列數據[20]，對醫院門診量的預測也有越來越多研究以長短期記憶網絡為基礎。然而，長短期記憶網絡構建過程中涉及到許多超參數確定，研究者往往只是憑借著先驗知識或研究經驗進行超參數設置，缺乏一定的探索過程，面對不同問題時可能需要反復進行人工調參，而利用優化算法進行自動的神經網絡超參數優化則少有研究。針對這種情況，本文提出使用簡單、高效的粒子群優化（Particle Swarm Optimization，PSO）算法[21]對長短期記憶網絡關鍵超參數進行優化的流程，將基于粒子群優化的長短期記憶網絡用于三甲醫院慢性病相關科室的門診量月度預測。實驗結果表明，優化后的預測模型能夠較好地預測門診量變化趨勢。整套建模與預測流程可以方便地應用到門診管理工作中，為醫院的精細化管理提供技術支持。

1 基于PSO的LSTM神經網絡預測模型構建

1.1 LSTM神經網絡

針對三甲醫院門診量歷史記錄數據，利用深度學習方法搭建預測模型，對中短期門診量變化進行合理預測。本例中各時期門診量屬于時間序列數據，深度學習方法中循環神經網絡（RNN）是一種用于處理序列數據的神經網絡。長短期記憶（LSTM）神經網絡[17]作為一種特殊的RNN模型，主要是在常規RNN隱藏層中加入長短期記憶單元，從而能夠更有效地利用長距離序列數據，避免常規RNN在處理長序列數據時的梯度消失問題。LSTM記憶單元結構如圖1所示。

在前向傳播階段，t時刻記憶單元接收該時刻的輸入[xt]與上一時刻隱藏層的輸出[ht-1]作為遺忘門的輸入，遺忘門通過激活函數層決定要舍棄與保留的信息，輸出[ft]。

神經元需要保留的信息由輸入門實現，輸入門計算分為兩部分：使用sigmoid函數計算更新值[it]，以及使用tanh函數生成新的候選值[C]，二者乘積用于更新細胞狀態。

細胞狀態更新包含遺忘門輸出與t-1時刻細胞輸出的乘積，加上輸入門輸出與候選值的乘積。

最終輸出門的更新，即t時刻的隱藏層輸出[ht]由式（6）決定。

1.2 PSO算法

基于深度神經網絡建立的LSTM網絡預測模型包含多層網絡，每層網絡包含一定數目的神經元，加上LSTM網絡的步長等參數，使得該網絡預測模型的超參數設置與優化變得較為困難。本文采用啟發式優化算法對模型中的超參數進行優化，粒子群優化（PSO）算法[21]由于具有原理簡單、計算資源消耗小、收斂性較好、計算效率高等優點，成為最常用的啟發式優化算法之一。

粒子群優化算法是受鳥群合作行為啟發而提出的，算法使用一個包含若干粒子的種群，每個粒子都有自身位置與速度，算法迭代過程即是所有粒子在設計空間中不斷更新自身位置并互相交換位置信息，直至搜索到全局最優值的過程。在標準粒子群優化算法中，對于一個D維優化問題，[x（t）i]表示第[ith]個粒子的位置，[v（t）i]表示速度。[p（t）i]、[p（t）g]分別表示粒子歷史最優位置與整個群體尋找到的最優位置。每個粒子都將通過不斷迭代在設計空間中尋找自身最優解與全局最優解。整個種群通過式（7）、式（8）進行速度與位置更新。

式（7）包含3部分的加和：第一部分為上一代粒子速度與慣性因子[ω]的乘積;第二部分表征粒子個體搜索行為，激勵粒子不斷尋找個體最優解;第三部分表征粒子間的信息交互，共同尋找全局最優值。其中[c1]、[c2]分別是個體學習因子和社會學習因子，[r1]、[r2]為[0，1]之間的隨機數。

1.3 基于PSO優化的LSTM神經網絡預測模型

本研究通過構建LSTM網絡預測模型，并使用PSO算法對LSTM模型中的關鍵參數進行優化，最終將模型應用于醫院科室門診量預測中。建模與優化流程如圖2所示。

LSTM模型中，使用前一時刻數據對下一時刻數據進行預測，可選擇不同數量的前一時刻數據，如利用前兩個月的門診量對下個月門診量進行預測，這一參數為回溯時間步長n。同時，將LSTM中每層網絡的神經元個數設為參數[ki]，并將這些參數作為粒子群優化的候選解向量。將目標函數設置為LSTM模型的門診量預測誤差，通過算法迭代使預測誤差最小，從而求得一組模型的最優參數，最終得到基于粒子群優化的LSTM模型用于門診量預測任務。

2 門診量預測

2.1 數據集與數據預處理

門診量預測數據來源于上海市第六人民醫院，選取與膝骨關節炎等中醫慢病相關的骨科門診。骨科同時也是所有科室里門診量最大的科室之一，因此對骨科門診的管理工作非常重要。數據包含骨科2012年1月-2018年10月各月的門診量數據，該數據為一個長度為82個月的連續時間序列。圖3展示了骨科門診量在這段時間內的變化。從折線變化趨勢可以看出，骨科門診量按年度呈現出一定的周期性變化規律，這是由于假期對門診量的影響比較顯著，如每年春節期間都是門診量的一個低谷，而諸如國慶節等假期也會導致該月份門診量較小。

從圖3可以看出，該門診量數據為非平穩序列，波動較大，從最小值20 194人次到最大值54 070人次，并且在各個年份都有多個波峰與波谷。因此在進行預測之前，首先進行數據預處理工作。采用式（9）對數據進行歸一化處理，將原始數據等比例縮放至[0，1]之間。其中，[Xnorm]為歸一化后的數據，[Xmax]為樣本中的最大值，[Xmin]為樣本中的最小值。

經過數據預處理之后，將數據集劃分為訓練集和測試集。其中，選取最后12個月（2017年10月-2018年10月）門診量作為最終的測試數據，剩下部分作為訓練數據。優化的LSTM模型將利用訓練集進行訓練，并用測試集進行門診量預測。

2.2 評價指標

為檢驗模型最終預測效果，采用均方根誤差（Root Mean Square Error，RMSE）對預測結果進行評價。如式（10）所示，RMSE是預測值[yi]和真實值[yi]偏差的平方與樣本數n比值的平方根。該評價指標反映了預測值偏離真實值的程度，對大誤差非常敏感，能夠較好地反映預測精度。

2.3 實驗結果與分析

本算例測試選擇進行粒子群優化的LSTM模型參數，包括回溯時間步長n，以及三層神經網絡的神經元個數[k1]、[k2]、[k3]共4個關鍵參數，粒子群算法優化目標為最小化LSTM網絡預測誤差RMSE。在粒子群算法中，設置粒子數為20，最大迭代次數為50。圖4展示了PSO迭代過程最優值變化曲線。

選取迭代次數為1、25及50時的LSTM關鍵參數分別進行門診量預測曲線繪制，如圖5所示。圖中將訓練集與測試集數據共同繪制在同一幅圖上（圖5中實線），并且分別繪制出模型在訓練集和測試集上的預測曲線（圖5中的虛線和點劃線）。圖中預測曲線并沒有完全覆蓋原始數據曲線的時間范圍，這是因為LSTM模型中的回溯時間步長n大于0，算法需要n個月份的門診量數據預測后續月份門診量。

在LSTM模型參數優化初始階段，模型對訓練集數據擬合效果很好，但在測試集上預測效果不佳，模型存在過擬合現象。當優化迭代到25次時，雖然訓練集擬合不如剛開始的擬合效果，但測試集上的預測曲線開始接近測試集數據;而當迭代到50次時，訓練集預測曲線在2015年之后與原始曲線非常接近，測試集上的預測值也與真實值更加接近。

經過粒子群算法的優化，最終選取優化參數n= 6、[k1=69]、[k2=128]、[k3=58]訓練LSTM預測模型?；诠强崎T診量數據的優化LSTM模型訓練與測試預測曲線和真實值曲線對比如圖6所示。由圖6可以看出，隨著訓練的進行，模型在訓練后期具有越來越高的擬合精度，預測曲線與真實值曲線幾乎重合，模型準確地擬合出各個年份波動。模型在測試集上的預測也效果較好。其中，預測曲線很好地捕捉到2018年1-2月門診量的斷崖式下跌，2018年2月為春節，因此造成門診量減少。尤其在門診量回升階段預測效果顯著，幾乎與原曲線重合。另外，預測曲線還成功預測出2018年骨科門診量的幾次波峰波谷變化趨勢，以及最終10月門診量受國慶假期影響而減少的趨勢?？傮w而言，在測試集上，模型預測值雖然與真實值存在一定誤差，但誤差控制在10%以內。模型能夠很好地把握門診量整體變化趨勢，對于預測將來門診量增減趨勢具有一定應用價值。

表1列出了不同PSO迭代次數下LSTM在訓練集與測試集上的RMSE值?？梢钥闯?，由于優化目標為最小化測試集的RMSE，因此在粒子群優化初始階段，LSTM模型傾向于在訓練集上擁有小的RMSE，但是優化過程使測試集RMSE不斷減小。最終優化LSTM模型在測試集上的RMSE相比最初減小了2 927.64，優化效果較為顯著。

3 結語

門診量預測作為門診管理的重要部分，影響著醫院對醫療資源的合理配置與優化。本研究針對三甲醫院骨科歷年的月度門診量記錄，使用深度學習方法，構建長短期記憶網絡模型進行門診量預測。為解決網絡模型超參數較多、優化困難的問題，結合粒子群優化算法，開發了一套基于粒子群優化的長短期記憶網絡模型。算例測試結果表明，雖然在最終的預測精度上仍有提升空間，但通過粒子群優化，模型預測RMSE減小了2 928，比原模型預測誤差減小了48.5%。優化后的預測模型能夠較好地預測出門診量變化趨勢，對于門診量急劇變化的情形也有著較強的捕捉能力。綜合來看，本研究提出的這套基于優化算法與神經網絡的時序數據預測流程能夠應用于醫院各個科室的門診量預測，也能很方便地擴展到各級醫療機構對序列數據的應用研究中，為醫務工作人員更好地利用醫療數據提供技術支持。下一步研究將會在預測模型中納入更多門診量影響因素，如節假日、天氣、醫院地理位置等，建立更完善的綜合預測模型，提供更精確的預測，以進一步深入挖掘醫療時序數據的實際應用價值。

參考文獻：

[1] 王若佳，魏思儀，趙怡然，等. 數據挖掘在健康醫療領域中的應用研究綜述[J]. 圖書情報知識，2018，185（5）：116-125.

[2] 孟琳，馬金剛，劉靜，等. 醫療大數據的應用與挑戰[J].? 醫療衛生裝備，2018，39（10）：77-80，94.

[3] 盧友敏.? 醫療大數據及其面臨的機遇與挑戰[J].? 信息與電腦（理論版），2018，415（21）：10-11.

[4] 舒影嵐，陳艷萍，吉臻宇，等.? 健康醫療大數據研究進展[J].? 中國醫學裝備，2019，16（1）：149-153.

[5] 陶源，高旸昉，劉玲.? 自回歸滑動平均求和季節乘積模型在某醫院門診量預測中的應用[J].? 中國醫院統計，2017，24（5）：391-393.

[6] 張宇斐，申思，蓋小榮，等.? 北京市某大型綜合醫院門診量變化動態分析及預測[J].? 中國衛生統計，2018（4）：590-592.

[7] 張洪彬.? 2010年-2016年某院門診人次季節趨勢預測[J].? 中國病案，2018（6）：38-40.

[8] 王琦，鄭靜，吳清香，等.? 灰色GM（1，1）預測模型在門診量預測中的應用[J].? 中國醫院管理，2007，27（2）：26-27.

[9] 向前，陳平雁.? 預測醫院門診量的ARIMA模型構建及應用[J].? 南方醫科大學學報，2009，29（5）：1076-1078.

[10] 李小升，馬春柳，雷?？?，等.? SARIMA模型在醫院門診量預測中的應用[J].? 中國病案，2013（3）：37-40.

[11] LECUN Y，BENGIO Y，HINTON G. Deep learning[J].? Nature，2015，521（7553）：436-444.

[12] 孫志軍，薛磊，許陽明，等.? 深度學習研究綜述[J].? 計算機應用研究，2012（8）：11-15.

[13] 楊旭華，鐘楠祎.? 基于深度信念網絡的醫院門診量預測[J].? 計算機科學，2016（z2）：26-30.

[14] 桑發文，韋哲，陳輝，等.? 基于相似日和極限學習機方法的醫院門診量短期預測[J].? 中國數字醫學，2018，13（2）：119-121.

[15] 劉健，張翼飛，李寶娟，等.? 基于XGBoost的精神科門診量預測模型[J].? 華南國防醫學雜志，2019，33（4）：56-59.

[16] 李琳，王哲，張學良，等. 基于LSTM深度神經網絡的月門診量預測精度研究[J].? 中國數字醫學，2019，14（1）：14-17.

[17] HOCHREITER S，SCHMIDHUBER J. Long short-term memory[J].? Neural Computation，1997，9（8）：1735-1780.

[18] 陳渝，任正軍. 融合EMD與LSTM神經網絡的門診量預測模型研究[J]. 軟件導刊，2019，18（3）：133-138.

[19] 盧鵬飛，須成杰，張敬誼，等. 基于SARIMA-LSTM的門診量預測研究[J]. 大數據，2019，5（6）：1-10.

[20] SUTSKEVER I，VINYALS O，LE Q V. Sequence to sequence learning with neural networks[C]. The 27th Internation Conference on Neural Information Processing Systems，2014：3104-3112.

[21] KENNEDY J，EBERHART R. Particle swarm optimization[C].? IEEE International Conference on Neural Networks，1995：1942-1948.

（責任編輯：黃 ?。?/p>