基于Attention-LSTM深度學習方法的量化投資研究

摘要： 近年來隨著人工智能的不斷發展，相關深度學習技術也在量化投資中得以運用。LSTM（long short term memory network）屬于深度學習模型之一，該模型在預測時間序列數據方面性能較優，在此基礎之上本文引入Attention機制以提高其捕捉關鍵信息的能力，從而提升模型預測性能。本文采用Attention-LSTM方法構建模型對上證50指數最高價漲跌趨勢進行預測，結果顯示所構建量化投資方法預測能力較優，其正確率能達到63.42%，這表明深度學習模型的泛化能力較強以及預測準確性較高，為拓寬深度學習應用場景，深入應用于量化投資領域提供了實踐經驗。

關鍵詞：LSTM;Attention;深度學習;量化投資

深度學習模型是人工智能的重要實現手段，近年來受益于深度學習研究的不斷深入，人工智能實現了迅速發展，在圖像識別、語音識別等領域得以廣泛應用。人工智能概念的興起也促使金融學者將目光轉向深度學習模型中，開始探究其在量化投資領域的應用。相關研究表明深度學習模型可以用于股價預測之中，識別出投資機會，從而在降低風險的同時獲得超額收益。深度學習在量化投資方面取得的優秀表現，使得越來越多關于這方面的研究不斷涌現。

為了緊跟研究方向，本文選取了具有代表性的LSTM深度學習模型在量化投資方面進行研究。LSTM是深度學習模型的一種，由于其較強的自學習能力，能夠充分挖掘金融數據中的有效信息，在預測時間序列數據方面具有很大優勢，因此在量化投資領域中得以脫穎而出。本文將LSTM深度學習模型應用于上證50指數的預測之中，實證結果驗證了LSTM模型泛化能力較強，預測準確性較高，為將深度學習技術拓寬應用場景，廣泛應用于各種時間序列預測提供了實踐經驗。此外，本文在LSTM模型基礎之上引入Attention 機制，進一步捕捉重要時間點的局部特征，提高正確率。

本文通過實證研究得出LSTM深度學習模型擁有預測精度和穩定性兩方面的優勢，未來在金融預測等方向應用前景廣闊。同時借助于大數據與Attention 機制的優勢，可以將深度學習方法應用于量化投資領域，依靠計算機識別投資機會，提升預測準確性與投資效率，吸引國內外投資者，推動我國金融市場不斷完善與發展。

一、深度學習在量化投資領域的文獻綜述

近年來，隨著人工智能的發展，深度學習模型開始脫穎而出，其中CNN、RNN、LSTM等深度學習模型應用較為廣泛。由于金融數據具有非平穩的特性，傳統的模型對其非線性部分的處理具有一定局限性，而深度學習擅于挖掘金融噪聲中的有效信息，正好補充了傳統模型的應用缺陷，能在一定程度上降低投資風險并提高收益。例如，Xiong等（2015）基于LSTM模型預測S&P 500波動率，發現LSTM能準確預測信噪比較高的金融時間序列。Di Persio和Honchar（2016）對比了MLP、LSTM、CNN這三種模型在S&P500指數預測結果，研究表明CNN模型預測誤差最小。

在國內研究方面，崔建福和李興緒（2004）對比了GARCH和深度學習模型模型在股價預測性能，研究表明兩者都不能用隨機游走模型來預測股票價格，經過多次實驗得出BP深度學習模型模型優于GARCH（1，1）模型。張坤等（2009）提出一種混合模型改進模型預測效果，該模型將灰度預測深度學習模型和小波深度學習模型相結合，改進后的預測結果表明混合模型的預測效果好于采用單一方法的預測模型。肖著和潘中亮（2012） 基于LM算法的改進算法建立了改進的三層BP深度學習模型，解決了容易出現局部最優的問題，使模型具有更好的準確性和穩定性。

在深度學習領域中，LSTM由于其自學習能力，可以深入挖掘大量數據中的有效信息，提升預測精度。它創新地引入了門機制，解決了RNN梯度消失和梯度爆炸問題，使其具有記憶能力，因此更適合預測金融時間序列。周凌寒（2018）從股市相關文本數據中提取出情感因子，并作為輸入特征應用于LSTM模型，提升了模型預測效果。Shun Chen和Lei Ge （2019）、陳佳等（2019）這些學者均提出了改進后的 LSTM模型，有效提升了模型的運算速度與預測精度。李佳（2019）等比較了LSTM深度學習模型與其他模型在上證指數以及滬深300指數上的預測結果，得出的結論表明LSTM預測效果較優，在股價預測問題上具有較為廣闊的發展前景。

總之，國外已有大量文獻將深度學習應用于股市預測中，包括融合各類模型的混合算法，挖掘不同的預測指標，以及預測前對數據進行預處理的算法。但是，LSTM作為一種新型的深度學習模型模型，以前主要應用于圖像識別、語音識別等領域，在國內金融市場預測應用還不多，實證效果還有待于進一步的檢驗和驗證，這也是本文主要研究目的。

二、基于Attention-LSTM模型的實證分析

3.1數據來源

運用python中第三方庫tushare選取上證50來預測未來最高價。選取最高價是因為穩定性比收盤價更好，波動性小，如圖1所示。選取時間段為從設立之日起至2020年5月22日的日行情數據。同時應用talib庫計算技術指標，包括sma、wma、momentum、slowk、slowd、rsi、macd、william、oscillator、cci，從而盡可能獲取更多的特征，用這10個技術指標對股指進行預測。最終數據特征數為10個。

3.2數據預處理

在缺失值處理中，計算技術指標過程中產生了缺失值NaN，因為數據集足夠大、缺少的特征值集中于前10日，這里選擇刪除整行來處理。本文是對上證50的漲跌趨勢進行預測，需要事先進行離散化處理，若當日指標相對于前一日上漲則記為1，下跌記為0。

3.3研究方法與過程

LSTM深度學習模型具有很強的自學習能力，可以更好地發現長期依賴關系，對于股價這類非平穩、信噪比高的金融數據來說具有很高的應用價值。它創新地引入了門機制，包括輸入門、輸出門和遺忘門。其中，輸入門和輸出門用來接收和輸出參數，遺忘門決定了上一單元狀態的保存情況，此外還設置了一個記憶存儲機制Cell，用來記錄神經元狀態。使用門來控制記憶的方式有效解決了RNN梯度消失和梯度爆炸問題，使其具有記憶能力，因此更適合預測金融時間序列。

在訓練方法與優化器選擇上，本文采用Minibatch方法訓練LSTM網絡，batch_size設置為128。本文目標是預測股指未來最高價漲跌，即為二分類，因此選categorical_crossentropy作為損失函數。優化器方面，這里采用Adam優化器進行優化訓練并基于Keras框架進行LSTM深度學習預測。在預測時間窗口選擇上，本文采用歷史40個交易日的數據信息對第二天指數最高價漲跌進行預測。在輸入值選取上，本文采用10個技術指標的離散型數據作為輸入，最終輸出得到次日最高價漲跌情況。本文將數據集分為訓練集和測試集，其中前80%作為訓練集，后20%作為預測集。設置validation_split=0.2，將訓練集的后20%作為驗證集，檢驗模型的泛化能力。LSTM輸入格式需要為三維，用前四十天數據預測第二天，輸入格式應該轉換為（-1，40，10）。訓練集、預測集的形式分別為X_train （3158， 40， 10），y_train （3158，2），X_test （749， 40， 10），y_test （749，2）。

此外，本文還引入了Attention機制，該機制又稱為注意力機制，能讓模型把注意力集中在重要信息上，而并抑制其它無用信息，能夠作用于任何序列模型中，在序列學習任務上具有巨大的提升作用。谷麗瓊和吳運杰（2020）曾在GRU模型中引入Attention機制，在MAPE，RMSE，R2 score三個評價指標中均取得了提升，表明注意力機制可以有效優化預測模型，捕捉重要信息特征。

三、結語

本文通過構建Attention-LSTM模型訓練20次后得到的訓練集loss為0.5785，acc為0.7169，驗證集loss為0.6595，acc為0.6282，最終得到的上證50指數最高價預測正確率為63.42%，驗證了LSTM模型在預測上的有效性。在未來的研究中，我們可以進一步將CNN、GRU、ConvLSTM模型等進行對比，比較分析各種深度學習模型的優劣。此外，除了對離散型數據進行預測外，還可以用連續型數據進行研究預測。

綜上所述，本文利用Attention-LSTM模型在量化投資方面進行研究，對上證指數的預測驗證了LSTM深度學習模型泛化能力較強，預測準確性較高，為將深度學習技術拓寬應用場景，廣泛應用于各種時間序列預測提供了實踐經驗。進一步來說，未來借助于大數據的優勢，可以將深度學習方法應用于量化投資領域，依靠計算機識別投資機會，提升預測準確性與投資效率，吸引國內外投資者，推動我國金融市場不斷完善與發展。

參考文獻：

[1] Sun L， Najand M， Shen J.Stock return predictability and investor sentiment： A high-frequency perspective[J].Journal of Banking & Finance， 2016，73：147-164.

[2] Ballings M， Van den Poel D， Hespeels N， et al.Evaluating multiple classifiers for stock price direction prediction [J].Expert Systems with Applications， 2015，42（20）：7046-7056.

[3] A. Jayanth Balaji， D.S. Harish Ram， Binoy B. Nair. Applicability of Deep Learning Models for Stock Price Forecasting An Empirical Study on BANKEX Data[J]. Procedia Computer Science， 2018， 143.

[4] 周凌寒. ?基于 LSTM 和投資者情緒的股票行情預測研究[D].華中師范大學，2018.

[5] 宋剛， ?張云峰， ?包芳勛， ?秦超. ?基于粒子群優化 LSTM 的股票預測模型[J]. ?北京航空航天大學學報， 2019， 45（12）： 2533-2542.

[6] 潘水洋， ?劉俊瑋， ?王一鳴. ?基于深度學習模型的股票收益率預測研究[J]. ?浙江大學學報（理學版）， 2019， 46（05）： 550-555.

[7] 陳佳， ?劉冬雪， ?武大碩. ?基于特征選取與 LSTM 模型的股指預測方法研究[J]. ?計算機工程與應用， 2019， 55（06）： 108-112.

[8] 李佳，黃之豪，陳冬蘭. ?基于 LSTM 等深度學習方法的股指預測研究[J/OL]. ?軟件導

刊：1-5.http：//kns.cnki.net/kcms/detail/42.1671.TP.20190624.1359.040.html.

[9] 谷麗瓊，吳運杰，逄金輝.基于Attention機制的GRU股票預測模型[J/OL].系統工程：1-11[2020-08-05].http：//kns.cnki.net/kcms/detail/43.1115.N.20200805.1323.004.html.

[10] 喬若羽. ?基于深度學習模型的股票預測模型[J]. ?運籌與管理， 2019， 28（10）： 132-140.

[11] 彭燕， ?劉宇紅， ?張榮芬. ?基于 LSTM 的股票價格預測建模與分析[J]. ?計算機工程與應用， ?2019， 55（11）： 209-212.

[12] 楊青， ?王晨蔚. ?基于深度學習 LSTM 深度學習模型的全球股票指數預測研究[J]. ?統計研究， ?2019， 36（03）： 65-77.

作者簡介：唐成（1996-），男，漢族，江蘇高郵人。主要研究方向：金融工程。