基于足底壓力和卷積長短期記憶神經網絡的前交叉韌帶斷裂智能輔助診斷

李玳 王天牧 張思 秦躍 謝福貴 劉辛軍 聶振國,? 黃紅拾,?

北京大學學報(自然科學版) 第60卷 第1期 2024年1月

Acta Scientiarum Naturalium Universitatis Pekinensis, Vol. 60, No. 1 (Jan. 2024)

10.13209/j.0479-8023.2023.089

國家自然科學基金–區域創新發展聯合基金(U23A20471)、北京市科技新星計劃交叉合作課題(20230484412)、北京市自然科學基金–海淀原始創新聯合基金(L222138)、北京大學第三醫院創新轉化基金(BYSYZHKC2022119)和北京大學第三醫院臨床重點項目(BYSYZD2021012)資助

2022–12–26;

2023–05–20

基于足底壓力和卷積長短期記憶神經網絡的前交叉韌帶斷裂智能輔助診斷

李玳1王天牧2,3張思1秦躍2,3謝福貴2,3劉辛軍2,3聶振國2,3,?黃紅拾1,?

1.北京大學第三醫院運動醫學科, 北京大學運動醫學研究所, 運動醫學關節傷病北京市重點實驗室, 運動創傷治療技術與器械教育部工程研究中心,北京 100191; 2.摩擦學國家重點實驗室, 清華大學機械工程系, 北京 100084; 3.精密/超精密制造設備與控制北京市重點實驗室, 清華大學機械工程系, 北京 100084; ?通信作者, E-mail: zhenguonie@tsinghua.edu.cn(聶振國), huanghs@bjmu.edu.cn (黃紅拾)

提出一種基于卷積長短期記憶神經網絡的深度學習模型 PressureConvLSTM, 用來提取行走過程中足底壓力的空間特征和時序特征, 并進行步態分類。通過對前交叉韌帶斷裂患者的足底壓力數據分析, 實現智能輔助診斷。結合臨床數據的實驗結果表明, PressureConvLSTM模型對前交叉韌帶斷裂的輔助診斷, 能夠達到 95%的預測準確度; 與卷積神經網絡等其他模型相比, 準確度得到大幅度提升。

智能診斷; 前交叉韌帶斷裂; 足底壓力; 深度學習; 卷積長短期記憶神經網絡

人的雙足在行走過程與地面存在直接的交互作用, 這種接觸力稱為足底壓力。足底壓力是研究行走步態的重要信息載體[1–3]。借助對行走過程中足底壓力進行特征提取, 并實現步態姿勢的分類與識別[4], 能夠對前交叉韌帶斷裂(ACLD)進行智能的快速且精確的輔助診斷[5]。

目前對足底壓力的數據分析和分類研究尚不成熟。Bennetts 等[6]從靜態角度出發, 僅分析了一個步態周期內足底壓力的平均值或最大值[6]。然而, 測試者行走過程中的足底壓力與行走姿勢在時間維度上有極強的相關性[7]。因此, 基于靜態足底壓力的研究方式雖然能夠分析足底壓力的空間分布規律, 但忽略了時間維度上的特征變化, 難以得到很好的分類結果。

由于足膝之間的耦合關系, 膝關節交叉韌帶的斷裂會引起步態的改變, 并直接反應在足底壓力的變化上。足底壓力的改變不僅僅體現在每一固定時刻不同壓力區域的數值變化, 更體現在時間維度上。前交叉韌帶斷裂會導致行走過程中, 步態轉變的過程發生調整, 即在特定區域中, 足底壓力按步態周期變化的規律會發生顯著的改變。通過分析并提取足底壓力的時空特征, 能夠對步態進行分析, 從而實現對前交叉韌帶斷裂的輔助診斷。

為了分析步態周期內足底壓力的時空特征, 并基于這些特征進行前交叉韌帶斷裂的輔助診斷, 本文提出一種基于卷積長短期記憶(Conv-LSTM)[8]結構的神經網絡模型。該模型首先使用兩層的三維卷積層[9]作為編碼器, 對空間特征進行提取和預編碼; 隨后基于 ConvLSTM 層, 對一個步態周期內的足底壓力數據進行時間和空間維度上的特征提取; 最后根據提取的時空特征, 通過多層感知機實現對足底壓力的分類, 從而對前交叉韌帶是否斷裂做出 診斷。

1 相關工作

傳統的前交叉韌帶斷裂診斷往往依賴于核磁共振影像(MRI)技術。許英琴等[10]通過 MRI 檢測, 預診斷前交叉韌帶部分斷裂 24 例(占60%), 其中 19 例與關節鏡診斷結果一致, 準確率為 79.2%; 完全斷裂 16 例(占 40%), 其中 15 例與關節鏡診斷結果一致, 準確率為 93.8%。崔瑩[11]通過 MRI 研究 100 例患者的核磁影像, 并分析診斷準確率, 發現對 100例 ACL 損傷患者的診斷準確率為 92.4%。侯小英等[12]的研究表明, MRI 檢查對膝關節 ACL 損傷的敏感度為 94.74%, 特異度為 81.82%, 準確率為90.00%, 誤診率為 18.18%, 漏診率為 5.26%。王守紅等[13]研究 MRI 的前交叉韌帶診斷準確率, 發現急性 ACL近端斷裂容易漏診, 假陰性率高達 41%。傳統診斷方法中應用 MRI 的準確率比較高, 但存在假陽性和假陰性問題, 因此需要與其他方法相結合。關節鏡檢測方法雖然能夠對前交叉韌帶受損部位組織進行準確觀測, 從而直觀地判斷損傷情況。但是, 該方法為有創操作, 不宜用于前交叉韌帶斷裂的臨床初步診斷。

近年來, 隨著深度學習[14]在力學、生物學和醫學領域的不斷發展與應用[15–16], 研究者開始使用機器學習和深度學習的方式, 對足底壓力進行特征提取和分類, 從而實現對疾病的智能輔助診斷[17]。借助人工智能進行前交叉韌帶診斷, 對治療方案和術后功能復查都具有指導意義。Li 等[18]從統計學角度研究 ACLD 患者與健康人的足底壓力分布的差異性。Wang 等[19]從統計學角度出發, 建立基于模糊C 聚類模型的診斷模型。

多層感知機[20]是一種經典的深度學習模型, 廣泛應用于基于數據驅動的分類和回歸問題。多層感知機通過非線性激活函數連接, 能夠對大范圍的數據進行非線性擬合, 從而實現對初始數據的分類。由于足底壓力在數值上具有明顯的空間分布特點, 在某一時刻的數值信息類似一張二維圖像。因此, 具有較好圖形分類能力的卷積神經網絡(convolu-tional neural network, CNN)[21]廣泛應用于提取足底壓力空間特征以及足底壓力的分類問題。Wang 等[22]使用一個步態過程中足底壓力的最大值信息, 采用雙層 CNN 卷積結構, 實現糖尿病足的分類預測。黃紅拾等[23]基于 CNN 模型, 使用投票法對二維足底壓力信息進行分類, 在 ACLD 分析診斷中得到較高的分類精度。

上述將足底壓力信息轉換成二維圖像, 從而進行分類的方式具有較大的局限性?？紤]到行走步態具有較強的周期性, 足底壓力在周期過程中也體現出極強的時序特征。針對時序輸入的預測與分類問題, 循環神經網絡[24]可以有效地提取時序特征, 并實現對時序信息進行預測與分類。為了解決長時序模型的梯度爆炸與梯度消失問題, Hochreiter 等[25]提出長短期記憶(long-short term memory, LSTM)神經網絡。LSTM 通過引入門控神經元, 并在單元內部引入累加器機制, 緩解訓練過程中的梯度爆炸與梯度消失問題。Li 等[26]借助 LSTM 網絡, 實現了基于足底壓力時序信息的步態識別。Okuno 等[27]使用LSTM 模型, 借助足底壓力數據實現對帕金森病導致的凍結步態癥狀的分類與診斷。此外, 足底壓力中心(centre of pressure, COP)曲線法和三維卷積也能從時間維度上提取特征。COP 法通過計算不同時序中 COP 在足底的相對位置, 得到一個步態周期中COP 在足底范圍內的運動軌跡, 然后用得到的二維軌跡進行足底壓力分類, 并進行步態姿勢的預測。李曉理等[5]借助 COP 方法和 ELM 神經網絡, 實現步態的分類和智能診斷。使用三維卷積, 通過引入三維的卷積核, 能夠同時提取出時間特征和空間特征。Xie 等[28]通過三維卷積神經網絡, 實現基于足底壓力的分類與步態識別。

2 足底壓力特征提取與分類診斷

本文建立的智能分類模型 PressureConvLSTM是一種典型的監督學習模型, 需要結合標簽, 針對特定的輸入數據進行訓練與預測。根據需要解決的膝關節前交叉韌帶斷裂的輔助診斷問題, 將標簽定義為 3 種: 健康人、單純左側前交叉韌帶斷裂患者和單純右側前交叉韌帶斷裂患者?；颊呔涍^MRI檢查, 并結合包含關節鏡檢查的臨床表現, 確診為單側交叉韌帶斷裂, 不存在多發韌帶斷裂情況。

PressureConvLSTM 模型結構如圖 1 所示。該模型首先將雙層三維卷積(Conv3D)結構作為編碼器, 對空間特征進行提取和預編碼, 然后疊加采用雙層 ConvLSTM 結構, 并逐層增加隱藏層中卷積核的數量。這樣能夠得到更高維度的時空特征向量, 從而實現更好的分類效果。使用 ConvLSTM層提取時空特征后, 采用全局池化代替傳統的展平層, 然后使用包含 3 層全連接層的多層感知機, 利用 Soft-max 激活函數實現足底壓力時序信息的三分類。卷積操作后, 采用最大值池化的方式, 對圖片進行進一步降維操作, 在進行非線性變換前, 采用批標準化的操作。

在循環神經網絡中, 單層網絡由個重復的時序單元構成(代表時間維度)。在 ConvLSTM 神經網絡中, 這種重復單元又稱為卷積長短期記憶細胞(ConvLSTM cell)。如圖 2 所示, 針對特定的時刻, 細胞的輸入分別是前一時刻–1 的細胞狀態C–1、上一時刻的隱藏層輸出h–1以及時序信息在此時刻的輸入X。細胞的輸出為此時刻的隱藏層輸出h以及此時刻的細胞狀態輸出C。

ConvLSTM 內部引入遺忘門、輸入門以及輸出門的概念。時刻對應的中間結果分別記為f,i以及o。不同于 LSTM 使用全連接層作為隱藏層, ConvLSTM 使用二維卷積, 用于提取空間特征。

2表示第二層 ConvLSTM 層的隱藏層卷積核數。經過全局平均池化層計算之后, 得到輸出Avg:

經過全局池化操作后, 數據被轉換成一維向量, 從而能夠通過多層感知機進行三分類操作。

實驗過程中, 為了緩解因為卷積操作以及激活函數導致的梯度消失和梯度爆炸, 在每一層 Conv-LSTM 層之間, 加入批量標準化層(batch normali-zation layer, BN layer)。同時, 對每一層設定 10%的drop out 概率, 用于緩解訓練過程中產生的過擬合現象。

3 實驗與結果分析

3.1 實驗環境

本文提出的 PressureConvLSTM 模型使用 Ten-sorflow 在 python3 環境下編譯并運行, 使用一塊NVIDIA GeForce RTX3090 進行訓練。

3.2 數據集

本文使用的數據集包括健康人、左側單純前交叉韌帶患者以及右側單純前交叉韌帶斷裂患者的足底壓力信息。將單足從足跟接觸壓力測試板, 到足尖離開測試板的整個過程的足底壓力信息作為動態輸入。通過醫師綜合使用 MRI 和關節鏡等方法, 對數據集進行診斷與標定。其中, 健康人總數為 63人, 單純左側 ACLD 患者 69 人, 單純右側 ACLD 患者 69 人。采用 FootScan 公司的足底壓力板采集足底壓力數據, 并且人工標定類別。數據集的樣本信息如表 1 所示。本研究得到北京大學第三醫院醫學科學研究倫理委員會批準[(2017)醫倫審第(130-02)號]。

圖1 PressureConvLSTM網絡結構示意圖

圖2 ConvLSTM cell示意圖

表1 訓練數據集分布

采用 FootScan 公司的足底壓力測試系統進行實驗, 如圖 3 所示。在足底壓力采集過程中, 要求志愿者在足底壓力測試板上, 依足跟–中足–足尖順序接觸地面, 赤足前行。壓力板以 126Hz 的采樣頻率完成采樣。支撐期定義為單側足從足跟接觸壓力測試板到足尖離開測試板的整個過程。將左足和右足的足底壓力分別作為獨立的輸入。采樣時需要采集3 個以上連續完整的單足支撐期。圖 4 展示足底壓力在支撐期的 3 個典型壓力圖像。

圖3 志愿者在足底壓力平板上行走

圖4 一個步態周期內3種典型時刻的足底壓力圖

由于不同人的足底大小不一致, 為了滿足深度神經網絡輸入維數的一致性, 采用 Zero Padding 的方式[29], 將每一幀足底壓力統一拓展至寬 34 像素、高 48 像素的足底壓力圖像, 并截取每一個步態周期內最清晰的 60 幀足底壓力信息進行訓練。經過預處理后, 共得到 3268 段完整足底壓力周期的視頻信息。隨機選擇其中的 90%作為參與訓練的數據集, 剩余 10%作為測試集。在用于訓練的數據集中, 將 70%作為訓練集, 剩余 30%作為驗證集。

3.3 實驗參數

本文模型采用小批量訓練[30]方法, 批量的大小為 32, 并選用 Adam 優化器[31]進行權重的優化。經過比例縮放、平移、隨機噪音等數據增強后, 訓練集的數量為 3905。預設的訓練迭代次數為 120。其余的網絡參數如表 2 所示。

3.4 基準模型

實驗中使用 3 層卷積神經網絡作為基準模型。在 CNN 網絡的基準訓練過程中, 分別采用一個步態周期中足底壓力的最大值、平均值以及一個步態周期內特征過程的加權投票值, 分別作為模型的二維輸入來進行多次實驗。同時, 還測試 LSTM 對足底壓力時序信息的分類預測效果。將數據集在空間維度進行展平后, 使用雙層的 LSTM 網絡對時序信息進行分類訓練。

3.5 評價指標

使用準確率作為評價指標, 用來表征模型的預測準確度以及泛化性能。使用交叉熵[32]作為損失函數, 用來評價網絡的性能。使用接收者操作特征(receiver operating characteristic, ROC)曲線來衡量分類器的優劣。ROC 曲線可以反映偽陽性概率(false positive rate, FPR)與真陽性概率(true positive rate, TPR)之間的關系。

表2 網絡參數設置

說明: 形狀代表網絡模型中每一層輸入的張量維度。

3.6 評價結果

圖 5(a)展示訓練過程中, 損失函數與訓練迭代次數的關系折線?？梢钥吹? 在約 45 代發生較明顯的過擬合, 因此實際訓練過程中可以采用提前訓練, 選擇 45 代作為迭代次數, 從而更好地避免過擬合。圖 5(b)展示模型的訓練準確率與驗證準確率隨迭代次數的變化?？梢钥闯? 訓練過程中, 在 40～50 代逐步過擬合, 符合損失函數隨訓練迭代次數變化的規律。表 3 給出 PressureConvLSTM、LSTM 以及 3 種不同輸入的 CNN 網絡對測試集的預測準確度, 同時比較多層感知機以及隨機梯度下降優化模型的準確率。由于 PressureConvLSTM 網絡綜合提取了足底壓力的時空特征, 所以在分類精度上比其他方法有明顯提升。PressureConvLSTM 網絡的預測準確率(95.29%)明顯高于 LSTM 網絡(92.02%)[26], CNN網絡(90.73%)[23]也優于兩種單純使用多層感知機的神經網絡(Adam: 64.24%[23], SGD: 66.67%[23])。

圖5 訓練過程中損失函數和準確率的變化

為了驗證模型的預測及泛化性能, 選擇測試集中的 320 段足底壓力信息, 使用模型參數進行預測, 并使用混淆矩陣和 ROC 曲線進行統計學分析?；煜仃嚹軌蛴行У卣f明模型在預測過程中的真陽率、假陽率、真陰率以及假陰率。與單純的預測準確率相比, 混淆矩陣能夠避免因為數據集分布不均勻帶來的誤差。圖 6 展示 PressureConvLSTM 在驗證集上預測結果的混淆矩陣?？梢钥闯? 模型能夠準確地分辨前交叉韌帶斷裂患者和健康人。通過混淆矩陣能夠得到模型的 ROC 曲線以及曲線與坐標軸圍成的面積 AUC (area under curve), 對模型的分類表現進行評價。

表3 不同模型的預測準確率

圖 7 分別展示 3 種網絡模型的整體 ROC 曲線對比以及各模型獨立的 ROC 曲線。各模型的 AUC 值如表 4 所示, 可以看出 PressureConvLSTM 的 AUC值(0.9834)比 LSTM(0.9379)和 CNN 模型(0.9560)有較大幅度的提升, 說明 PressureConvLSTM 模型的分類表現明顯優于 LSTM 和 CNN 模型。

圖6 PressureConvLSTM預測結果的混淆矩陣

圖7 3種模型的ROC曲線

表4 不同模型的AUC值

4 結論與討論

本文提出一種深度神經網絡模型PressureConv-LSTM, 用來分析足底壓力信息, 從而實現前交叉韌帶斷裂的智能輔助診斷。這種包含 CNN 和Conv-LSTM 結構的網絡能夠有效地提取周期步態內足底壓力的時間與空間分布特征。本研究采用數據增強的方式擴充臨床采集的數據樣本。樣本經過訓練后, 在臨床數據上的實驗結果表明, PressureConv-LSTM 模型能夠達到 95.29%的測試準確率, 有效地實現智能輔助診斷的功能, 具有顯著的臨床價值。

PressureConvLSTM 網絡采用 ConvLSTM 結構,能夠有效地對動態足底壓力信息的時空特征進行解耦與提取。與 CNN 的單純空間特征分析或 RNN 的單純時間特征分析相比, PressureConvLSTM能夠更有效地提取隱含的時空信息, 從而更好地借助多層感知機進行準確的預測與診斷。盡管在預測準確率和分類器性能方面, PressureConvLSTM 的表現都領先于 LSTM 和 CNN 模型, 但本文模型仍存在一些不足。最主要的一點是數據集的分辨率比較低。由于力學傳感器的體積限制, 單位面積內能夠鋪設的傳感器數量有限, 所以很難使用更深層的神經網絡對低分辨率信息進行特征提取, 也難以運用一些更好的結構(如 U-Net[33])。

未來的工作中, 可以在物理層面改進傳感器的尺寸, 并通過在單位面積布設更多的傳感器來提升足底壓力數據的分辨率。另外, 目前超分辨率算法已經成功地應用于有限元的應力計算[34–35], 后續工作中可以從對足底壓力二維圖進行超分辨率優化來展開, 進行網絡細化與分辨率提升。

[1] Buldt A K, Forghany S, Landorf K B, et al. Foot posture is associated with plantar pressure during gait: a comparison of normal, planus and cavus feet. Gait & Posture, 2018, 62: 235–240

[2] Buldt A K, Allan J J, Landorf K B, et al. The relationship between foot posture and plantar pressure during walking in adults: a systematic review. Gait & Posture, 2018, 62: 56–67

[3] Eisenhardt J R, Cook D, Pregler I, et al. Changes in temporal gait characteristics and pressure distribution for bare feet versus various heel heights. Gait & Pos-ture, 1996, 4(4): 280–286

[4] Pataky T C, Mu T, Bosch K, et al. Gait recognition: highly unique dynamic plantar pressure patterns among 104 individuals. Journal of the Royal Society Interface, 2012, 9(69): 790–800

[5] 李曉理, 黃紅拾, 王杰, 等. 前交叉韌帶斷裂后足底壓力特征的聚類分析. 自動化學報, 2017, 43(3): 418–429

[6] Bennetts C J, Owings T M, Erdemir A, et al. Clustering and classification of regional peak plantar pressures of diabetic feet. Journal of Biomechanics, 2013, 46(1): 19–25

[7] 黃紅拾, 于媛媛, 郭秦煒, 等. 前交叉韌帶斷裂患者步行時足底壓力時間特征. 中國運動醫學雜志, 2015, 34(3): 271–274

[8] Kim S, Hong S, Joh M, et al. DeepRain: ConvLSTM network for precipitation prediction using multichan-nel radar data [EB/OL]. (2017–11–07) [2022–12–16]. https://arxiv.org/abs/1711.02316

[9] Ji Shuiwang, Xu Wei, Yang Ming, et al. 3D convo-lutional neural networks for human action recognition. IEEE Transactions on Pattern Analysis & Machine Intelligence, 2013, 35(1): 221–231

[10] 許英琴, 張薇馨. 膝關節前交叉韌帶撕裂的MRI診斷價值及征象分析. 航空航天醫學雜志, 2013, 24 (5): 543–544

[11] 崔瑩. MRI在ACL損傷診斷中的陽性率及準確度研究. 影像研究與醫學應用, 2020, 4(10): 209–210

[12] 侯小英, 侯玉兵. MRI檢查對膝關節韌帶損傷患者檢出率的影響. 首都食品與醫藥, 2020, 27(11): 111

[13] 王守紅, 張磊, 馬震勝, 等. 前交叉韌帶近端撕裂的MRI診斷. 中國骨與關節損傷雜志, 2018, 33(6): 618–619

[14] Lecun Y, Bengio Y, Hinton G. Deep learning. Nature, 2015, 521: 436–444

[15] Jiang H, Nie Z, Yeo R, et al. StressGAN: a generative deep learning model for 2D stress distribution predi-ction. Journal of Applied Mechanics, 2021, 88(5): 051005

[16] Geert L, Thijs K, Babak E B, et al. A survey on deep learning in medical image analysis. Medical Image Analysis, 2017, 42: 60–88

[17] Duckworth T, Boulton A, Betts R, et al. Plantar pre-ssure measurements and the prevention of ulceration in the diabetic foot. The Journal of Bone and Joint Surgery, 1985, 67(1): 79–85

[18] Li Xiaoli, Huang Hongshi, Wang Jie, et al. The analysis of plantar pressure data based on multimodel method in patients with anterior cruciate ligament deficiency during walking. BioMed Research International, 2016, 12: 1–12

[19] Wang Jie, Huang Hongshi, Li Xiaoli, et al. Application of the fuzzy C-means clustering algorithm in plantar pressure analysis // Huang Yiping, Ma Xiaoxuan, Wang Xiaohui. 2016 Chinese Control and Decision Confe-rence (CCDC). Yinchuan, 2016: 2089–2094

[20] Gardner M W. Artificial neural networks (the multila-yer perceptron) — a review of applications in the atmos-pheric sciences. Atmospheric Environment, 1998, 32 (14/15): 2627–2636

[21] Lecun Y A, Bengio Y O. Convolutional networks for images, speech, and time series // Arbib M A. The Handbook of Brain Theory and Neural Networks. Cambridge: MIT Press, 1995: 1–14

[22] Wang Xinhui, Yan Wei Qi. Human gait recognition based on frame-by-frame gait energy images and convolutional long short-term memory. International Journal of Neural Systems, 2020, 30(1): 1950027

[23] 黃紅拾, 王政飛, 許國雄, 等. 基于步行時足底壓力信息的前交叉韌帶斷裂輔助診斷方法. 北京大學學報(自然科學版), 2019, 55(5): 859–864

[24] Schuster M, Paliwal K K. Bidirectional recurrent neural networks. IEEE Transactions on Signal Proces-sing, 1997, 45(11): 2673–2681

[25] Hochreiter S, Schmidhuber J. Long short-term me-mory. Neural Computation, 1997, 9(8): 1735–1780

[26] Li Xiaopeng, He Yuqing, Zhang Xiaoxian, et al. Plantar pressure data based gait recognition by using long short-term memory network // Xu Xiangxi, Lai Zhihui, Chen Yudong, et al. Robust Discriminative Principal Component Analysis: 13th Chinese Conference. Urum-qi, 2018: 128–136

[27] Okuno R, Fujimoto S, Akazawa J, et al. Analysis of spatial temporal plantar pressure pattern during gait in Parkinson’s disease // Momani L, Alkharabsheh A R, Al-Nuaimy W. 30th Annual International Conference of the IEEE Engineering in Medicine and Biology Society. Vancouver, 2008: 1765–1768

[28] Xie Yi, Hong Xing, Tang Xinyue, et al. 3D convolu-tional neural network for gait recognition and demo-graphic factor prediction based on plantar pressure images // 2020 IEEE International Conference on Infor-mation Technology, Big Data and Artificial Intelli-gence (ICIBA). Chongqing, 2020: 338–342

[29] Dumoulin V, Visin F. A guide to convolution arithmetic for deep learning [EB/OL]. (2016–05–23) [2022–12–16]. https://arxiv.org/abs/1603.07285

[30] Mu Li, Zhang Tong, Chen Yuqing, et al. Efficient mini-batch training for stochastic optimization // Macskassy S, Perlich C, Leskovec J, et al. 20th ACM SIGKDD International Conference on Knowledge Discovery and Data Mining. New York, 2014: 661–670

[31] Kingma D, Ba J. Adam: A method for stochastic optimization [EB/OL]. (2017–01–30) [2022–12–16]. https://arxiv.org/abs/1412.6980v6

[32] Boer P, Kroese D P, Mannor S, et al. A tutorial on the cross-entropy method. Annals of Operations Research, 2005, 134(1): 19–67

[33] Ronneberger O, Fischer P, Brox T J S I P. U-Net: convolutional networks for biomedical image segmen-tation // Navab N, Horneegger H, Wells W M, et al. Medical Image Computing and Computer-Assisted Intervention. Munich, 2015: 234–241

[34] Xu Qingfeng, Nie Zhenguo, Xu Handing, et al. Super- Meshing: a new deep learning architecture for increa-sing the mesh density of metal forming stress field with attention mechanism and perceptual features // ASME 2021 International Design Engineering Tech-nical Conferences and Computers and Information in Engineering Conference. Online Meeting, 2021, 3B: V03BT03A041

[35] Nie Zhenguo, Jiang Haoliang, Kara L B. Stress field prediction in cantilevered structures using convolu-tional neural networks. Journal of Computing and Information Science in Engineering, 2020, 20(1): 011002

Intelligent Diagnosis on Anterior Cruciate Ligament Deficiency Based on Plantar Pressure and ConvLSTM Neural Network

LI Dai1, WANG Tianmu2,3, ZHANG Si1, QIN Yue2,3, XIE Fugui2,3, LIU Xinjun2,3,NIE Zhenguo2,3,?, HUANG Hongshi1,?

1. Department of Sports Medicine, Peking University Third Hospital, Institute of Sports Medicine of Peking University, Beijing Key Laboratory of Sports Injuries, Engineering Research Center of Sports Trauma Treatment Technology and Devices (Ministry of Education), Beijing 100191; 2. The State Key Laboratory of Tribology, Department of Mechanical Engineering, Tsinghua University, Beijing 100084; 3. Beijing Key Lab of Precision/Ultra-precision Manufacturing Equipments and Control, Department of Mechanical Engineering, Tsinghua University, Beijing 100084; ? Corresponding authors, E-mail: zhenguonie@tsinghua.edu.cn (NIE Zhenguo), huanghs@bjmu.edu.cn (HUANG Hongshi)

Based on Convolutional Long-Short Term Memory Neural Network, the authors proposed a deep learning method PressureConvLSTM to extract features during walking in both spatial and temporal dimensions. Classi-fication based on plantar pressure of anterior cruciate ligament deficiency (ACLD) was applied to distinguish walking gait information. Experiment results combined with clinical data showed that PressureConvLSTM model obtained 95% test accuracy when diagnosing ACLD, which was well performed over other traditional deep learning models.

intelligent diagnosis; anterior cruciate ligament deficiency (ACLD); plantar pressure; deep learning; ConvLSTM neural network