引入輕量級Transformer 的自適應窗口立體匹配算法

王正家，胡飛飛*，張成娟，雷卓，何濤

（1.現代制造質量工程湖北省重點實驗室，湖北 武漢 430068；2.湖北工業大學機械工程學院，湖北 武漢 430068）

0 引言

立體匹配旨在預測立體圖像中沿極線像素形成的視差，是計算機視覺中經典的研究課題，在許多領域發揮著重要作用，包括自動駕駛、增強現實和機器人等領域?；趯W習的立體匹配算法能夠達到亞像素級別的匹配精度和較低的誤匹配率，但多以犧牲運行效率為代價；而以快速計算為目的的算法，在匹配精度上欠佳。

起初深度神經網絡被引入立體匹配任務中僅用于匹配代價計算［1］。近年來出現了很多端到端的立體匹配網絡，通過探索不同的特征描述方式和聚合方法來獲取匹配代價。這些網絡可以大致分類為基于相關性和基于3D 卷積的立體匹配算法?；谙嚓P性的立體匹配［2-3］一般采用相關層進行匹配代價計算。LIANG 等［3］使用相關層計算每個離散視差的代價，然后用特征恒量對視差進行優化。AANet［4］使用一種多尺度代價聚合架構，包含基于稀疏點的尺度內代價聚合和尺度間代價聚合層，試圖解決不連續視差估計問題和改善弱紋理區域的匹配。LI 等［5］提出了一種遞歸細化的分層網絡，通過以粗到細的方式對視差進行細化，并利用自適應相關層來減少匹配模糊現象?；?D 卷積的立體匹配算法［6-8］大多采用直接特征級聯構造代價體。GCNet［9］用3D 卷積聚 合4D 代價體 以回歸 最終視差。PSMNet［10］用 空間池化金字塔模塊聚合不同尺度和位置的特征并構造4D 代價體，最后利用3D 卷積進行正則化。StereoDRNet［11］通過一 種擴張3D 卷積來 減少計 算量，并通過融合幾何誤差和光度誤差來細化視差。在性能方面，基于3D 卷積的方法比基于相關性的方法在精度上占更大優勢，但是運行速度很慢。還有像Gwc-Net［12］這 種混合使用 相關性 和3D 卷積的方法，但這種方法計算量依然很大。無論是基于相關性還是基于3D 卷積的匹配方法，都設置了最大視差范圍以減輕內存和計算需求，對于超出預定范圍的視差，則無法推斷出正確的匹配，這是以犧牲精度來權衡效率的方式。

與計算機視覺并行發展的自然語言處理領域中的Transformer，在許多圖像理解任務中取得了不錯的成果［13-15］，現有一些工作采用Transformer 架構來編碼匹配特征［16-18］。SuperGlue［16］通過自注意力和交叉注意力機制來學習關鍵點的空間依賴關系和它們的視覺外觀信息，在增強特征表達的同時，能夠使代價學習復雜的先驗知識，然后使用一種線性分配策略尋找最佳稀疏匹配點。LoFTR［17］采用級聯結構的Transformer，在粗匹配中學習密集排列和全局一致的匹配先驗，然后對高置信度的匹配點使用基于相關性的方法將其細化到亞像素級別。STTR［18］通過捕捉不同特征之間的遠程依賴關系和全局上下文信息來計算像素間的相關性，從序列到序列的角度沿極線進行密集像素匹配。SSD-former［19］利用滑動窗口機制將整體代價量分解為許多小代價量，減少了Transformer的自注意力操作，可靈活適應不同的分辨率并提高計算效率。這些基于Transformer 特征描述的匹配方法與上述兩類方法相比，雖然能放松視差范圍，但是存在較高的延遲，因為Transformer模型中的自注意力層中大量使用全連接算子，這使得計算的復雜度相對于序列長度的時間和空間復雜度均二次增長，當序列長度過大時計算成本難以承受［20］。

現有基于學習的立體匹配算法通過設置最大視差來減少內存和計算需求，但卻以損失精度為代價；而沒有視差范圍局限的Transformer 特征描述匹配算法則存在較高的延遲。針對以上問題，本文提出一種基于輕量級Transformer 自適應窗口的立體匹配算法（LTAWNet）。LTAWNet 包含坐標注意力位置編碼模塊、輕量級Transformer 特征描述模塊和自適應窗口匹配細化模塊。坐標注意力位置編碼模塊通過位置編碼提供空間位置依賴信息，可以增強相似特征之間的辨別能力，有助于提高匹配精度；輕量級Transformer 特征描述模塊用來轉換上下文相關的特征，可以增強特征的特異性描述，提供更加精確的匹配點集，為降低Transformer 的高延遲性，本文提出用可分離多頭自注意力層對Transformer 進行輕量化改進；自適應窗口細化模塊在高分辨率特征圖上對候選的匹配點進行局部區域匹配細化，并引入可變形卷積，對不同紋理自適應地產生更合適的匹配窗口，在提高匹配精度的同時提高執行效率。

1 LTAWNet 立體匹配網絡

本文所提出的立體匹配算法包括特征提取、輕量級Transformer 特征描述、特征匹配、自適應窗口的匹配細化、視差回歸等5 個階段，如圖1 所示。

圖1 LTAWNet 總體框架Fig.1 Overall framework of LTAWNet

在特征提取階段，使用兩個權重共享的特征提取網絡對輸入的立體圖像對進行多尺度特征提取，生成三級特征金字塔用于計算不同尺度的匹配特征，并在最小尺度特征圖的相關性計算前加入坐標注意力機制（CA）進行位置編碼，以增強特征圖的位置依賴性；在基于輕量級Transformer 的特征描述階段，使用提出的輕量級Transformer 模塊（WT）對特征進行特異性增強表達，Transformer 模塊中交替使用自注意力和交叉注意力層，可以聚集特征圖內和左右特征圖間全局上下文信息，在兩個注意力層疊加過程中，匹配點的數量將會收斂為更為精確的匹配點集；在特征匹配階段，使用可微匹配層對關注度最高的特征進行匹配，生成一個匹配置信度矩陣，為后續的視差生成做準備；在匹配細化階段，以上一級低分辨率特征圖的匹配點為中心，對其用相關性的方法映射到下一級高分辨率的特征圖的局部窗口中，在局部窗口內對特征點進一步細化到亞像素級別的匹配，將可變形卷積融入到相關性計算中，從而生成內容自適應窗口，減少匹配模糊現象；在視差回歸階段，圍繞匹配點構建3 像素窗口，利用重歸一化操作算子計算權值，對窗口內匹配點進行視差加權以回歸最終視差。

1.1 特征提取

在特征提取階段，將立體圖像對IL和IR輸入到權重共享的特征提取網絡，利用帶有特征金字塔網絡（FPN）［21］的標準卷積結構提取IL和IR三級特征金字塔，將三級特征圖記為，1/2、1/4、1/8 尺度的特征圖通道數分別為64、128、256。為了增強特征的位置依賴性，提出使用坐標注意力機制［22］對特征進行位置編碼，并僅對特征圖使用。特征提取網絡和位置編碼層的詳細結構如圖2 所示。

圖2 特征提取網絡結構和位置編碼層結構Fig.2 Feature extraction network structure and position encoding layer structure

在弱紋理和無紋理區域，像素間的相似性比較模糊，通過加入位置編碼有助于解決這一歧義問題，該方法已在STTR 中被證明是有效的。與在STTR中使用二次計算代價的相對位置編碼不同，本文使用一種具有線性復雜度的坐標注意力層來進行位置編碼，在提高精度的同時，該方法引入的計算量更小。

1.2 輕量級Transformer 的特征描述

使用Transformer 模塊來轉換具有位置依賴性和上下文相關的特征，可以在增強特征特異性表達的同時，將特征點收斂為更精確的匹配點集。為了彌補標準Transformer在立體匹配任務中延時高的不足，本文提出引入可分離多頭自注意力層（MHSA）［23］對標準Transformer 進行輕量化改進。

本文所提的輕量級Transformer 模塊結構如圖3所示。WT 模塊由順序連接的編碼器組成，編碼器中交替使用自注意力和交叉注意力層，匹配點的數量在兩種注意力層疊加的過程中逐漸收斂。其中，Qh、Kh和Vh在自注意力層中從同一特征圖中計算，在交叉注意力層中從兩個不同特征圖中計算。輸入x∈ Rk×d由k個d維token（在視覺Transformer 中指像素）嵌入組成，x被傳輸到3 個分支，即查詢Qh、鍵Kh和值Vh。注意力層首先對所有h個頭同時計算Qh和Kh中線性層輸出之間的點積，然后用Softmax 操作算子σ來生成注意力矩陣（或上下文映射）a∈ Rk×k×h，再計算a和Vh中線性層輸出之間的另一個點積，加權后輸出yw∈Rk×dh×h，其中，dh=d/h是頭的維度。h個頭的輸出被連接起來生成k個d維token 的張量，然后將其輸入另一個權重為WO∈Rd×d的線性層，產生最終加權輸出y∈Rk×d。

圖3 WT 結構及多頭自注意力層結構Fig.3 WT structure and MHSA layer structure

標準Transformer 中的多頭自注意力層使用縮放點積注意力來捕獲k個token 或patch 之間的上下文關系，如圖4（a）所示。大量的tokenK使得MHSA 的時間和空間計算復雜度為O(k2)。此外，MHSA 中使用批量矩陣乘法和Softmax 函數用于計算注意力矩陣，這種計算方式會嚴重消耗內存，因此，本文基于標準Transformer 引入具有線性復雜度的可分離自注意力機制。

圖4 多頭自注意力對比Fig.4 Comparison of MHSAs

引入的可分離自注意力機制原理如圖4（b）所示。對輸入x使用3 個分支進行處理，變為輸入I、鍵K和值V。分支I使用權重為WI∈Rd的線性層將x中的每個d維token 映射到標量，權重WI作為圖4（b）中的潛在節點L。這個線性映射是一個內積操作，然后計算潛在tokenL和x之間的距離，得到一個k維向量，并使用Softmax 函數對所得向量歸一化以產生上下文分數cs：

與計算每個token 相對于所有k個token 的注意力（或上下文）得分的Transformer 不同，可分離自注意力機制僅計算潛在tokenL的上下文得分，這將計算注意力（或上下文）得分的成本從O(k2)降低到O(k)。上下文分數cs用于計算上下文向量cv，該向量對上下文信息進行編碼，使用權重為WK∈Rd×d的鍵分支K將輸入x線性投影到d維空間，產生輸出xK∈Rk×d。上下文向量cv∈Rd被計算 為xK的 加權和：

上下文向量cv對輸入x中所有標記的信息進行編碼，cv中編碼的上下文信息與x中的所有token 共享。與此同時，使用權重為WV∈Rd×d的值分支V將輸入x線性投影到d維空間，經過ReLU 激活函數后輸出xV∈Rk×d。然后cv中的上下文信息通過元素傳播乘法運算傳播到xV，將生成的結果傳遞給另一個權重為WO∈Rd×d的線性層，產生最終輸出y∈Rk×d。

可分離自注意力機制可以用數學公式定義為：

其中：*和∑分別是元素傳播乘法與求和操作。

可分離自注意力機制的特點是它使用元素級操作（如求和與乘法），這是實現高效計算的關鍵。之所以說這種方法是可分離的，是因為它允許通過用兩個單獨的線性計算取代二次MHSA 來編碼全局信息。本文將可分離MHSA 替換標準Transformer 中的MHSA 得到輕量級的改進Transformer，與基于標準Transformer 的立體匹配算法STTR 相比延時更少。

1.3 特征匹配

傳統的匹配算法會對匹配點施加唯一性約束，即每個像素點只能有唯一的匹配點與之相對應，然而這種方法無法進行梯度傳播，不適合基于學習的立體匹配算法。Dual-Softmax［17］操作算子是一種可微的匹配策略，其對匹配點進行軟約束。本文使用Dual-Softmax 算子進行匹配概率矩陣計算。將1/8尺度的特征圖經過WT 模塊轉換后記為

首先，使用式（5）計算得分矩陣S：

然后，在S的水平和垂直方向都應用Softmax 函數去獲取軟約束互最近鄰（MNN）［24］匹配的概率。獲取的匹配概率矩陣Pc用式（6）表達為：

最后，再次使用互最近鄰準則對置信度低于θc的匹配點進行過濾，剔除可能異常的粗匹配，得到新匹配概率矩陣Mc為：

相比基于3D 卷積的立體匹配算法PSMNet，本文使用的相關性匹配方法匹配冗余信息更少、計算消耗更小。

1.4 自適應窗口的匹配細化

經上述處理過程得到粗級匹配概率矩陣后，在1/4 和1/2 尺度的特征圖上執行匹配細化。為了減少匹配搜索空間和避免非理性矯正帶來的匹配失效，提出使用沿極線的自適應窗口對特征點進行匹配細化?；谧赃m應窗口的匹配細化過程如圖5所示。

圖5 匹配細化過程及自適應搜索窗口的形成Fig.5 Matching refinement process and formation of adaptive search window

局部窗口在搜索匹配點進行相關性概率計算時，使用內容自適應窗口，通過可變形卷積［25］學習附加偏置dx和dy來尋找新的相關對，新的匹配概率矩陣可以被計算為：

其中：i(x，y)和j(x，y)分別為左右特征圖上的點；xi和xj表示點i、j的水平方向坐標；yi和yj表示對應的垂直方向坐 標；i′和j′為加入位置 偏移量后點i(x，y)和 點j(x，y)的新表達；c表示輸入特征圖的通道數；f(d)和g(d)表示當前像素在水平和垂直方向上的固定偏移量，在本文中設置f(d)∈[-4，4]，圖5 顯示了偏移量如何改變固定形狀搜索窗口的形成。本文使用的自適應窗口匹配細化方法，僅計算局部的相關性，比STTR 的逐像素全對匹配方法具有更高的執行效率。

1.5 視差回歸

利用最終的細化匹配矩陣Mf′回歸最終視差。對 于匹配矩陣上的匹配點對圍 繞′點構建一個3×3 像素的窗口N3(k)，對窗口中的匹配概率進行重歸一化處理得到對應像素視差的權重，對窗口中的候選視差加權就是回歸的視差。假設處的匹配概率為t，t∈N3(k)，用公式表達為：

1.6 損失函數

訓練過程的損失函數由第1 級的粗級損失、第2、3 級的細化損失和最后計算的視差損失組成。粗級損失是計算置信矩陣Pc上的負對數似然函數，使用互最近鄰準則來計算置信矩陣的真實標簽，通過在Mgtc網格上最小化負對數似然損失進行反向梯度傳播：

給定視差真值，計算最后一層輸出的視差損失為：

2 實驗

為了驗證所提LTAWNet 立體匹配算法的性能，在3 個流行的公共數據基準上進行訓練，對算法的各個組成模塊進行消融研究，以驗證各模塊對算法整體性能的影響，并將LTAWNet 與其他立體匹配模型進行性能對比實驗，以驗證LTAWNet算法的優勢。

2.1 數據集

實驗使用的數據集如下：

1）SceneFlow［2］：是一個大型合成數據集，包含超過3.9×104個960×540 像素分辨率的立體圖像訓練對。該數據集提供了詳細和稠密的視差圖真值，使用像素平均視差誤差（EPE）作為評價指標，在實驗中選取80%的數據作為訓練集，剩下的部分作為測試集。

2）KITTI2015［26］和KITTI2012［27］：由 動態街景 的廣角立體圖像對和LiDAR 采樣的稀疏視差真值組成。KITTI2015 的訓練集和測試集分別包含200 個立體圖像對，以視差預測異常值D1 的百分比（D1-all）作為衡量指標；KITTI2012 的訓練集和測試集分別提供了194 和195 對立體圖像對，將錯誤像素百分比作為評價指標。

2.2 訓練

本文利用PyTorch［28］框架完成網絡模型構建，該模型在8 個NVIDIA GTX2080Ti GPU 上加速訓練，批處理大小為16，整個訓練過程執行300 000 次迭代，并使用標準學習率為0.000 4 的Adam［29］優化器。在網絡訓練熱身階段，先執行6 000 個訓練周期，使學習率從5%線性增加到標準值100%，保持0.000 8 的學習率訓練180 000 個周期之后，學習率逐漸降低到標準值的5%。模型的輸入尺寸為384×512 像素，對訓練的數據進行數據增強來提高模型的魯棒性和泛化能力，包括使用裁剪操作、非對稱色度增強（亮度、對比度和伽馬變化）和使用隨機大小的掩碼遮擋。

2.3 消融實驗

在不同的實驗變量設置下，對本文算法性能進行消融研究，并對坐標注意力機制（CA）、輕量級Transformer 模塊（WT）、自適應細化匹配窗口（AMW）及級聯的層數N給出定量的評估結果，如表1 所示。其中，√表示使用該模塊，all 是指對所有像素進行評價，Noc是指只對非遮擋區域的像素進行測試。

表1 消融實驗結果Table 1 Results of ablation experiments

對提出的輕量級Transformer 模塊進行消融研究時，與使用標準Transformer 模塊進行對比，對比結果如表1 的第1、2 行顯示，可見，使用輕量級Transformer 在運行時間上有較大的提升，運行時間比使用標準Transformer 快了約3 倍。對進行特征編碼的坐標注意力層進行消融研究，結果如表1 的第2、3 行顯示，可見，添加CA 后網絡的整體誤匹配率明顯降低，在SceneFlow 數據集上像素平均視差誤差從0.82 下降到0.56，下降了約30%。對自適應細化匹配窗口進行消融研究，與使用固定形狀窗口的匹配細化做對比實驗，結果如表1 的第3、4 行顯示，可見，使用自適應窗口匹配細化在3 個數據集的誤匹配率指標上均有所下降，在KITTI2015 數據集上，所有區域的D1-all 從1.72% 降低到1.61%。此外，對于級聯的層數N，測試了使用2～4 層的級聯結構，結果如表1 的最后3 行顯示，可見，隨著級聯層數的加深，誤匹配率有下降的趨勢，3 層級聯和4 層級聯結構有著接近的匹配精度，為了更好地權衡本網絡模型的匹配精度和運行效率，本文采用3 層的級聯結構。

2.4 性能對比實驗

為了進一步評估所提出的算法，把實驗中訓練的最佳算法在KITTI2015、KITTI2012 和SceneFlow數據集上進行對比實驗，包括基于3D 卷積的立體匹配算法：PSMNet［10］和GCNet［9］，基于相關性的立體匹配算法：AA-Net［4］，基于相關性與3D 卷積 的混合方法：Gwc-Net［12］，基于Transformer 架構的匹配算法：STTR［18］和SSD-former［19］。在KITTI2015 數據集中，使用所有區域（All）和非遮擋區域（Noc）的視差預測異常值D1 百分比為評價指標，其中3 像素誤差在兩個區域中包含所有像素（D1-all）、背景像素（D1-bg）和前景像素（D1-fg），并測評不同算法的推理時間。在KITTI2012 數據集上，評估所有區域和非遮擋區域的錯誤像素百分比（＞2px，＞3px，＞4px，＞5px）。在SceneFlow 數據集上，測試本文算法和對比算法的綜合性能，測試的性能包括參數量、顯存消耗、浮點數計算量、運行時間和誤匹配率。所有的測評數據均在單個NVIDIA GTX2080Ti GPU 上測試所得。

2.4.1 KITTI2015 對比實驗

在KITTI2015 數據集上的測評結果如表2 所示，其中加粗數據表示最優值。在參考的評價指標中，所提的立體匹配算法除了在D1-fg 指標上性能略顯遜色，其他指標都取得了領先的結果。在考慮所有像素情況下的視差預測異常值D1-all為1.71%，與使用3D 卷積的PSMNet［10］相比，視差精度提高了26%，運行時間快了5 倍。與基于相關性的立體匹配算法AANet［4］相比，誤匹配率明顯降低，速度上也比較接近，單對圖像的推斷時間為0.08 s，這主要得益于這兩種方法都避開了內存消耗較大的3D 卷積。此外，與基于標準Transformer 的STTR［18］算法相比，本 文算法在速度和精度上都有了較大的提升，這主要因為本文提出的是基于改進的輕量化Transformer 架構，并且本文算法是一種局部的立體匹配算法，只在局部窗口上執行Transformer 運算，但是有一點不容忽視，本文算法沒有考慮對遮擋的視差估計處理，所以在D1-fg指標上性能略次。

表2 在KITTI2015 數據集上的性能對比結果 Table 2 Performance comparison results on KITTI2015 dataset

為了定性評價本文算法的效果，從對比的實驗模型中選取基于3D 卷積的立體匹配算法PSMNet［10］和基于Transformer 的立體 匹配算 法STTR［18］進行可 視化分 析，可視化 結果由KITTI2015 基準測評官網得到。圖6（a）為輸入圖像，圖6（b）～圖6（d）分別為PSMNet、STTR 和本文算法的視差圖和對應的誤差圖，通過對比視差圖上矩形框中的物體可以看出，本文算法可以在物體邊界上獲得更加平滑和細致的預測，對物體邊界的視差恢復較為完整。

圖6 在KITTI2015 數據集上的定性對比結果Fig.6 Qualitative comparison results on KITTI2015 dataset

2.4.2 KITTI2012 對比實驗

在KITTI2012 數據集上的定量和定性實驗結果分別如表3 和圖7 所示，可見，與對比算法相比，本文算法在5 像素誤差上達到了最先進的水平，并且運行時間僅次于基于相關性方法的AA-Net，單對圖像的推理時間為0.09 s。本文的立體匹配算法與基于Transformer 算法的SSD-former 相比，整體匹配精度較為接近但運行速度要快3 倍多；與STTR 算法相比，非遮擋區域的3 像素誤差下降了0.09，運行速度提高了近4 倍；與基于3D 卷積的PSMNet 算法相比，整體精度有較大的提升，非遮擋區域的3 像素誤差下降了0.34，運行時間快了4 倍多。圖7（a）為輸入圖像，圖7（b）～圖7（d）分別為PSMNet、STTR 和所提方法的視差圖和對應的誤差圖，觀察白色矩形框中的車輛可以看出，本文算法可以較清晰地恢復車輛邊界的視差，視差估計的質量更細致。

表3 在KITTI2012 測試數據集上的性能對比結果 Table 3 Performance comparison results on KITTI2012 test dataset

圖7 在KITTI2012 數據集上的定性對比結果Fig.7 Qualitative comparison results on KITTI2012 dataset

2.4.3 SceneFlow 對比實驗

在SceneFlow 數據集上，為了保證對比結果的有效性，統一使用576×960 像素的輸入圖像，定量和定性的評估結果分別如表4 和圖8 所示。

表4 綜合性能對比 Table 4 Comparison of comprehensive performance

圖8 在SceneFlow 數據集上的定性對比結果Fig.8 Qualitative comparison results on SceneFlow dataset

由表4 可知：本文立體匹配算法的參數量為2.28×106，在所對比的5 種算法中具有最小的參數量；浮點數計算量為216.52×109，顯存消耗為1.28×109，運行時間為0.09 s，這3 項指標均僅次于基于相關性模型的AANet，但優于其他的對比算法；在匹配精度方面，EPE 指標和3 像素誤差低于6 種對比的算法，擁有最高的匹配精度；與基于3D 卷積模型的PSMNet相比，本文算法在參數量上減少了56.32%，浮點數的計算量降低96.72%，顯存消耗也降低了近一半多；與基于Transformer 的匹配模型STTR 相比，運行時間快5 倍多，浮點數的計算量減少了1 倍多，匹配精度在3 像素誤差上降低了0.16，在EPE 上降低了30%左右。綜上，在所對比的模型中，本文模型能較好地平衡匹配精度和運行效率。

圖8（a）為原始左視圖示例，圖8（b）～圖8（d）分別為PSMNet、STTR 和本文算法的測得的視差圖，觀察第1 列視差圖中的輪轂可以看出，本文算法可以細致地恢復輪轂的結構特征；觀察圖8（b）的Monkaa 視差估計結果可以看出，本文算法對物體的視差估計較為完整，不存在視差估計不連續問題；由圖8（c）可見，對車體的視差估計中，本文算法能夠高保真的還原其輪廓信息，在邊緣出的視差估計更平滑。

3 結束語

針對現有立體匹配算法存在的顯存消耗大、運行時間長、視差范圍有限等問題，本文提出一種基于輕量化Transformer 的自適應窗口立體匹配算法。該算法在低分辨率特征圖上進行位置編碼和特征粗匹配，在高分辨率特征圖上進行匹配細化。算法中輕量級Transformer 特征描述模塊和自適應窗口匹配細化模塊，在增強特征表達和提高匹配精度的同時，可有效減少計算消耗，并且能生成無視差范圍的視差圖。實驗結果表明，相比基于3D 卷積和基于Transformer 的匹配算法，所提立體匹配算法無論是在匹配精度還是在運行時間上，都有較大的性能提升，能夠較好地平衡匹配精度和運行效率。后續將把遮擋視差處理融入到算法中，對算法做進一步改進。