基于改進的PSPNet網絡的毛白楊根系自動分割量化系統

張鵬翀,韓巧玲,4,席本野,鄭秋燕,趙 玥,4,*

(1.北京林業大學 工學院,北京 100083; 2.城鄉生態環境北京實驗室,北京 100083; 3.智慧林業研究中心,北京 100083; 4.國家林業和草原局林業裝備與自動化國家重點實驗室,北京 100083; 5.北京林業大學 省部共建森林培育與保護教育部重點實驗室,北京 100083)

毛白楊是我國北方地區廣泛分布的常見樹種,也是我國木材戰略儲備林建設的重要植物資源。毛白楊根系具有巨大的吸收表面積,生理活性極強,是吸收養分、水分、礦物質的重要器官,同時,其根系的生長和死亡過程對整個生態系統的養分循環、物質能量交換具有重要影響[1-2]。因此,研究毛白楊根系的生長周轉對提高森林生態系統系統生產力、促進林業經濟發展具有重要意義。

在植物根系研究中,通常將直徑不小于2 mm的根稱為粗根,小于2 mm的根稱為細根[3]。研究方法可分為破壞性觀測法和非破壞性觀測法兩類。破壞性觀測法主要包括沖洗法、根鉆法[4]等,這類方法在對根系進行挖掘沖洗后再行觀測分析,會對根系造成不可逆轉的損傷[5]。非破壞性觀測法主要包括探地雷達法、容器法、微根管法等,其中,探地雷達法無法直觀地觀測到根系的生長狀態,容器法無法支撐毛白楊(Populustomentosa)等植物的正常生長,而微根管法可以直觀地觀測到根系的生長狀況,且不會對根系正常生長造成影響,現已廣泛應用于植物根系研究中[6-7]。

針對微根管植物根系圖像,大多數學者先采用MATLAB等軟件對根系圖像進行灰度圖轉化、增強對比度、中值濾波和二值化等處理以獲得根系分割圖像[8],再利用特定的根系圖像分析軟件,如RootFly、WinRHIZO等獲取圖像中的根系長度、根系投影面積等形態參數[9]。然而,此類圖像處理軟件和分析軟件在處理毛白楊根系時仍需人工設定相關參數,無法批量化處理根系圖像。毛白楊微根管圖像中的根系具有顏色不均勻、形態不一致的特點,而且根系目標與土壤背景特征差異較小,這就使得現有的分割方法可能產生根系過分割或欠分割的現象,從而無法準確量化毛白楊根系的生長狀況。

針對這一問題,本研究先基于PSPNet網絡進行改進,創建PSEPNet(pyramid scene efficient parsing network),并在其基礎上構建一個毛白楊根系的自動分割與量化系統,該系統可以自動、批量地實現對毛白楊微根管圖像的準確分割。然后,采用該系統,利用數學統計方法提取毛白楊的根系數量、長度等多特征參數,實現對毛白楊根系生長情況的量化研究。最后,通過與現有常用方法的比較分析,驗證本文方法及系統的有效性。本文構建的毛白楊根系自動分割與量化系統可以為揭示自然生長條件下毛白楊的生長發育規律提供技術支持。

1 材料與方法

1.1 圖像采集

圖像采集實驗地位于山東省聊城市高唐縣。當地屬黃泛沖積平原,地勢由西南向東北傾斜,地貌較為平緩,土地肥沃,海拔22.6 m。當地屬暖溫帶半干旱季風區域大陸性氣候,四季冷暖干濕分明,季節季風變化明顯,光照和熱量充足,降水量較少,多集中于7—8月。實驗地的土壤為砂壤土,平均地下水位6 m[10]。

在實驗地的毛白楊林分內采集根系圖像。林分栽植于2015年春季,系植苗造林。種植采用均勻配置模式,株行距為2 m×3 m,密度為1 667株·hm-2。選取生長狀況良好的毛白楊作為圖像采集的樣樹,分別在距離樣樹水平方向0.3、1.2 m處,從土壤表層開始垂直向下每隔1 m布置一根微根管,共布置4行2列8根微根管。管內觀測長度1 100 mm,間隔9.5 mm設置一個觀測點,共設置108個觀測點,以增強圖像采集能力。在每根微根管中,使用由美國Bartz公司研制的帶有索引手柄的BTC-100X根系生長動態監測系統以相等間隔的間隔點獲取精根系圖像[11]。

1.2 數據預處理

如圖1所示,采集到的根系圖像原圖邊緣存在黑色區域,這部分信息不包含根系元素,會增加算法分割運算量并影響分割精度。同時,在拍攝過程中標定手柄與透明管壁的邊界處可能存在晃動,會導致圖像邊界存在畸變現象,從而影響根系分割精度。為此,采用矩形剪裁法對原始根系圖像進行處理。原始圖像的大小為754 pixel×510 pixel,裁剪后的圖像大小為670 pixel×460 pixel。

圖1 采集到的圖像原圖(上)與裁剪后的圖像(下)Fig.1 Captured original image (up) and image after cropping (down)

為避免數據集圖像數量較少而影響網絡分割效果,本研究采用水平翻轉、中心對稱等算法實現毛白楊根系圖像數據集的增強,增強后的數據集共有640張根系圖像,將其按照7∶2∶1的比例隨機劃分至訓練集、驗證集與測試集,其中,訓練集用于訓練模型參數,驗證集用于評估每批訓練和調整超參數后模型的泛化能力,測試集用于測評網絡最終的分割結果。

1.3 PSEPNet網絡模型

PSPNet網絡采用金字塔池化模塊對不同尺度的語境進行聚合,使得模型擁有融合局部語境信息和全局語境信息的能力[12]?，F有的PSPNet主要以ResNet50和MobileNetV2作為特征提取模塊[13-14]。其中,ResNet采用的殘差結構會導致網絡運算量大、訓練時間長;MobileNetV2使用的倒殘差結構雖能極大地縮短運算時間,但是低維張量無法完整提取根系的細節特征。為此,本研究提出一種以EPSANet50為骨架的PSEPNet網絡模型,以實現對毛白楊微根管圖像中根系結構的高效、精準分割。

PSEPNet網絡首先通過EPSANet50進行低級語義特征提取(圖2),再通過4個尺度的池化操作豐富特征信息,并將其通過1×1的卷積統一通道數,然后采用雙線性插值進行上采樣,獲得與低級語義特征相同尺寸的高級語義特征,最后將高級和低級語義特征在通道上拼接,得到最優分割圖。在PSEPNet的特征提取網絡EPSANet50中,用軟注意力機制PSA模塊替換了以往的3×3的卷積層,在提取毛白楊根系圖像多尺度特征信息的同時賦予了根系更多權重,既為后續的池化操作提供了更豐富的特征圖,也可在與高級語義特征融合時補充毛白楊根系更細節的特征。

圖2 創建的PSEPNet的網絡結構示意圖Fig.2 Structure diagram of the proposed PSEPNet

綜上,PSEPNet在網絡結構上采用引入PSA模塊的EPSANet50進行毛白楊根系特征的提取,可以獲取更細節更準確的特征圖,顯著提高模型性能,大幅提升網絡的分割能力。

1.4 毛白楊根系特征量化指標

基于分割后的毛白楊根系圖像,采用細化法提取根系骨架結構[15]?；诟刀祱D像和骨架結構,采用數學統計方法對根系數量、根系長度、根系周長、根系平均直徑、根系投影面積、根系表面積、根長密度和根表面積密度這8個指標實現量化分析,從不同角度表現毛白楊根系的形態特征。

1)根系數量(n),以單張圖片中連通域的數量表示。采用8連通域方法實現對根系數量的量化。

(1)

式(1)中的C表示1個像素的長度,其值為0.024 mm。

(2)

4)根系投影面積(S1),以單張圖片中根系在二維平面投影的面積表示,其計算公式為

S1=a·C·C。

(3)

式(3)中的a表示根系區域像素點的數量。

5)根系表面積(S2),以單張圖片中的根系在三維空間的表面積表示[16],其計算公式為

S2=S1·π。

(4)

(5)

7)根長密度(DL),以單位體積內的根系長度表示[17],其計算公式為

(6)

式(6)中:A為單張圖片的面積;D為實驗田間深度,本文取2 mm[18]。

8)根表面積密度(Ds),以單位體積內的根系表面積表示,其計算公式為

(7)

1.5 實驗方法與平臺

為驗證本文所提的PSEPNet網絡在毛白楊微根管根系圖像上的分割性能,以自然條件下生長的毛白楊根系為研究對象展開實驗。在實驗中,采用Adam優化器進行優化[19]。設置初始學習速率為0.000 1,學習率在每50個epoch后衰減94%。每個epoch處理的batch size(批尺寸)設置為4,一共設置2 000個epoch進行訓練。

以標定圖作為本文量化評價分割方法的標準。采用Photoshop 2021軟件手動標注標定圖中的根系目標,選取6個重復標定,以消除主觀因素對精度的影響。本研究的硬件環境是Intel?CoreTMi5-10500處理器,主頻率3.10 GHz,內存16 GB;軟件環境是Windows 10操作系統和Python編程語言。

2 結果與分析

2.1 毛白楊根系分割結果的定性分析

為了分析PSEPNet網絡對毛白楊根系的分割效果,與以ResNet50和MobileNetV2為特征提取網絡的傳統PSPNet方法(以下分別記為PSPNet_ResNet50和PSPNet_MobileNetV2)進行對比分析。分割結果如圖3和圖4所示,圖中的白色區域表示根系,黑色區域表示土壤。

圖3 毛白楊根系的分割結果示例一Fig.3 Example 1 of segmentation results of Populus tomentosa roots

圖4 毛白楊根系的分割結果示例二Fig.4 Example 2 of segmentation results of Populus tomentosa roots

對比圖3和圖4的紅色矩形區域可以發現,PSPNet_ResNet50和PSPNet_MobileNetV2方法在分割顏色不均勻的根系時會丟失根系的細節特征,存在明顯的欠分割現象。針對圖3紅色矩形中根系存在分枝的形態以及圖4紅色矩形中根系顏色與土壤背景差異較小的情況,PSEPNet網絡均可以真實完整地分割出根系結構,說明PSEPNet網絡對毛白楊根系具有較好的分割能力。

結合圖3和圖4中的綠色矩形區域發現,當根系顏色特征并不突出時,PSPNet_ResNet50方法欠分割嚴重,PSPNet_MobileNetV2方法同時存在較為嚴重的過分割和欠分割,而PSEPNet網絡平衡處理了這種情況,分割效果最好。這主要是因為PSA模塊在網絡訓練的時候賦予了根系較土壤背景更大的權重,使得網絡學習到了根系顏色、形態等更全面的特征,提升了網絡對根系的分割能力。

綜上,本文提出的PSEPNet網絡可以避免由于根系顏色不均勻或形態不一致而造成的欠分割和過分割現象,能更好地學習根系的特征,較好地完成毛白楊根系的分割任務。

2.2 毛白楊根系分割結果的定量分析

使用準確率、召回率、精確率和F1值共4個指標對不同方法的分割效果進行全面對比分析(表1),表中數值均來自于測試集,數值越大,表示該網絡的分割效果越好[20]。

表1 不同方法分割效果的定量評估

PSPNet_ResNet50方法的精確率(0.731 3)低于召回率(0.840 2),表明其存在較為嚴重的過分割現象;PSPNet_MobileNetV2方法的精確率(0.818 4)與召回率(0.855 1)相差較小,且均高于PSPNet_ResNet50方法,說明該方法對根系的分割性能優于PSPNet_ResNet50方法,但其F1值低于本研究所提出的PSEPNet網絡。在對比的3種方法中,本文所提的PSEPNet網絡具有最高的準確率(0.981 9)、召回率(0.884 9)、精確率(0.830 9)和F1值(0.851 2),表明其對根系的分割效果要優于傳統的PSPNet網絡,能夠較為精準地分割出毛白楊根系,可以為毛白楊根系后續的特征量化分析提供準確的數據基礎。

2.3 毛白楊根系特征量化

基于PSEPNet網絡分割的毛白楊根系二值圖像,采用數學統計分析法,實現對毛白楊根系數量、根系長度和根系周長等8項指標的自動量化計算,可為評價毛白楊根系的生長發育規律提供數據基礎和技術支持。將2019年5月—2020年4月獲得的結果以平均值±標準差的形式整理于表2?？梢钥闯?毛白楊的根系數量、根系長度、根系周長、根系表面積的標準差較大,說明圖像間差異大,不同空間的根系分布不均勻。根周長、根表面積均值越大,說明圖像中的根系越粗壯,與土壤的接觸范圍越大,吸收水分和營養的能力越強。根系的平均直徑小于2 mm,數據波動小,與細根定義一致,說明圖像中的根系大多數為細根。本研究中,實驗田間深度取2 mm。后續研究中可根據數據集的實際情況,設置系統的實驗田間深度,從而自動計算根長密度和根表面積密度,以便對根系生長狀態進行分析。

表2 毛白楊根系的特征參數

2.4 毛白楊根系自動分割與量化系統

基于提出的PSEPNet網絡,搭建一款可視化的毛白楊根系自動分割與量化系統。該系統主要包含圖像讀取、圖像分割與特征提取3個功能模塊(圖5),運行環境為Windows 10,開發工具為Pycharm,開發語言采用Python。

圖5 毛白楊根系自動分割與量化系統的照片Fig.5 Photos of the segmentation and quantification system for Populus tomentosa roots images

圖像讀取模塊的可視化組件如圖5(a)左側的“上傳文件”按鍵所示。點擊該按鍵,可在本地文件中選擇待分割的毛白楊根系RGB圖像,點擊“上傳”按鍵后,圖像將顯示在“預覽窗口”框中。

圖像分割模塊通過PSEPNet網絡進行分割,點擊“PSEPNet”按鍵,圖5(a)左側的“根系微根管圖”框中自動顯示已上傳的根系微根管原圖,圖5(a)右側的“PSEPNet”框中將顯示分割結果。點擊“特征提取”按鍵,即可啟動特征提取模塊,在圖5(b)左側的“Split graph”框中顯示圖像分割結果,在右側數據框中生成相應的特征參數。

綜上所述,本文提出的毛白楊根系自動分割與量化系統具有簡便、高效的特點,不僅能夠實現毛白楊根系的自動、準確分割,還能實現對毛白楊根系數量、根系長度等多項特征的精確提取與量化表達。本研究證明了深度學習方法在識別林木復雜根系方面的能力。未來,通過采集更多林木根系圖像,本系統可以擴展應用于其他林木根系的分割與量化。

3 結論

針對毛白楊根系顏色不均勻、形態不一致、目標背景差異小的特點,以及現有根系分割方法難以準確識別和批量分割毛白楊根系的問題,提出一個基于EPSANet模塊的PSEPNet網絡,可實現對毛白楊根系的自動批量分割。該網絡對毛白楊根系的分割準確率為0.981 9,召回率為0.884 9,精確率為0.830 9,F1值為0.851 2,較傳統的PSPNet方法提高了分割效果,證明其具備良好的毛白楊根系分割性能。在此基礎上,構建一套毛白楊根系自動分割與量化系統,能夠更全面、高效地實現對毛白楊根系特征的定量描述,并可以根據研究者的需求改變經驗參數,從而獲取更準確的毛白楊根系數據。