基于熱紅外圖像處理技術的農作物冠層識別方法研究

馬曉丹，劉 夢，關海鷗，溫馮睿，劉 剛

1. 黑龍江八一農墾大學信息與電氣工程學院，黑龍江 大慶 163319 2. 中國農業大學現代精細農業系統集成研究教育部重點實驗室，北京 100083

引 言

隨著信息技術快速發展，熱紅外成像技術日益成熟，已受到農業科學工作者的廣泛關注[1]。農作物冠層熱紅外圖像能夠反映作物生殖生長信息[2]，是獲取植株生理生態指標的重要途徑之一。目前冠層熱紅外圖像識別技術[3]已成為精細農業領域的熱點和難點之一，國內外學者在熱紅外圖像處理技術上取得了諸多研究成果。早在1963年，農作物冠層熱紅外圖像就用來研究并監測植物病害的發展[4]。但由于熱紅外圖像易受噪聲干擾，目標與背景之間灰度差別較小，目前紅外圖像的交互式圖割方法的效率有待于進一步提高。由于分辨率較低的圖像邊緣部分和模糊部分的分割效果較差，因此如何精準識別出農作物冠層熱紅外圖像成為其提取農作物冠層溫度信息的重要條件。王保昌等[5]基于峰谷法提出了用于紅外目標分類、識別的邊距離分布特征概念。由于點狀溫度演化為面狀冠層時具有一定的誤差，導致僅以熱成像圖像信息特征為分割依據難以達到理想精度，所以基于水平集的熱紅外圖像分割方法[6]得到了快速發展。Osher等[7]建立了一種自適應調整邊緣指示器函數，增強演化曲線邊界的勻稱性，但仍未解決灰度分布不均的熱紅外圖像的邊緣識別問題。為此Ma等[8]提出了全變差最小的梯度轉移融合(GTF)方法，Zhang等[9]建立了一種新的廣義梯度向量流snakes模型，在平滑噪聲的同時，提高了圖像弱邊緣的保護能力。Harris算子可提取彩色和熱紅外圖像的對應角點，估計分割模型參數，用于識別目標圖像，但當外點較多時，識別率較低。Coiras等[10]通過仿射變換計算參考圖像與目標圖像，構建特征三角形的變換參數，提取了熱紅外圖像的目標區域。通過求解待配準圖像與參考圖像的映射關系，計算像素點所在位置的梯度模之和的最大值，確定變換模型參數，但對于紅外圖像中經常出現的偽邊緣噪聲比較敏感。張智韜等[11]采用二值化Ostu算法和Canny邊緣檢測算法對熱紅外圖像進行掩膜處理，實現對土壤背景的剔除，但分割質量受冠層葉片的溫度差別影響較大。上述研究為解決由熱紅外圖像噪聲干擾較多，目標區域與環境背景之間灰度差別小，導致目標圖像難以識別問題提供了理論及方法指導。

為精確識別農作物冠層熱紅外圖像，本研究以苗期紅小豆冠層熱紅外圖像為研究對象，首先通過五層線性歸一化的模糊神經網絡，自適應地確定推理規則，提取冠層彩色圖像有效區域，并將其作為參考圖像。然后采用仿射變換算法，確定參考圖像與對應熱紅外圖像的配準參數，建立基于仿射變換的農作物冠層熱紅外圖像識別算法，并使用互信息熵作為監督指標，客觀評價該識別方法的有效性。該成果能夠為農作物生殖生長信息的監測以及農作物生理生態指標的獲取提供技術參考。

1 實驗部分

實驗選用紅小豆寶清紅和136號品種作為培育對象，在實驗環境中，采用單盆播種方式栽培紅小豆。樣本采集設備為具有熱紅外和可見光雙傳感器通道的便攜式紅外熱像儀。以垂直于冠層的方式獲取其彩色圖像和熱紅外圖像，鏡頭距離地面距離為110 cm，手動調節焦距和光圈，設置自動白平衡。拍攝時，使紅小豆冠層位于圖像的中心區域，設置雙源圖像分別率均為640×480像素。獲取的彩色圖像和熱紅外圖像如圖1所示。

圖1 紅小豆雙源圖像 (a)： 熱紅外圖像； (b)： 可見光圖像Fig.1 Double-source images (a)： Thermal infrared image； (b)： Visible image

1.1 確定模糊神經網絡結構

農作物熱紅外冠層圖像邊緣模糊不均，難以通過邊緣特征獲取熱紅外目標圖像。本研究充分利用同步獲取的可見光圖像，考慮到熱紅外圖像像素的灰度接近程度和空間相關性，通過參考模板匹配標定法，提取農作物冠層的熱紅外圖像區域，因此冠層可見光參考圖像成為必要基礎。依據文獻[12]模糊神經網絡構建方法，將可見光圖像像素點的圖像的R，G和B三個顏色分量作為模糊神經網絡的輸入，因此輸入層節點數為3； 通過高斯隸屬度函數將輸入分量劃分為2個子空間，所以模糊化層節點數為6； 計算可得模糊規則為8條，第三層和第四層的節點個數均為8； 第五層的輸出結果為圖像像素的歸屬是否為冠層，即輸出層節點數為1，最終確定模糊神經網絡的拓撲結構為3-6-8-8-1型。

1.2 獲取冠層可見光參考圖像

本研究中選取苗期紅小豆冠層雙源圖像為實驗對象。首先選取可見光圖像內50個不同區域(冠層或背景)，共16085個像素作為訓練樣本集。設定學習訓練參數為： 學習精度0.001，學習速度0.8，慣性系數0.5，最大學習次數10 000。通過梯度下降學習算法[12]，對1.1節網絡模型的可調參數進行訓練，當迭代38次時，網絡誤差為0.000 952，滿足誤差精度要求。

其次利用以上訓練好的神經網絡，判定待處理圖像的像素歸屬，獲取紅小豆冠層可見光圖像(見圖3)，作為冠層熱紅外圖像識別的參考圖像，用于配準對應熱紅外圖像。同時計算有效分割率、欠分割率、過分割率[13]，評價冠層可見光圖像的分割效果。

圖2 可見光圖像分割圖 (a)： 可見光樣本圖像； (b)： 分割后冠層可見光圖像Fig.2 Visible image segmentation (a)： Visible image of sample； (b)： Visible image of canopy after segmentation

圖2(a)為獲取的原始可見光圖像，圖2(b)為分割后的冠層可見光圖像，其有效分割率為96.96%。通過對27組冠層圖像進行分割實驗，平均有效分割率達到97.58%，其中有效分割率最高為98.95%。

為驗證模型有效性，應用圖像的熵評價冠層可見光圖像分割效果[14]。若p(xi)為灰度值為xi的像素數與圖像總像素數之比，則圖像熵值H(X)為

(1)

原始可見光圖像和分割后圖像，計算冠層圖像區域的平均熵值分別為3.894 4和3.648 5，二者僅相差0.145 9。該方法不僅減少了因圖像噪聲干擾帶來的分割誤差，并且有效降低了初始輪廓線位置影響，保留了農作物冠層可見光圖像信息。

1.3 識別農作物冠層熱紅外圖像

1.3.1 仿射變換配準圖像過程

本研究以參考圖像為基礎，利用仿射變換后圖像與原圖像特征點和線段映射關系不變的特性，實現冠層可見光參考圖像和熱紅外圖像的配準過程，識別出農作物冠層熱紅外目標圖像，具體包括四個環節： (1)提取雙源圖像特征點對和邊緣特征對，(2)參考圖像與待配準圖像的特征匹配，(3)計算冠層參考圖像的變換模型參數，(4)識別熱紅外圖像的目標區域。參考圖像與熱紅外圖像配準中，關鍵是確定參考圖像仿射變換參數，其計算過程如下：

將非奇異矩陣A的轉置矩陣AT進行正交分解為AT=QP，兩邊進行轉置操作后可得

A=PTQT

(2)

式(2)中，Q為正交矩陣，P為上三角矩陣。

設X為參考圖像中任意一點坐標，對應熱紅外原始圖像的映射點B為

(3)

式(3)中，ω為尺度因子、μ為切邊因子、ρ為尺度比例因子、θ為旋轉因子、t為水平和垂直方向的平移因子。

由于參考圖像和熱紅外圖像的對應點或線段位置關系不能作為唯一可靠的空間對齊準則，為使圖像經過仿射變換后，能夠保持穩定的定量約束，可建立待配準圖像與參考圖像之間的參數約束。參考圖像和待配準圖像之間存在位置偏移，其經過式(3)變換后對應的方向矢量為

(4)

參考圖像與熱紅外圖像相關聯的方向矢量間存在定量的約束關系，并且兩者之間矢量的角度偏移α只與μ，ρ，θ等參數因子有關，并將其作為射變換模型參數估計值。

1.3.2 冠層熱紅外圖像識別實例

(1)提取雙源圖像特征

針對苗期紅小豆冠層雙源圖像(可見光參考圖像和熱紅外圖像)，采用點對特征和邊緣特征相結合的圖像特征提取方式，優先選取圖像中典型特征邊緣、特征點、以及目標區域中心(圖3)，作為進一步圖像匹配的特征量。

圖3 圖像特征點選取圖Fig.3 Feature points match images

圖3中線段a和b是熱紅外圖像邊緣區域的特征邊緣，線段a′和b′是可見光參考圖像邊緣區域的特征邊緣，二者均為辨識度較高的邊緣特征； 同時參考圖像中像素點(x′,y′)，與原熱紅外圖像的像素點(x,y)是具有空間一致性的特征點對，以此作為圖像匹配的依據，能夠高效識別目標區域。

(2)匹配參考圖像特征

將參考圖像和待配準圖像的目標配準區歸于統一坐標系，以可見光參考圖像為模板，分別在參考圖像和熱紅外圖像中標定特征點和特征線段，求出對應特征矢量之間的變換參數值，建立參考圖像和待配準圖像的配準模型。初步配準熱紅外圖像的目標區域，其效果如圖4所示。

圖4 熱紅外圖像與參考圖像初始配準效果 (a)： 熱紅外原圖像； (b)： 初始配準效果Fig.4 Initial registration effect of thermal infrared image and reference image (a): Original thermal infrared image (b)： Initial registration effect；

圖4(a)單源紅小豆熱紅外圖像平均溫度值為18.806 1 ℃，其背景溫度集中在19.50～19.92 ℃之間，而邊緣溫度主要在18.5～19.0 ℃范圍內，冠層區域溫度值均在18.5 ℃以下，冠層部分區域達到最低溫度16.50 ℃，圖像中背景溫度普遍高于紅小豆冠層溫度。圖4(b)將紅小豆冠層可見光參考圖像和熱紅外圖像移至統一坐標區域，提取了熱紅外圖像內初始目標，雖然未經調整的目標圖像，但也去除了部分背景干擾，使最高溫度值降至19.698 ℃，目標圖像的平均溫度值為18.014 ℃，仍然高于絕大部分冠層溫度。由于紅小豆冠層的有效區域被錯誤識別，此時目標圖像未能保留完整的冠層溫度信息，需調整參考圖像的變換參數，來準確識別熱紅外圖像中冠層區域。

(3)計算變換模型參數

仿射變換模型是根據可見光參考圖像與熱紅外圖像目標區域之間幾何畸變，計算出兩幅圖像之間最佳幾何變換的模型參數。配準過程中依據參考圖像逐次調整線性幾何變換參數，將參考圖像像素坐標映射到待配準圖像，按照式(3)計算兩幅圖像之間最佳變換參數，實現圖像的精確配準，其過程如圖5所示。

圖5(a)用于調整旋轉因子θ值為-1，使圖像的特征線段處于平行狀態。圖5(b)和(c)分別為調整平儀因子tx和ty后的圖像，將水平方向調整15個像素單位，垂直方向-45個像素單位，以實現特征點對的坐標匹配。圖5(d)表示繼續調整尺度比例因子ρ的圖像，此時參考圖像縮小0.9倍，完成了特征線段的長度匹配，最終精確配準了參考圖像與熱紅外圖像的目標區域。按照以上順序依次調整模型參數直至獲取最佳配準參數為止。紅小豆冠層熱紅外圖像的識別實例，經過調整仿射變換參數過程，目標區域圖像的溫度和熵的變化，如表1所示。

圖5 圖像精確配準過程 (a)： 角度配準； (b)： 水平配準； (c)： 垂直配準； (d)比例配準Fig.5 Image exact matching process (a)： Angle registration； (b): Horizontal registration; (c): Vertical registration; (d): Proportional registration

表1 溫度和熵值變化Table 1 Changes of temperature and entropy

由表1可以看出，當僅調整旋轉因子θ，熱紅外目標圖像的溫度范圍變為16.35～19.71 ℃，相對初始圖像的平均溫度有所上升； 隨后調整平移因子t后溫度值范圍減至16.35～19.63 ℃，圖像平均溫度也降至17.986 6 ℃； 再經尺度比例因子ρ調整后，最終目標圖像的溫度范圍為16.35～19.52 ℃，平均溫度繼續下降至17.839 3 ℃。識別熱紅外目標圖像過程，其溫度范圍及平均值雖有一定波動，但通過逐步調整仿射變換參數，可有效識別圖像的目標區域。

(4)識別熱紅外圖像冠層結果

將參考圖像進行坐標變換與線性插值，突顯了可見光參考圖像的邊緣特征，按上述(1)至(3)節步驟，獲取紅小豆冠層的參考圖像與熱紅外圖像之間的仿射變換參數，將參考圖像映射到熱紅外圖像所在坐標系的對應位置，實現冠層熱紅外圖像目標區域的有效識別，其結果如圖6所示。

圖6(a)中原始熱紅外圖像的最高溫度值為19.85 ℃，最低溫度值為16.62 ℃，平均溫度值為18.711 ℃。其中，背景溫度集中在19.50～19.92 ℃之間，而圖像邊緣溫度主要在18.5～19.0 ℃范圍內，冠層圖像區域溫度值均在18.5 ℃以下，冠層部分區域的溫度達到了16.50 ℃。圖6(b)中能量空間分布主要集中在背景噪聲內，冠層區域的能量較低，且葉面密度較高區域能量更低。圖6(c)中識別出的熱紅外冠層圖像的最高溫度為19.75 ℃，最低溫度仍為16.62 ℃，去除背景后冠層的平均溫度值下降至17.79 ℃。圖6(d)能量主要分布在冠層區域，高能量較少地分布在背景與冠層的邊緣，較為完整的保留了冠層溫度分布特征。

2 結果與討論

在苗期紅小豆5個典型生長時期，每個時期均獲取1組冠層雙源圖像，共計5組實驗樣本，對本文提出的農作物冠層熱紅外圖像識別方法作評價與分析。

2.1 可見光參考圖像效果評價

按照1.2節中有效分割率、欠分割率、過分割率、圖像熵值，對本文算法的圖像分割效果，進行有效性評價分析，見表2所示。

圖6 熱紅外圖像識別效果 (a)： 原始熱紅外圖像； (b)： 原始圖像能量分布圖； (c)： 冠層熱紅外識別圖像； (d)： 識別圖像能量分布圖Fig.6 Contrast of recognition effect of thermal infrared images (a)： Original thermal infrared image； (b)： Energy distribution of original image； (c)： Recognition effect of thermal infrared image of canopy； (d)： Energy distribution of canopy image after recognition

表2 參考圖像指標評價Table 2 Reference image evaluation index

由表2可以看出，在5組圖像分割結果中有效分割范圍為0.949 9～0.989 5，平均有效分割為0.967 8； 過分割范圍為0.061 1～0.076 3，欠分割范圍為0.003 4～0.021 5，其中平均錯誤分割低至0.079 3。標準圖像的熵值范圍和本文算法分割后圖像的熵值范圍分別為3.173 0～5.438 9和2.976 6～5.198 7，二者之間平均熵值僅相差0.368 4。由此可知，有效分割結果保留了苗期紅小豆冠層可見光圖像的特征信息。

2.2 熱紅外圖像識別效果評價

將互信息作為冠層熱紅外圖像識別的評價指標，其公式為

I(X,Y)=H(X)-H(Y/X)

(8)

式(8)中，X是識別熱紅外圖像的像素點，Y為原熱紅外圖像的像素點。

計算識別冠層的熱紅外目標圖像與標準圖像的互信息，如果互信息值越大，表明差異越小，識別質量越高，其結果如圖7所示。

圖7 熱紅外冠層圖像識別互信息對比

圖7中識別的目標圖像和標準圖像的互信息值的范圍分別為3.797 3～5.279 4和3.201 7～4.663 5，互信息的平均值分別為4.368 7和3.981 8。第1組和第5組識別效果與標準圖像相似度較高，其中第4組數據相差較大為0.963 7。實驗樣本中目標圖像與原始圖像之間互信息值，均達到了識別冠層熱紅外圖像的精度要求，有效獲取了原熱紅外圖像的冠層區域，保留了紅小豆典型生長階段，植株冠層原始溫度信息。

3 結 論

將模糊神經網絡和仿射變換相結合，提出了農作物冠層熱紅外圖像識別方法，解決了苗期紅小豆冠層熱紅外圖像中冠層區域的識別難題。

(1)首先應用模糊神經網絡，獲取了紅小豆冠層可見光參考圖像，實驗樣本平均錯誤率為4.5%，平均有效分割率達96.13%，平均熵值為3.648 5，其中最高精度達到98.95%，與標準分割的精度5.218 1僅相差0.14，滿足了識別冠層熱紅外圖像時對參考圖像的精度要求。

(2)然后以可見光參考圖像為基礎，采用仿射變換配準原始熱紅外圖像，建立了冠層熱紅外圖像識別方法。該方法對平均溫度值為18.71 ℃的原熱紅外圖像，識別其目標圖像時，最高溫度值由19.85 ℃降至19.52 ℃，有效分離了溫度集中在19.50～19.92 ℃之間和18.5～19.0 ℃范圍內的背景區域和邊緣區域，高效地區分了平均溫度在18.5 ℃以下的冠層與背景，提取目標圖像的平均溫度值下降至17.79 ℃。

(3)最后應用互信息評價了農作物冠層熱紅外圖像識別方法的有效性，目標圖像與原始圖像之間互信息的平均值為4.368 7，其相似性最強互信息為3.944 5，有效獲取了原熱紅外圖像的冠層區域，保留了植株冠層原始溫度信息。該成果能夠為利用熱紅外圖像反映農作物生理生態信息特征指標，自動檢測作物的長勢墑情，科學調控農業生產過程提供了技術參考。