基于熱圖像的種蛋氣室變化監測算法

劉又夫，肖德琴，王春桃

華南農業大學數學與信息學院/廣東省農業大數據工程技術研究中心，廣東 廣州 510642

引 言

種蛋孵化過程中的監測對種蛋的孵化率起重要作用。在孵化過程中，喪失孵化能力的種蛋會在孵化箱中變質，產生的細菌會感染周圍其他正常的蛋[1]。目前種蛋的篩查監測主要以人工照蛋的形式為主[2]，該方法費時費力，且易漏檢誤檢。因此當務之急是要基于種蛋的孵化機理，研發出一種能對種蛋孵化過程進行實時高效監測的系統，才能取代人工監測，提高監測效率。

目前，人工智能、機器視覺技術逐漸滲透到各個行業[3]，在對種蛋的孵化檢測方面也逐漸發展起來。機器視覺技術具有高效率、低成本、多信息量、綠色、無損等優點，再結合人工智能算法，擁有取代人工監測種蛋的可能性。Lin等[4]使用熱成像技術提取單個種蛋的熱圖像灰度共生矩陣，并結合種蛋周圍環境的溫度來判斷種蛋受精狀況。張偉等[5]將機器視覺與敲擊振動相結合，提取種蛋的顏色參數與敲擊震動參數作為特征向量，使用LVQ神經網絡判別種蛋的受精狀況。祝志慧等[6]提取種蛋RGB圖像的能量、對比度、相關性、熵、均勻度等5種特征作為輸入向量構建深度置信網絡模型，用于識別種蛋中的雞胚性別。但上述試驗都存在著限制，一是監測都需在無背景干擾的條件下進行單個種蛋的分析檢測，二是監測的種蛋多為側面，而實際生產中，雞蛋多以豎立在托盤上的姿勢為主，因此對于種蛋側面的監測意義不大。

針對上述問題，探索了一種基于熱圖像俯視監測種蛋孵化過程狀態的方法。該方法是以種蛋的氣室大小變化為監測目標。種蛋氣室大小是種蛋孵化過程中的重要監測指標，種蛋氣室大小能反映種蛋孵化過程的失重量[7-8]、種蛋胚胎的水分蒸發速度，進而能反映種蛋的孵化成功率。由種蛋的熱力學結構可知，在高溫環境下，氣室與非氣室部分的外殼會產生溫差，從而可以在種蛋的蛋殼溫差中反映出種蛋氣室的大小。紅外熱圖像技術是一種測量目標物體表面溫度的技術，具有綠色、遠程以及無損等優點[9-10]。為貼合實際生產條件，本試驗是以雞蛋托盤為背景，結合Faster-RCNN與BP神經網絡，對種蛋的熱圖像進行目標檢測與圖像分割，實現對孵化過程中種蛋氣室的高效無損監測。

1 實驗部分

1.1 材料與種蛋孵化方法

試驗材料為珠海市裕禾農牧有限公司種蛋150枚。種蛋經消毒處理后，分5個托盤置于孵化箱中，每個托盤30枚種蛋。孵化箱的孵化溫度為37.8 ℃，相對濕度為68%。托盤每2 h翻轉一次。共孵化20 d。

1.2 設備及種蛋采集方法

使用FLIR T400熱像儀采集種蛋熱圖像。FLIR T400是美國FILR公司的產品，擁有可視化界面、自動定時拍攝功能。孵化箱擁有自動翻蛋、控溫控濕等功能。產品部分參數如表1所示。

表1 儀器參數值Table 1 Instrument parameter value

從孵化第5天開始圖像采集，熱像儀發射率設為0.95。每天采集2次，采集時間分別為中午12：00與晚上20：00。試驗中，是以一個托盤為拍攝對象進行熱圖像的采集。同一個托盤熱圖像采集3次。孵化第20天停止采集。

1.3 基于熱圖像的種蛋氣室大小檢測原理

從熱力學與傳熱學的角度分析，種蛋氣室中的物質以氣體為主，相較于呈固態液態的胚胎部分，氣態物質流動性更強，熱阻更低，與外界物質能量交換速率更高[11]，且由于胚胎部分自身屬于發熱源[12]，從而導致種蛋氣室內的溫度低于胚胎部分，進而導致氣室所在的外殼溫度相較包裹胚胎部分的外殼更低。熱紅外成像技術的原理是把目標對象表面發射出的熱輻射場轉變為灰度數字矩陣，因此可使用熱成像技術獲取種蛋的外殼溫度場，進而表征出種蛋的氣室大小。

圖1 采集熱圖像示意圖Fig.1 Collecting thermal images

1.4 種蛋目標檢測方法

為實現種蛋的個體監測，先將整個托盤的種蛋進行圖像切分。切分方法是先使用目標檢測算法Faster-RCNN對種蛋進行目標檢測，算法反饋回來的坐標用于切分圖像。Faster-RCNN是任少卿等在2015年Fast-RCNN基礎上作進一步改進的算法[13]，在Fast-RCNN基礎上添加了RPN網絡。RPN網絡生成的候選框也較YOLO與SSD的更精準[14]。雖然Faster-RCNN算法的檢測速度較慢，但目標檢測的位置更精準，能為之后的圖像分割奠定更好的處理條件。因此選用Faster-RCNN作為目標檢測的算法。Faster-RCNN網絡結構如圖2所示。

圖2 Faster-RCNN結構簡圖Fig.2 Schematic diagram of Faster-RCNN

種蛋的熱圖像總拍攝數量為450張，種蛋個體熱圖像數量約為13 500張(平均每個熱圖像中約有30個種蛋)，由于種蛋作為目標對象與背景差異較大，且形狀較單一，特征較明顯，因此選用較少樣本訓練網絡即可達到較好的效果。采用隨機選取的200張種蛋熱圖像，約6 000個種蛋個體熱圖像作為訓練集，余下的作為測試集。

經過訓練后的網絡，根據模型得出的預測坐標，將熱圖像中的種蛋進行轉換計算并切分，并將切分出的種蛋圖片重新調整為30×30像素的大小，用作下一步的圖像分割。

1.5 種蛋圖像分割算法

種蛋的分割，目的是為了二值化切分后的種蛋圖像，從而計算氣室與種蛋總體的大小。首先需灰度化切分后的種蛋熱圖像，灰度化的效果直接影響著分割效果。由于種蛋在孵化箱中溫度相對恒定且較周圍環境溫度高，可嘗試多通道灰度化進行對比。

圖3 切分流程圖Fig.3 Flow chart of segment

圖4中為隨機選取的5張種蛋圖，分別使用默認值、R通道、G通道以及B通道進行灰度化。受熱紅外偽彩選擇的影響，種蛋的熱圖像色調主要以暖色調為主，因此B通道的種蛋灰度圖較暗，且種蛋輪廓不明顯，無助于分割。R通道的種蛋灰度圖雞蛋輪廓明顯，但背景中蛋框也得到了增強，增加了與種蛋混淆的概率，且種蛋氣室輪廓丟失嚴重，也不適用于分割。G通道保留的信息較多，與默認的灰度化效果較接近，雖然G通道的種蛋氣室顏色稍加明顯，但G通道的氣室邊緣出現不規則現象，因此最終使用默認通道作下一步的分割。

圖4 多通道灰度化(a)：默認灰度化；(b)：R通道；(c)：G通道；(b)：B通道Fig.4 Multi-channel grayscale(a)：Default grayscale；(b)：R channel； (c)：G channel；(b)：B channel

分割種蛋的方法先使用Otsu算法作嘗試，通過選定閾值分割圖像，為了適應各種條件的分割狀況，采用自適應分割的方式。結果如圖5所示。

圖5 Otsu算法分割圖(a)：種蛋熱圖像；(b)：默認灰度化圖；(c)：自適應閾值Fig.5 Otsu segment(a)：Thermal image of breeding eggs；(b)：Default grayscale； (c)：Otsu algorithm

由Otsu算法的結果可看出，自適應閾值的方法效果較差，分割結果存在蛋框，氣室的輪廓形狀走形，如果切分的種蛋熱紅外圖中存在相鄰的種蛋，也會被分割出。這些缺陷并非能使用傳統的圖像處理來應對這種復雜的情況。為了能適應這種多變的情形，本工作采用BP神經網絡的方法進行圖像的分割。

BP神經網絡在機器學習中，屬于監督學習類型的算法，監督學習是通過標注樣本來擬合模型，具有較好的預測能力。BP神經網絡由輸入層、隱含層以及輸出層構成，通過誤差反向傳播訓練網絡。先前提到的RPN網絡也用到反向傳播算法進行訓練。

圖6 BP神經網絡結構圖Fig.6 Structure of BP neural network

BP神經網絡的圖像分割就是使用預先分割完成的掩膜文件進行訓練。將種蛋熱紅外圖灰度化后，再轉換為900維的向量輸入網絡，輸出也為900維且只有是0與1的向量，將輸出的向量轉換為uint8的數組，再轉化為圖片完成分割。

2 結果與討論

2.1 種蛋熱圖像目標檢測結果

對于Faster-RCNN模型的訓練，先要對模型的超參數進行測試調整。平均精度均值(mAP)是用于衡量目標檢測模型訓練效果的常用指標。mAP的公式為

(1)

式中，APone_class表示某一類別目標檢測對象在所有圖片中的精度均值；Nall_classes表示所有類別目標檢測對象的數量。本工作的目標檢測對象只有一種，因此mAP的值與AP相等。

學習速率和動量系數的選取對模型最終的mAP有很大的影響。通過選取較常用的幾組學習速率和動量系數[15]進行優化。初始學習速率選擇0.1，0.01，0.001以及0.000 1,動量系數選擇0.5，0.9和0.99。調參測試結果如表2所示。

表2 學習速率與動量系數組合調參表Table 2 Learning rate and momentum coefficient

先在不加入動量系數的情況下，測試不同的學習速率對mAP的影響。在初始學習速率為0.1時，模型的損失函數值大幅度震蕩，無法收斂。初始學習速率為0.000 1時，損失函數收斂過慢，易陷入局部最小值或在一定的迭代次數中收斂過慢而導致模型效果較差，mAP值僅為68%。當初始學習率調整為0.01與0.001時，兩者的mAP值分別為96%與97%，兩者都擁有較好的收斂效果。通過不加入動量系數的條件下測試，確定以0.001作為初始學習率。三種動量系數經過調試后，mAP值并未有太大的變化，從小數點后幾位觀察得知，當動量系數為0.99時，效果最好。

通過測試確定了初始學習速率為0.001，動量系數為0.99后，對模型進行測試。使用tensorboard可視化工具觀測損失函數值的變化趨勢。

總損失函數值是RPN網絡與Fast-RCNN各自分類與回歸的損失函數值之和?？倱p失函數值可以反映兩個網絡整體的收斂狀況。兩者的損失函數值用于各自網絡的訓練。由圖7可知，在迭代到7 000次左右時，總體的損失函數值趨于穩定。

圖7 總損失函數值趨勢圖Fig.7 Trend of total loss function

圖8為測試集種蛋的檢測結果圖。選框的左上角標示了置信度。由圖可知，整個雞蛋盤中的雞蛋基本都可較準確的檢測出雞蛋的位置并正確的分類。

圖8 種蛋檢測結果圖Fig.8 Result of eggs detection

2.2 種蛋熱圖像分割結果

由目標檢測的結果可得到分割后的種蛋個體熱圖像，經過變形處理后，大小變為30×30像素。由前面分析可知，Otsu算法具有局限性，分割的結果存在嚴重的背景干擾與氣室輪廓走形的問題，因此使用BP神經網絡進行分割。

準備的掩膜文件有240張，其中180張作為訓練集，60張作為測試集。種蛋個體熱圖像在輸入BP網絡前，先進行灰度化處理，用默認的方式灰度化。對BP神經網絡進行優化。通過F度量來綜合評判神經網絡的訓練效果。F1度量是一種結合召回率與精準率的評判分類算法效果的指標。BP神經網絡的圖像分割算法本質是對每個像素點進行0或1的分類。F1度量的公式為

(2)

式(2)中，P為精確率，表示在混淆矩陣中，分類器將像素點判斷為1的數量的正確個數；R為召回率，表示在混淆矩陣中，所有值為1的像素點中，分類器判斷正確的個數。

隱藏層的優化結果如表3所示。在表中隱藏層結構的欄中，是以數字與逗號結合的形式表示神經網絡的結構，數字表示隱藏層的神經元數量，逗號表示分層，如“1 000,3 000,1 000”表示三層隱含層，每一層的神經元數量分別為1 000，3 000與1 000。

表3中，網絡先以初始學習率為0.000 1，迭代次數為1 000進行調參。在網絡達到3層時，BP網絡的效果基本達到了穩定，神經元再增加時，F1度量變化不大，甚至出現下降的狀況。為使訓練過程加快，選擇“1 000，1 000，1 000”作為最優結構。

表3 BP神經網絡隱藏層優化表Table 3 Hidden layers’ optimization of BP neural network

確定網絡的結構后，再對初始學習率與迭代次數進行優化。試驗使用自適應學習方式進行優化，且同樣使用F1度量作為網絡的效果評估。

對BP網絡的超參數優化，先使用固定1 000次的最大迭代優化初始學習速率。由表4可知，初始學習速率為0.000 1時，BP網絡的結果最好，因此選定0.000 1作為初始學習速率。再固定學習率，調試最大迭代次數，當迭代次數為500時，網絡的效果開始趨于穩定。所以，超參數的最終優化結果為初始學習率為0.000 1，最大迭代次數為500。

表4 BP神經網絡超參數優化表Table 4 Hyperparameters’ optimization of BP neural network

圖9為部分種蛋熱圖像的分割結果。第三列由BP神經網絡分割的圖像與第二列的Otsu算法相比，明顯少了包括來自臨近的種蛋(第二行與第四行)與孵化托盤的干擾。BP神經網絡所得到的氣室形態與大小更接近原本熱圖像。

為更直觀的解釋算法的效果，采用F1-Measure作為分割效果的指標，用兩種算法作對比。從測試集隨機抽取不同狀態的30張種蛋熱紅外圖作對比。由Faster-RCNN的切分結果看，有部分種蛋的切分圖中，存在部分相鄰種蛋，如圖9中的第二行與第五行。因此將有無相鄰蛋干擾作為兩種情況分開對比。對比結果如表5所示。

圖9 部分種蛋熱圖像分割圖(a)：種蛋熱圖像；(b)：Otsu算法；(c)：BP神經網絡Fig.9 Some segment of egg’s thermal images(a)：Thermal images；(b)：Otsu algorithm； (c)：BP neural network

表5中，使用Otsu算法在處理不同圖像狀況中，相差約7%，而BP神經網絡在作兩種圖像狀況的分割時，兩者結果十分相近，基本做到了排除臨近蛋的干擾。從總體算法效果的評估結果來看，BP神經網絡的算法效果為87.02%，遠優于效果為65.25%的Otsu算法。

表5 算法的分割效果對比Table 5 Comparison of algorithms for segment

2.3 種蛋氣室面積計算

從BP神經網絡得出的分割圖是一個只含0和1數字的矩陣，通過連通區域的檢測將種蛋的整體與氣室分離。在實際的設備中，孵化托盤高低、紅外鏡頭的高低和雞蛋大小等因素都會影響種蛋熱圖像中得出的氣室大小，因此要將氣室大小進行歸一化處理后求出氣室面積的相對大小。從俯視的角度看，種蛋的氣室大小總是小于整蛋的大小，因此歸一化的方式是選擇用氣室的大小除以整個種蛋的大小。

圖10左方的圖為分割的結果通過計算種蛋整體與氣室分離圖中等于1的像素點數量，來表征種蛋整體與氣室的大小，再對氣室進行歸一化。歸一化表達式如式(3)所示。

圖10 種蛋整體與氣室分離圖Fig.10 Segment’s images of egg and air cell

(3)

式(3)中，Nair為種蛋氣室分離圖像素值等于1的總數量；Negg為種蛋整蛋分離圖像素值等于1的總數量。

2.4 種蛋氣室測量試驗

種蛋試驗從種蛋孵化的第5天開始，孵化時間持續20 d，期間通過熱像儀記錄并觀察氣室的大小變化情況，在第20天停止采集種蛋的熱圖像。種蛋在孵化的過程中，氣室會不斷變大。

由圖11可知，實驗中種蛋氣室會隨著天數的推移而變大，且不同雞蛋個體氣室的大小差異隨著天數的增加而不斷減小。在圖中可觀察出，數據結果表征所有蛋的氣室大小并非完全是每天都在變大，這可能是受到拍攝角度和熱像儀的性能影響，但從另一個角度說明樣本的豐富度也增加了。氣室是一個立體的空間，會受到拍攝角度的影響，另一方面，熱像儀的性能會導致種蛋熱圖像中的氣室部分像素不清晰的現象，影響到算法的分割結果。在實際運用中，種蛋孵化的監測將是以全自動化高精度裝置的形式運作，會減少上述問題帶來的影響。

圖11 種蛋氣室變化Fig.11 Change of air cell size

此外，隨機選取了20個種蛋作人工測量計算面積系數，并與熱紅外圖像的面積系數作相關性分析。

如圖12所示，使用人工測量法的結果與熱紅外測量法的相關性系數R2=0.934 3，擁有較好的相關性。但依然存在著部分誤差，原因有可能是因為人工測量誤差與算法生成的誤差造成的。

圖12 人工法與熱紅外法氣室面積系數相關性分析Fig.12 Correlation between the artificial measured value and thermal-image measured value

3 結 論

探索研究出的種蛋氣室大小監測算法，可有效地排除來自托盤背景和相鄰雞蛋的干擾，且可以較好地提取出種蛋氣室的大小。從氣室監測試驗中表明該算法可有效反映出種蛋氣室變大的趨勢，用人工測量法與熱紅外測量法的結果也有著較好的相關性，為后期種蛋氣室的數據分析工作提供了數據基礎。目前算法還存在數據量較少的缺陷，因此在后續試驗中會不斷擴充訓練樣本而完善模型。對于種蛋的氣室分割算法也可作進一步的優化，如使用卷積提取特征[16]、結合啟發式算法[17]進行優化等。而對于后期的數據挖掘分析工作，可將種蛋的溫度特征等數據作進一步分析。