基于弱監督數據集的豬只圖像實例分割

王海燕 江燁皓 黎 煊 馬云龍 劉小磊

(1.華中農業大學深圳營養與健康研究院, 深圳 518000; 2.中國農業科學院深圳農業基因組研究所, 深圳 518000;3.華中農業大學信息學院, 武漢 430070; 4.嶺南現代農業科學與技術廣東省實驗室深圳分中心, 深圳 518000;5.農業農村部智慧養殖技術重點實驗室, 武漢 430070; 6.農業動物遺傳育種與繁殖教育部重點實驗室, 武漢 430070)

0 引言

隨著生豬養殖規模增大,現代化養殖技術對其幫助越發重要。利用人工智能技術豐富我國智慧農場解決方案,研發生豬養殖過程中的豬只信息智能感知、個體精準飼喂、養殖環境智能調控等核心技術與裝備,正成為推動我國生豬養殖業健康發展的關鍵因素[1-3]。近年來,深度學習的興起不斷推動計算機視覺技術發展,研究者將深度學習引入到豬場豬只個體識別跟蹤、姿態行為分類及體尺體重測量等任務中,取得了令人滿意的效果[4-13]。

在豬只計數、行為識別、體重體尺測量等任務中,首要任務都是將豬只從圖像中分割出來。目前,以深度學習為基礎的圖像實例分割正逐漸取代傳統的機器學習前景背景分離算法,被應用到多數研究中。李丹等[14]通過訓練神經網絡模型,分割得到圖像中豬只的面積以識別豬只爬跨行為;胡云鴿等[15]通過人工標注1 900幅圖像制作數據集,在Mask R-CNN[16]中的特征金字塔[17](Feature pyramid network, FPN)模塊,使用輪廓邊緣特征連接高層特征,極大提升了豬只邊緣模糊目標識別的效果,并且能夠滿足單欄飼養密度為1.03～1.32頭/m2的養殖場的豬只盤點需求。上述研究證明,圖像實例分割在智能化養殖產業所起的作用越發重要。

由于需要對圖像的深層語義信息進行提取并預測,因此實例分割不僅需要大量的圖像用于神經網絡訓練,還需要訓練樣本擁有像素級別的掩碼信息(需要進行精細的標注)。而在豬只圖像實例分割任務中,制作一個強監督(像素級標注)的數據集相當耗費人力,特別是圖像中豬只個數多、產生堆疊、光照、噪聲等因素影響,都會對精細標注效率產生影響[18]。因此,擺脫對高質量數據集的需求,正在成為分割領域研究的重點工作之一。當前,已有研究人員提出弱監督學習的概念[19],通過使用弱監督數據集,即采取粗糙標注的方式制作的數據集,通過改變神經網絡對特征信息的處理模式,減少圖像實例分割對像素級信息的過分依賴。國內現在已有針對農業領域使用弱監督學習方法的研究,趙亞楠等[20]提出基于邊界框掩碼的深度卷積神經網絡,通過引入偽標簽生產模塊,用低成本的弱標簽實現玉米植株圖像實例分割;黃亮等[21]結合RGB波段最大差異法,實現對無人遙感燈盞花的弱監督實例分割。上述研究方案在節約數據集標注成本的同時,還取得了較高的精度,這也證明了弱監督圖像實例分割在豬只養殖等智能化農業領域具有很大的研究和應用價值。

為了解決豬只圖像實例分割中制作強監督數據集耗時耗力的問題,本文使用粗糙標注的方法構建弱監督數據集;從優化圖像特征提取和處理過程,以此提升弱監督實例分割效果的角度出發,結合第2代可變形卷積、空間注意力機制和involution算子,提出新的特征提取骨干網絡RdsiNet;通過使用Mask R-CNN分割模型進行訓練,以驗證RdsiNet網絡改進的有效性;最后使用僅需邊界框作為監督信息的BoxInst[22]弱監督實例分割模型訓練數據集,以本文的RdsiNet作為特征提取骨干網絡,在進一步驗證RdsiNet有效性的同時,提升豬只的分割效果。

1 弱監督數據集構建及分析

1.1 數據集構建

弱監督實例分割(Weakly supervised instance segmentation)是一種使用較少的監督信息進行訓練的實例分割方法。通常只需要圖像級別的標簽,而不需要每個像素的精確標注,根據標注方式的不同可以細分為無監督、粗監督、不完全監督等類型[23],分別對應無標注、粗糙標注和部分標注的數據集制作方法?？紤]到豬舍豬只不斷運動的特性,其分幀后得到的圖像會帶有豬只的行為信息,不同圖像中同一豬只的空間信息對于實例分割神經網絡模型有著重要的意義。因此,為了能為神經網絡模型提供更有效的特征區域和空間信息,同時減少每幅圖像的標注時間,本文采取粗糙的輪廓標注框作為數據集的標注方式。

LU等[24]針對豬只圖像分割研究,制作了一個規模較大的數據集(包括訓練集15 184幅圖像,驗證集1 898幅圖像,測試集1 900幅圖像);該數據集圖像由公開的豬場監控視頻分幀而成[25],本文對其進行篩選,選取其中10～18周齡且處于同一場景下的7頭豬只的監控視頻圖像,共選出17 980幅豬只圖像作為本文研究的原始數據。其后本文使用Labelme軟件,對此原始數據所有圖像進行基于弱監督的粗糙的輪廓標注(共標注17 980幅)。像素級標注要求標注框緊密貼合豬只身體輪廓,并且給不同的豬只打上專屬的編號,每幅圖像耗時約10 min。圖1為本文采用的粗糙標注方式的標注效果,和逐像素方式相比,標注框不再呈現豬只背部的幾何結構,而是以圖1b所示的多邊形直接覆蓋豬只,每幅圖像只需2 min就可以完成標注,比起逐像素方式工作效率提高了5倍,大大節約了標注時間成本。最后在進行神經網絡模型訓練之前將所有標注圖像進行訓練集、驗證集、測試集的劃分,劃分比例為8∶1∶1,共得到訓練集14 384幅圖像、驗證集1 798幅圖像和測試集1 798幅圖像。

圖1 粗糙輪廓標注樣式展示Fig.1 Display of rough contours annotation style

1.2 數據集分析

盡管粗糙的輪廓標注可以極大地節約數據集制作時間成本,但是其提供的低質量的真值標簽,在實例分割神經網絡訓練過程中,會造成網絡學習性能的下降。尤其在神經網絡反向傳播的過程中,一方面標注框同時包含分割實例和背景信息,會導致某些權重的梯度異?；蚴窍陆捣较蝈e亂,造成梯度稀疏、混淆等問題[25];另一方面,逐像素的標注框能為神經網絡提供更多特征信息,而粗糙的標注框卻無法做到,甚至會提供錯誤的特征信息,最終影響訓練結果[26-28]。

2 豬只實例分割模型改進

2.1 特征提取主干網絡改進

2.1.1引入第2代可變形卷積

因為粗監督數據集的標注框不貼合豬只,這會導致標注框內同時包含背景像素值和豬只的像素值,且這兩種像素值差距較大,在神經網絡反向傳播過程中,會影響網絡對豬只邊緣信息的優化過程。為解決此問題,本文從特征提取角度出發引入可變形卷積,在特征提取過程中將更多的背景像素加入特征圖中,擴大網絡感受野。第1代可變形卷積由DAI等[29]提出,通過在傳統卷積操作中引入偏移量概念,將傳統卷積核由固定結構變為發散性結構,從而擴大特征提取的感受野,其特征值計算公式為

(1)

式中p0——特征圖中進行卷積的采樣點

y(p0)——卷積輸出的特征值

pn——采樣點在卷積核范圍內的偏移量

w(pn)——卷積核權重

x(p0+pn+Δpn)——加上偏移量后采樣位置的特征值

R——卷積核感受野區域

盡管通過網絡學習偏移量可以增大骨干網絡的感受野,但網絡同時也會通過可變形卷積學習許多無關信息,造成混亂。ZHU等[30]在第1代的基礎上,提出了第2代可變形卷積操作,通過增加一個權重系數Δmpn,增大網絡對于卷積操作的自由度,可以在學習中弱化或舍棄某些無關采樣點權重,計算公式為

(2)

在神經網絡學習的過程中,通過對Δmpn進行賦值,可以對學習到的特征值進行區分,將不需要的特征值舍去。

文獻[31-32]為了解決傳統卷積感受野不夠導致對圖像復雜信息提取能力差的問題,通過引入第2代可變形卷積操作,使得網絡感受野和圖像特征建立變化性關系,使其可以自適應地融合每個像素點相鄰的相似結構信息,進而提高檢測的準確率。因此,本文在骨干網絡中使用第2代可變形卷積,可以使特征圖包含更多背景信息,將網絡感受野擴大以匹配粗監督標注框,減少錯誤信息帶來的影響,網絡通過不斷地迭代和反向傳播,可以提升最終分割效果。

2.1.2空間注意力機制模塊

空間注意力機制由WOO等[33]提出,是一種模仿人眼視覺的一種處理機制。在圖像處理中,空間注意力機制通過生成權值矩陣的方式,對主干網絡所提取的不同特征賦予不同的權重,以此在眾多信息中選取關鍵的部分。如圖2所示,輸入尺寸為H×W×C的特征圖,通過最大池化和平均池化得到尺寸為H×W×1的兩幅特征圖,將這兩幅特征圖按照通道維度拼接,然后再使用7×7的卷積核和Sigmoid函數,得到權重矩陣Ms,計算公式為

圖2 空間注意力機制Fig.2 Spatial attention mechanisms

Ms(F)=σ(f7×7([AvgPool(F),MaxPool(F)]))

(3)

式中F——輸入的初始特征圖

Ms(F)——空間注意力機制得到的權重矩陣

σ()——Sigmoid函數

AvgPool()——平均池化操作

MaxPool()——最大池化操作

將Ms與輸入的特征圖相乘,就為神經網絡模型加入了空間注意力。

俞利新等[34]針對特征圖提取過程中冗余信息過多的問題,通過引入空間注意力機制以減弱源圖像中的冗余信息從而突出目標,并通過消融實驗驗證了該方法的有效性?；诖?本文在骨干網絡中加入空間注意力機制,用于對特征通道中不同特征映射賦予權重,將強有用的特征映射值如豬只輪廓、紋理、顏色等,平均到每個通道特征圖中,擴大其在網絡中的影響因子。

2.1.3involution算子

對于圖像實例分割任務而言,核心思想在于對深層的抽象特征進行語義預測。但是隨著神經網絡層數的加深,骨干網絡會失去大量的空間信息,導致網絡區分不同實例能力不足。尤其對本文所使用的弱監督數據集而言,其中豬只聚集、移動等場景較多,對分割產生的挑戰很大?；诖藛栴},本文在骨干網絡中引入LI等[35]提出的involution算子,區別于傳統的特征提取方式,它將空間各異性和通道共享性作為設計出發點,楊洪剛等[36]為提升神經網絡模型對細粒度圖像的能力,使用involution算子提取了圖像的底層語義信息和空間結構信息進行了特征融合,并驗證了其有效性,其結構如圖3所示。

圖3 involution算子提取特征模式圖Fig.3 Feature pattern diagram extracted by involution operator

假設輸入尺寸為H×W×C的特征圖,對1×1×C的像素點的特征向量作下一步特征提取時,使用卷積操作先將其通道數C壓縮至K2,再將獲得的K2個通道數作為新的大小為K的卷積核;其后將初始的1×1×C特征向量在特征圖中擴展至K×K大小的區域,與上一步中得到的卷積核相乘并相加,得到最終的結果。與卷積相比,involution算子對于具體空間位置的卷積核由該位置的特征向量決定,并且對不同的輸出通道使用相同的卷積核,具有了空間特異性和通道共享性。

本文通過使用involution算子,不僅可以解決深層網絡空間信息丟失的問題,還可以將深層的語義信息和特征通道中被賦予空間注意力的信息連接,加強網絡對于豬只圖像分割的學習,提升分割的精度。

2.1.4RdsiNet特征提取骨干網絡結構

本文提出的RdsiNet骨干網絡結構如圖4所示,其中藍色虛線框中展示了本文通過對傳統殘差塊加入空間注意力機制和involution算子后得到的殘差-空間注意力機制模塊和殘差-involution模塊。參考ResNet-50[37]中3、4、6、3層的殘差模塊分布概念,在ResNet-50的殘差結構后加入空間注意力機制,提出殘差-空間注意力模塊,作為新的特征提取模塊,并且在Layer1中串聯使用3塊。在Layer 2和Layer 3中,將第2代可變形卷積加入殘差-空間注意力模塊,替代原本3×3卷積操作,分別使用4塊和6塊;最后,將ResNet-50殘差模塊中的3×3卷積操作替換為involution算子,構建殘差-involution模塊,在Layer 4中同樣串聯3個此模塊。

圖4 RdsiNet骨干網絡結構Fig.4 Structure of RdsiNet backbone network

2.2 實例分割網絡模型

2.2.1實驗分割模型選擇

為驗證RdsiNet骨干網絡的有效性,本文選取兩種實例分割模型進行訓練:需要像素級掩碼標注進行訓練的Mask R-CNN;僅需要邊界框標注進行訓練的弱監督實例分割模型BoxInst。

由于本文標注的掩碼標簽(Mask label)無法為Mask R-CNN提供準確、高質量的掩碼監督信息(Mask ground truth),因此最終的實例分割效果不如逐像素標注的效果,但另一方面,這也更能反映不同骨干網絡對于豬只圖像的特征提取能力,因此本文使用Mask R-CNN以驗證本文所提RdsiNet骨干網絡的有效性。

2.2.2Mask R-CNN分割模型

圖5展示了本文使用的RdsiNet的設計結構和Mask R-CNN實例分割模型的訓練過程。圖5a是第2代可變形卷積的實現過程,其發散性的特征提取方式擴大了網絡的感受野,用于Layer2和Layer3層。圖5b是豬只的輪廓紋理特征圖像,圖5c是RdsiNet網絡特征提取過程中不同特征通道的圖像展示結果,通過將輪廓紋理特征矩陣平均加至不同的特征通道內,實現增加實例分割模型對豬只輪廓的注意力,用于Layer1、Layer2和Layer3層。圖5d展示了由特征圖上某一點像素的不同特征通道所生成的卷積核,將其與該像素相乘并相加,實現特征通道和圖像像素的交互,用于最后一層(Layer4層)。

圖5 Mask R-CNN分割模型訓練框架Fig.5 Framework of Mask R-CNN

Mask R-CNN是一種基于像素級掩碼標注的全監督實例分割模型,其分割模型步驟如圖5所示,通過對RdsiNet提取的特征圖進行感興趣區域(ROI)和RoIAlign操作,在特征圖上生成感興趣空間并將其與輸入圖像像素區域對齊,之后對空間內物體進行類別、邊界框和掩碼的預測及損失函數(包括Losscls、Lossbox、Lossmask)的反向傳播,最終經不斷迭代完成訓練。

2.2.3BoxInst分割模型

BoxInst是一種基于邊界框標注(Bounding box)的弱監督實例分割模型,主要由骨干提取網絡、FPN層、共享Head層(Controller Head)和Mask預測分支(Mask Branch)組成,其僅需使用邊界框的標注(Box label)作為監督信息去訓練實例分割網絡。本文使用RdsiNet作為BoxInst特征提取骨干網絡,并通過FPN加強對不同尺度實例的學習能力。而對于掩碼預測部分,這個過程由2個分支組成,分別為共享的Head層和Mask預測分支。共享Head層用來預測實例及其最小外接框,Mask預測分支則用來對預測的外界框內所有像素進行前景背景預測,最終實現物體的分割。如圖6所示,BoxInst采用動態卷積的思想對每一個實例編碼,通過共享Head層,對不同尺度特征圖進行實例預測,獲取每個實例的類別及動態生成其Controller參數;而在Mask預測分支中,將FPN層得到的特征圖和每個實例的相對位置相加輸出為總特征圖,將共享Head層得到的每個實例參數分別作用在總特征圖上以生成不同的掩碼預測區域,并預測其邊界框和掩碼。在獲取實例邊界框后,一方面通過對邊界框的左上角和右下角頂點坐標值進行反向傳播,如圖6所示,提升邊界框的精準度;另一方面計算其內部所有像素之間的相似性,引入如圖6所示的相鄰像素顏色相似度(pairwise)屬性關系進一步約束前景、背景像素,并使用Lab色彩空間下顏色的相似度作為真實標簽,對不同的像素進行聚類,最終實現不依靠標注的掩碼監督信息實現實例分割;其中Lproj表示邊界框兩個頂點坐標的損失值,而Lpairwise表示掩碼的損失值,其中邊界框的損失值由數據集提供的邊界框標注計算,而掩碼損失值由模型迭代過程中通過學習到的像素間顏色關系計算得到。

圖6 本文BoxInst分割模型訓練框架Fig.6 Framework of BoxInst segmentation model

3 實驗與結果分析

3.1 實驗環境

本文基于Mmdetection框架進行實驗,使用的核心計算顯卡為2塊GeForce GTX 2080Ti,顯存為22 GB,顯卡驅動CUDA版本為10.1,Python版本為3.7.13,Pytorch版本為1.7.1,mmcv版本為1.5.0,mmdet版本為2.25.2。

3.2 實驗參數設置

實驗過程中模型訓練輪數為12輪,學習率設為0.001,采用AdamW優化器,權重衰減(weight_decay)設為0.05。

3.3 模型訓練損失值曲線

Loss函數是評價模型性能的主要指標之一,其可以反映模型訓練過程中的穩定性和衡量模型。圖7為使用RdsiNet作為特征提取網絡的Mask R-CNN和BoxInst的loss函數曲線,可以看出,隨著訓練輪數的增加,兩種模型損失值都呈現平穩下降趨勢,且曲線平滑,在迭代了10 000次后逐漸趨于收斂,這表明RdsiNet骨干提取網絡設計合理,訓練時間和成本可控,具有較強的魯棒性。

圖7 Mask R-CNN和BoxInst訓練Loss曲線Fig.7 Loss curve graphs of Mask R-CNN and BoxInst

3.4 模型訓練結果

3.4.1Mask R-CNN訓練結果

對于Mask R-CNN實例分割模型,本文分別使用ResNet-50、GCNet[38]、RegNet[39]、ResNeSt[40]、CotNet[41]和提出的RdsiNet骨干網絡進行實驗,實驗結果如表1所示。在實驗效果評估中,使用mAPBbox和mAPSemg評價回歸的邊界框和豬只分割精度。

表1 不同骨干網絡訓練結果對比Tab.1 Comparison of different backbone network training results

平均精度均值(mAP)指所有類的平均精度(AP)的平均值,用來衡量多類別目標檢測效果。表1顯示,本文改進后的骨干網絡具有最高的mAPBbox和mAPSemg值,分別為93.4%和88.6%。同GCNet、ResNeSt和CotNet相比,以更少的參數獲得了更好的實例分割效果,而對比ResNet-50,在小幅提升參數量的情況下,mAPBbox和mAPSemg獲得了較大的增益,體現了RdsiNet骨干網絡的優越性。

3.4.2Mask R-CNN分割模型測試圖像

為進一步驗證RdsiNet的效果,本文分別使用參數量低于4×107的4種骨干網絡進行模型分割效果測試,圖8為在豬只扎堆、粘連等條件下,ResNet-50、GCNet、RegNet和RdsiNet骨干網絡在Mask R-CNN分割模型下的圖像測試效果。對比 4種骨干網絡下圖像分割效果可以看出,ResNet-50、GCNet、RegNet對于豬只聚集情況,均無法準確提取有效空間信息,以輔助分割模型判別豬只實例個數及空間位置,造成大量錯檢等問題;而本文所提出的RdsiNet網絡,明顯具有更強的特征提取能力,且可以準確判斷聚集條件下豬只實例個數,主要體現在特征提取和處理的過程中:擴大感受野、為特征信息添加注意力、將深層語義信息和通道特征交互連接,可以更好地定位圖像實例,增強分割模型對圖像的學習能力。

圖8 Mask R-CNN模型中4種骨干網絡分割效果對比Fig.8 Comparison of segmentation effects of four backbone networks of Mask R-CNN

3.4.3BoxInst訓練結果

由于Mask R-CNN必須依靠像素級的掩碼信息進行反向傳播,才能得到優秀的實例分割效果,3.4.2節同樣說明了盡管RdsiNet骨干網絡改善了特征提取的過程,但最終測試圖像中掩碼仍較為粗糙?；诖?考慮到本文制作的數據集可以提供準確的邊界框信息,因此再次使用僅需邊界框作為監督信息的BoxInst實例分割模型訓練此數據集。

表2展示了基于BoxInst分割模型,ResNet-50和RdsiNet骨干網絡的參數,由于BoxInst只使用邊界框作為監督信息,因此測試數據集中只計算mAPBbox來衡量模型的性能。如表2所示,RdsiNet的mAPBbox較ResNet-50提升2.2個百分點,達到89.6%,這說明使用RdsiNet骨干網絡的BoxInst對于邊界框的預測更加精準。

表2 2種骨干網絡訓練結果對比Tab.2 Comparison of results by using two backbone networks

為進一步測試BoxInst分割模型的分割效果,本文在測試集中隨機抽取了50幅圖像,進行了像素級掩碼標注,將標注掩碼作為真值,同模型預測的掩碼求不同閾值下的交并比,以此計算mAPSemg。計算結果如表2所示,RdsiNet的mAPSemg為95.2%,遠高于ResNet的76.7%,這體現了BoxInst分割模型下,RdsiNet不僅分割效果更好,且具有更好的魯棒性。

3.4.4BoxInst分割模型測試圖像

圖9展示了BoxInst弱監督實例分割模型在ResNet-50和RdsiNet骨干網絡下最終的測試圖像,可以明顯看出,BoxInst分割模型在RdsiNet骨干網絡下具有更好的分割效果,其掩碼不僅緊密地貼近豬只輪廓,呈現明顯的豬只幾何形狀,而且在豬只移動的不同場景下依舊可以完美分割。而ResNet-50的圖像分割效果出現較多問題,包括掩碼過度覆蓋、豬只漏檢等,這說明本文所提出的RdsiNet骨干網絡對于提升弱監督實例分割效果具有很大的作用。

圖9 BoxInst下兩種骨干網絡分割效果對比Fig.9 Comparison of segmentation effects of two backbone networks of BoxInst

3.5 消融實驗

3.5.1實驗結果對比

本文使用ResNet-50骨干網絡、添加空間注意力機制和第2代可變形卷積操作的ResNet-50網絡以及本文提出的RdsiNet骨干網絡,在Mask R-CNN分割模型上進行消融實驗,表3是消融實驗的結果。上述3種網絡分別表示為ResNet-50、ResNet-50+SPA+DCN和RdsiNet。如表3所示,空間注意力機制和第2代可變形卷積對圖像實例分割效果的提升具有重要作用,額外增加involution算子之后的RdsiNet骨干網絡相比較原始的ResNet-50,mAPBbox和mAPSemg提升4.2、4.8個百分點,總計達到93.4%和88.6%。實驗結果表明involution算子不僅可以提升模型的性能,還可以大幅降低網絡參數。表3中的數據表明,本文提出的骨干網絡在提升分割精度的同時,還將參數量控制在合理范圍內,以較低的代價換取了更好的性能。

表3 消融實驗骨干網絡結果對比Tab.3 Comparison of backbone performance in ablation experiments

3.5.2類激活圖

由于神經網絡具有不可解釋性,因此很難從正向推導的方式去判定不同特征提取方式的作用。但特征圖的權重可以認為是被卷積核過濾后而保留的有效信息,其值越大,表明特征越有效,對網絡預測結果越重要?；诖?本文使用Grad-CAM[42]對輸入圖像生成類激活的熱力圖,如圖10所示,顏色越深紅的地方表示值越大,其值越大,表明特征越有效,表示原始圖像對應區域對網絡的響應越高、貢獻越大,對網絡預測結果越重要。對比消融實驗中3個骨干網絡的類激活圖,可以看出增加了第2代可變形卷積核空間注意力機制后,網絡感受野明顯增大,但無法做到對豬只有效范圍的提取精度;而增加了involution算子的RdsiNet網絡不僅具有更大的感受野,而且其紅色范圍更加準確,進一步證明了其對有效特征提取的準確度較高。

圖10 3種骨干網絡類激活圖Fig.10 Heatmaps of three backbone networks

4 結論

(1)提出使用弱監督學習的方法進行豬只圖像實例分割,制作粗糙輪廓標注的弱監督數據集,解決了逐像素標注數據集過程中具有的時間成本高、效率低、標注難等問題。同時,為解決弱監督會造成網絡學習性能下降的問題,使用第2代可變卷積、空間注意力機制和involution算子搭建RdsiNet特征提取骨干網絡,在對圖像進行特征提取和處理的過程中,擴大網絡感受野、加強重要特征信息和解決深層網絡空間信息丟失問題,并且將骨干網絡深層中提取出來的抽象語義信息和特征映射相連接,優化了豬只圖像實例分割的效果。通過消融實驗驗證了RdsiNet骨干網絡在弱監督數據集上的有效性。

(2)基于Mask R-CNN分割模型,將ResNet-50、GCNet、RegNet、ResNeSt、CotNet和本文提出的RdsiNet骨干網絡做對比實驗,RdsiNet取得了最高的mAPBbox和mAPSemg,分別為93.4%和88.6%,比ResNet-50分別提高5.6、5.5個百分點。在分割測試圖像方面中,RdsiNet同樣具有最好的表現,尤其在豬只堆疊、模糊的情況下, RdsiNet比ResNet-50具有更好的空間位置特征提取能力;最后通過使用消融實驗和類激活圖進一步驗證了RdsiNet構建的合理性和有效性。

(3)為進一步改善分割效果,使用基于邊界框作為監督信息的BoxInst實例分割模型,分別使用ResNet-50和RdsiNet骨干網絡進行訓練。對比之下,RdsiNet不僅有更高的mAPBbox和mAPSemg,且具有更好的分割效果,同樣表明了RdsiNet在圖像特征提取過程中的優勢,可以為豬只體重預測、個體識別跟蹤等任務提供參考。