彩椒采摘機器人研究現狀與展望

王周宇

（廣東省現代農業裝備研究所，廣東 廣州 510630）

0 引言

近年來，我國設施園藝發展迅速。截至2019年，我國設施園藝面積達370 萬hm2，是世界設施園藝面積最大的國家，設施園藝成為許多省市農業中的支柱產業和農民致富的主要途徑[1-2]。辣椒作為設施園藝的主要種植對象之一，其全球總產量已超過6 000 萬t，是世界上排名第3 的蔬菜作物[3]，20 世紀90 年代我國引進彩椒品種，因其果形大，果皮光滑，色彩鮮艷，口感甜脆，適合鮮食，營養價值高，抗病性好等特點受到廣大國民的青睞，彩椒也是我國設施農業種植面積較大的品種之一[4-6]。如今我國的彩椒種植在收獲階段基本上還是依靠人工完成。彩椒人工采摘工作量大、勞動強度高，需要大量勞動力，采摘環節勞動力的使用量占整個生產過程中勞動力使用量的40%～50%[7-8]。我國由于勞動力高齡化和大量青壯年勞動力流向非農行業，導致農業勞動力資源緊缺，勞動力成本驟升，彩椒人工采摘成本占其全生產成本的33%～50%[9]。隨著人口老齡化及農業勞動人口的減少，進行彩椒智能采摘機器人開發，對于降低勞動力成本，提高彩椒產業利潤具有重要意義。

1 國內外研究現狀

彩椒采摘機器人研究涉及應用機器視覺識別、機械臂路徑規劃與避障、人工智能、機器人控制以及自主導航等多項高新技術[10-15]。彩椒采摘機器人通常由整機結構、控制系統、末端執行器、視覺識別系統等重要部分組成。

1.1 彩椒采摘機器人整機結構

日本及歐盟的專家和研究院對彩椒采摘機器人的設計研發起步較早。如日本的高知技術大學持續對彩椒采收機器人進行了研究，開發了基于三自由度直角坐標機械臂和剪刀式末端執行器的移動采摘機器人[16]（如圖1a 所示），隨后又針對單支雙株式栽培的彩椒開發了基于多自由度關節式機械臂的彩椒采摘機器人（如圖1b 所示）[17]。歐洲的瓦格寧根大學在2010—2014 年間對彩椒采摘機器人進行了研究與開發工作，其領導開發的彩椒采摘機器人主要由軌道式移動平臺、9 自由度的關節機械臂、ToF相機與彩色CCD 相機組成的視覺系統、以及末端執行器組成，并開發了Crops 彩椒采摘機器人（如圖1c 所示），2015—2018 年瓦格寧根大學又開發了Sweeper 彩椒采摘機器人[18-19]（如圖1d 所示）。澳大利亞昆士蘭科技大學[20]（如圖1e 所示）和以色列本古里安大學[21]（如圖1f 所示）等也進行了基于UR多關節機械臂的新型彩椒采摘機器人的開發。

圖1 國內外彩椒采摘機器人整機實物

1.2 彩椒采摘機器人控制系統

采摘機器人涉及到多種傳感器信息以及多種執行元件，一般采用主從控制模式協調控制眾多的傳感器和執行元件。主從控制模式的控制系統分上位機和下位機，通常由1 臺上位機和多臺下位機組成。上位機主要負責系統的整體控制，進行任務規劃，協調各個下位機的功能，上位機同時部署有需要大的運算能力的功能，比如視覺識別程序以及機械臂路徑規劃算法等。各個功能模塊的控制系統作為系統的下位機，用于處理上位機發送的任務指令或反饋功能模塊感知到的信息。此類控制模式的系統容易搭建，各個功能模塊的具體功能由下位機實現，上位機僅需專注于整個系統的控制，利于多人協同開發。比如上位機發送指令使末端執行器進行采摘動作，下位機的末端執行器控制系統控制完成末端執行器的動作，比如剪切、夾取等。上位機與下位機一般通過串口、USB、網絡等方式通信。瓦格寧根大學的HEMMING 等人研發的彩椒采摘機器人使用基于x86 的專用電腦的工控機作為上位機，傳感器通過網絡接口或USB 接口與上位機通信，末端執行器及驅動單元通過網絡接口和CAN 總線與上位機通信，對算力有要求的任務如圖像處理等放在另一臺電腦上執行，并通過網口與作為上位機的工控機通信。HEMMING 基于ROS（Robot Operating System，機器人操作系統）系統開發了采摘機器人的控制系統[18]，ROS 是一種分布式的進程框架，實現各個功能的部件作為節點，各個節點之間通過話題、服務互相通信，便于機器人的控制系統開發。

1.3 彩椒采摘機器人末端執行器

彩椒采摘機器人的末端執行器方面，日本高知技術大學的SHIVAJI 等人設計了一款基于熱切割系統的彩椒采摘末端執行器[17]，如圖2 所示，其主要由夾取機構和切割機構組成。夾取架構通過伺服電機驅動齒輪齒條機構從而使槽口板向前或向后運動，槽口板向前移動時夾持桿夾緊以抓取甜椒，槽口板向后運動時夾持桿向兩邊運動從而松開甜椒。切割機構分別使用電弧熱切割系統（EATCS）以及溫度電弧熱切割系統（TATCS），其中EATCS 是在電極兩端加載高壓產生電弧，從而對彩椒果梗進行切割，TATCS 是在金屬線兩端加載電流使金屬線產生高溫從而對果梗進行切割。試驗結果表明通過熱切割采摘的彩椒保鮮時間為15 d，而用剪刀采收的彩椒保鮮時間為5 d，但熱切割時間需要1.5 s，耗時較長。圖3 是末端執行器的實物圖，結構復雜，體積較大，容易與葉子、果莖等部位碰撞。

圖2 日本高知技術大學SHIVAJI 設計的末端執行器

圖3 SHIVAJI 設計的末端執行器實物圖

日本高知技術大學的KITAMURA 等[16]設計的彩椒采摘專用末端執行器為剪刀式如圖4 所示，包括剪刀、平行連桿機構以及驅動機構等部分。剪刀是日常使用的剪刀，方便更換和研磨，從而保持其鋒利性，提高切割成功率。該末端執行器未設計夾持機構，切割后彩椒會直接落到地上，無法實現自動裝籃，且體積較為龐大，容易與葉片和果莖產生碰撞，其試驗也表明，去除了甜椒附近的葉片才能成功采摘彩椒，若不去除甜椒附近的葉片則采摘成功率較低。荷蘭瓦格寧根大學的HEMMING 等[18]設計了2 種溫室彩椒采摘機器人的末端執行器，如圖5所示，分別為唇吸式末端執行器和夾持式末端執行器。唇吸式末端執行器主要由2 個自適應手指、剪刀和末端二次定位系統組成，二次定位系統由ToF相機、彩色相機和LED 燈組成，二次定位系統可以對剪切位置進行定位和微調，形成視覺伺服。唇吸式末端執行器主要由吸盤、2 個唇形刀架、二次定位系統組成，該末端執行器用吸盤固定彩椒果實，再使用唇形切刀將果梗切斷。這2 種末端執行器在自然條件下果實收獲的最高成功率分別為26%和33%，在去除果實附近的葉片后，2 種末端執行器的采摘成功率分別為93%和61%，切割成功率分別為29%和76%，但是這2 種末端執行器體積較大，不夠靈活，在有葉片的情況下采摘成功率較低。

圖4 日本高知技術大學甜椒末端執行器

圖5 瓦格寧根大學設計的甜椒末端執行器

1.4 彩椒采摘機器人視覺識別方法

以色列本古里安大學的E.VITZRABIN 使用Kinect相機搭建了彩椒識別系統，并使用兩個150 W 的鹵素燈進行照明，如圖6 所示。其對比了以高TPR（真陽性率）為目標和以低FPR（假陽性率）為目標的兩種算法，分別使用兩種算法對目標彩椒進行識別和抓取，試驗得到結果是以高TPR 為目標的算法成功抓取率為80%，而以低FPR 為目標的算法成功抓取率為50%，表明以高TPR 為目標的識別算法能更好的提高彩椒采摘機器人的成功抓取率，同時試驗表明，添加鹵素燈作為人工照明并不總能提高識別準確率，特別是當自然光照強烈時，添加人工照明會造成照片過曝，導致識別率下降[21]。日本高知技術大學的S.KITAMURA 等搭建的識別系統如圖7 所示，其由2 臺彩色CCD 相機、1 塊數據采集板和圖像處理程序組成，2 臺彩色CCD 相機平行放置組成雙目視覺系統，從而獲取相機與被測量甜椒之間的距離。S.KITAMURA 等人在左邊的相機周圍安裝了LED 燈，如圖8 所示，限制LED 燈的照明面積使左眼與右眼的圖像處理結果相同，使用白色LED 燈照射彩椒時，彩椒與彩椒葉子的色調具有明顯不同，如圖9 所示，利用這種差異，在HSI 顏色空間下將彩椒從葉子中識別分割出來。此方法對于彩椒的識別率為80.8%，未出現識別樹葉的錯誤結果，但該種識別方法需要在夜間或者自然光線很差的環境下使用[22]。江蘇大學的姬偉[23-24]提出了青椒及采摘點識別方法，首先基于模糊集理論算法增強青椒圖像，然后采用SEEDS 超像素算法對青椒圖像進行分割，再基于改進的流行排序顯著性檢測算法對青椒進行識別，識別率為85.6%，最后利用SUSAN 角點檢測算法確定果梗采摘點。佛山科學技術學院[25]提出了一種基于MaskRCNN 的青椒圖像檢測方法，通過訓練獲得基于青椒圖像的MaskR-CNN 檢測青椒的模型，使用識別模型對青椒進行識別并獲得青椒的坐標信息，然后基于采摘序列算法規劃視野范圍內彩椒的采摘順序。

圖6 E.VITZRABIN 搭建的識別系統示意圖

圖7 S.KITAMURA 搭建的識別系統示意圖

圖8 安裝在CCD 相機上的LED 燈

圖9 使用白光LED 捕獲的圖像

2 存在的問題及發展方向

2.1 整機結構

彩椒采摘機器人研究目前集中于日本、歐盟、澳大利亞、以色列等國，國內主要在彩椒采摘機器人的視覺識別方面進行了相關研究。國外機構如日本的高知技術大學、歐洲的瓦格寧根大學以及澳大利亞昆士蘭科技大學研發的彩椒采摘機器人樣機可在實驗室環境下實現彩椒采摘的功能，但是采摘機器人的總體結構龐大。由于彩椒種植環境的空間一般相對狹小，所以彩椒采摘機器人應向小型化發展以適應彩椒種植環境，后續彩椒采摘機器人的開發應著力于使整體結構更加緊湊。

2.2 末端執行器

為實現彩椒自動采摘需要研發專用末端執行器，目前學者們研發了各種原理的末端執行器，但由于其結構復雜，動力源多，導致整體結構龐大，難以避開障礙物，遇到葉子遮擋時，會降低采摘成功率。部分末端執行器僅僅有剪切的功能，沒有夾持的功能，剪切完后彩椒會落到地面，無法完成自動裝籃的過程，需要人工進行二次撿拾。所以彩椒采摘末端執行器應向小型化、靈巧化方向發展，同時具備夾持功能或配合其他收集裝置實現自動裝籃功能。

2.3 控制系統

目前研發的彩椒采摘機器人控制系統大多搭載在PC 機上，因此PC 機需要安裝在彩椒采摘機器人上，導致彩椒采摘機器人體積龐大。隨著深度學習以及用于深度學習的嵌入式技術發展，采摘機器人可以采用計算性能好的嵌入式硬件作為采摘機器人的控制系統，此類嵌入式硬件體積較小，可以大幅減小采摘機器人的體積。隨著5G 技術的發展，也可以在云端部署彩椒采摘機器人的控制系統，控制系統與采摘機器人之間可以通過5G 信號進行通信，實現控制系統對采摘機器人的控制。

2.4 采摘效率

目前彩椒采摘機器人的研究還停留在實驗室或小規模試驗，未有成熟的產品能夠直接應用，其原因是多樣的，如采摘成功率低、采摘效率低、裝備運行不穩定等。針對采摘機器人采摘成功率較低的問題，可以對彩椒采摘機器人的各個部件進行優化，研發更輕便靈巧的末端執行器，研究更智能的機械臂路徑規劃與避障方法；除此之外，還應該與農藝相結合，在農藝上改變栽培方法，使彩椒更便于機械化采收，多項舉措并行，從而提高采摘成功率。采摘效率低的主要因素是機械臂因避障產生的無效行程較多，應研究更智能便捷的機械臂路徑規劃算法，同時在農作物力學特性范圍內盡可能提高機械臂運行速度，從而提高采摘效率。針對采摘機器人運行不穩定問題，除了在實驗室進行樣機試驗外，還應在實際場景中進行大量長時間的彩椒采摘試驗，在試驗中發現問題并解決，形成正反饋，提高采摘機器人的穩定性，早日實現商業化。

3 結語

2020 年，農業農村部發布的《關于加快推進設施種植機械化發展的意見》提出了到2025 年我國設施機械化水平總體達到50%以上的要求，在此背景下，針對性研發適用于中國設施園藝產業的彩椒智能采摘機器人，可解決彩椒生產過程中勞動力緊缺的問題，對于降低勞動力成本，提高彩椒產業利潤具有重要意義，同時也可提高設施園藝機械化與智能化程度，具有良好的推廣應用價值。