免耕播種裝備PDM系統影像資源管理研究

劉宏新 周麗麗 張一鳴 趙一健 解勇濤

(1.東北農業大學工程學院，哈爾濱 150030；2.宿遷學院機電工程學院，宿遷 223800)

0 引言

免耕播種裝備是保護性耕作的典型機具類型，可在未經翻耕的、秸稈覆蓋和保留根茬的土壤條件下進行精量播種作業，對改善土壤結構、防止水土流失、減少空氣污染、達到蓄水保墑具有重大意義。但免耕播種作業環境惡劣，秸稈、殘茬和雜草置于地表，土壤硬度大，要求免耕播種裝備具有防堵耐磨、強度高、硬度大等性能，且要滿足不同地區、不同保護性耕作制度需求，因此設計制約元素多、機具結構復雜、實驗經驗要求高，導致研發周期長、成本高、設計效率低等問題[1-4]。針對上述問題，筆者通過創建免耕播種裝備PDM系統管理免耕播種裝備的知識、模型、數據等資源，其管理的產品信息包括產品的項目計劃、設計數據、產品模型、工程圖紙、工藝資料、影像資源等。其中影像資源能脫離文字形式直接記錄各種聲音與圖像，為用戶提供直觀且客觀的影像信息內容[5-6]。實驗影像資源中涉及的免耕播種裝備實驗機型、作業土壤狀態、實驗天氣、實驗結論等需要著重記錄以保證實驗信息的完整性。但其實驗記錄的土壤狀態、天氣情況、實驗結果等內容相似度高，僅通過影像封面圖像和影像的文件名稱難以區分，在瀏覽和查詢相關實驗影像資源時難以同時獲取其實驗過程的關鍵信息，需要在免耕播種裝備PDM系統中開發影像資源管理系統來解決上述問題。

國內外針對影像資源管理的相關研究主要有：SINGH等[7]通過提取連續的兩幀并進行顏色空間處理達到快速檢索視頻的目的，為研究影像資源的甄別開拓了思路。AMATO等[8]提取視頻關鍵幀所有信息的文本編碼作為檢索索引，可實現靈活查詢，對影像資源信息的管理具有重要意義。SAOUDI等[9]提出了一種基于視頻查詢的大型多媒體數據的CBVR系統，通過提取關鍵幀實現視頻的快速瀏覽和高效的視頻索引。QI等[10]通過以人像為中心并結合跨模態文本檢索視頻，為研究影像資源管理系統查詢提供了解決方案。ZHANG[11]建立了基于物聯網的管理影像數據的模型系統，提高管理效率并且保證信息的安全。梁建勝等[12]提取視頻關鍵幀，并針對視頻關鍵幀進行內容的檢索，達到高效、準確檢索視頻的目的。丁洛等[13]設計了一種基于多語義線索的跨模態視頻檢索模型，通過數據的全局特征、上下文交互特征和局部特征構成多模態數據的多語義線索，更好地挖掘數據中的語義信息，進而提高檢索效果。國內外研究人員針對影像資源的管理多為基于視頻關鍵幀內容的處理，在播放狀態下通過關鍵幀的信息來查詢和訪問影像資源。播放影像資源需要耗費大量時間，基于關鍵幀內容檢索只能表示影像資源的片段內容，難以表示影像資源的關鍵信息，缺乏支持影像資源關鍵信息編輯與查詢的管理平臺。近年來，本團隊致力于農機裝備的智能化設計研究[14-16]，通過創建知識庫、模型庫分別對知識資源、模型資源進行管理，實現了基于關鍵詞的模糊查詢，為影像資源的管理奠定了良好的基礎。

綜上所述，為準確獲取并有效管理影像資源信息，解決影像資源甄別困難、獲取信息不完整和缺乏管理平臺的問題，本文通過多元信息標識對影像資源進行研究，同時聯合推薦查詢方法與影像編輯功能建立一種影像資源管理系統。

1 系統總體方案

1.1 PDM系統功能與結構

免耕播種裝備PDM系統以C/S結構(Client/Server，客戶端/服務器)為主要體系架構，通過客戶端(人機交互界面)控制服務器實現數據管理。免耕播種裝備PDM系統中包含產品數據管理的多個設計功能模塊，包括知識管理模塊、模型管理模塊、虛擬現實與工程分析模塊等，并且各模塊由獨立且結構完整的子系統組成。根據免耕播種裝備PDM系統框架下接口需求集成各子系統，共同構建使用方便、響應便捷、高效統一的PDM交互式數字化設計系統。其中PDM系統的電子倉庫具有數據存儲、管理元數據庫的作用。

1.2 電子倉庫結構設計

常規PDM系統的電子倉庫主要存儲產品相關的物理數據和文件的元數據等[17-19]。鑒于作者創建的免耕播種裝備PDM系統電子倉庫中包含產品零部件、圖紙、知識、圖像、影像以及交互程序等各類資源種類繁多，數量大，獲取、查詢或瀏覽不方便的問題，需要對電子倉庫結構進行設計。

針對以上問題，創建表征不同免耕播種裝備信息的資源庫，以達到方便用戶獲取和整理資源信息的目的。首先根據資源類別設計并創建資源庫，即交互程序庫、模型庫、數據庫、知識文件庫、圖像庫和影像庫。然后根據免耕播種裝備PDM系統開發的子系統類別創建二級資源庫。鑒于知識文件庫中的數據區別于數據庫內存儲的知識內容，知識文件庫存儲國家標準、行業標準等相關的圖書手冊。

根據上述創建方法完成整個電子倉庫的結構設計。保證了系統重復利用資源并方便資源的存儲、開發、使用與維護[20]。電子倉庫結構組成如圖1所示。

圖1 電子倉庫結構框圖

1.3 影像資源管理系統架構

根據分析免耕播種裝備實驗影像資源管理系統需求，并結合PDM系統工作流程管理特點，在影像資源管理系統中創建數據庫連接、任務查看、影像資源瀏覽與查詢和影像資源編輯4個模塊。影像資源管理系統通過數據庫連接、任務查看兩部分連接PDM系統獲取任務內容；影像資源瀏覽與查詢、影像資源編輯兩模塊針對系統收到的任務對影像資源進行管理。系統的功能模塊如圖2所示。

圖2 影像資源管理系統功能模塊

(1)數據庫連接模塊：該模塊是保證與PDM系統進行數據連接、信息交互的關鍵。在PDM系統中為達成資源共享的目的，設計本地數據庫和映射數據庫兩種數據連接方式保證用戶訪問數據的需求。該模塊為用戶提供不同服務器的數據連接需求，保障系統正常工作。

(2)任務查看模塊：該模塊主要訪問PDM系統任務管理的數據，作為影像資源管理系統的工作任務來源，保證各用戶及時獲取任務并從事相關設計工作。

(3)影像資源瀏覽與查詢模塊：該模塊以用戶常用查詢習慣為需求設計多種查詢方法，通過人機交互的方式展現出來。

(4)影像資源編輯模塊：該模塊為實驗影像資源提供添加、修改和刪除功能，實現資源的動態更新，提高資源利用率。

影像資源管理系統以VS為軟件開發環境并結合VB.NET語言、通過ADO.NET技術連接SQL Server數據庫，實現面向對象的系統自動化管理和查詢功能。系統需要提前添加播放插件。Visual Basic(VB)內提供的Multimedia控件、Animation控件和Media Player控件均支持多媒體的播放。其中，Multimedia控件播放MPEG文件時速度比實時監控顯示快，當文件長度縮短到500～600 KB時，則無法觀看；Animation控件只能播放未經壓縮的或者是用行程編碼(RLE)壓縮的AVI動畫文件；Media Player控件是VB新增加的多媒體控件，使用簡單而且功能強大、獲取方便(Windows環境中按“system32 wmp.dll”路徑查找)，能夠顯示或播放多種媒體文件。故在系統中添加Media Player播放控件。

2 影像資源預處理

2.1 多元信息標識

影像資源直觀表達事物信息、記錄事物狀態，為用戶呈現詳細的動態效果與靜態畫面，廣泛用于各行各業記錄重大事件、檢驗實驗等，在農機實驗中應用也特別廣泛[21-22]。影像資源信息復雜，在查詢、修改、增加、刪除實驗影像時，用戶難以通過影像資源封面和文件名稱準確獲取涵蓋特定實驗內容、實驗天氣等信息的影像資源，觀看全部影像資源任務量大且浪費時間。為系統地研究影像資源信息，根據免耕播種裝備實驗過程中影像資源的特征提出多元信息的概念，多元信息是指標識影像資源所有信息的全部關鍵詞。多元信息對影像資源進行多角度標識，包含完整、準確的信息內容，同時為資源管理奠定基礎。

影像資源主要記錄了免耕播種裝備實驗的具體作業過程，但其作業方式復雜、聲音嘈雜，標識影像資源的多元信息需要通過從內部視頻特征、音頻特征、影像內容3方面進行分析提取，以保證每條影像資源基本信息標識完整、信息標識內容唯一。

對比免耕播種與普通播種作業過程，免耕播種裝備能夠在秸稈覆蓋的地表上進行精確播種，并且不同型號的免耕播種裝備具有破茬清茬、切斷殘茬、粉粹秸稈、移除拋撒秸稈、壓實秸稈等耕整地功能，配合防堵裝置，為后期播種提供一個良好的種床環境。鑒于免耕播種裝備結構與工作特點，將不同秸稈覆蓋率的土壤狀態和免耕播種裝備的機具型號作為多元信息的標識詞組，并結合影像資源的視頻特征和音頻特征兩個方向共同總結出表征免耕播種裝備實驗影像資源的全部內容的多元信息，如圖3中Ⅰ所示。為保證標識的影像資源信息唯一，依次刪除具有隨機性強、內容不固定、干擾性強以及包含重復性內容的無效信息。影像特征最終采用剩余的12個多元信息標識免耕播種實驗影像資源的全部信息，最終確定標識的多元信息如圖3中Ⅳ所示。影像資源多元信息篩選過程如圖3所示。系統內所有影像資源根據確定的多元信息進行逐一標識存儲在數據庫中，對應的影像資源文件存儲在電子倉庫的影像庫中。

圖3 影像資源多元信息篩選流程圖

分析已設定的影像資源多元信息，其中“文件名稱”是指影像資源文件的具體名稱，因其具有唯一性，可以把“文件名稱”作為瀏覽選擇的關鍵詞，將另外11個多元信息作為推薦查詢的多元信息組，并設計對應權重。

2.2 信息權重分析與分配

查詢免耕播種裝備實驗影像資源過程中經常出現由于用戶輸入字段與數據庫內信息不完全匹配而導致查詢結果不存在的情況。為保證用戶輸入字段與本地數據庫信息不匹配時仍能夠獲取本地數據庫內相似數據，系統通過創建推薦查詢機制解決上述問題。為使推薦查詢信息標準化、規范化，對多元信息進行權重標定，實現按多元信息權重進行推薦。

標識影像資源的多元信息設定對應權重時，由于自主設定權重主觀性較大，通過調查問卷和專家打分兩種形式獲取權重。在獲取權重過程中，通過調查農業工作人員對獲取免耕播種裝備實驗影像時最期待、最優先搜索關鍵詞順序進行統計，得到各信息對應權重相關餅狀圖如圖4所示。

圖4 問卷調查結果

將專家打分和問卷調查分別賦予0.5的權重，計算得出最終權重

q=q1z1+q2z2

(1)

式中q1——問卷調查中各項信息占比

q2——專家打分中各項信息占比

z1——專家打分所占權重

z2——問卷調查所占權重

經計算得到最終多元信息及其對應權重如表1所示。

表1 信息標定項目與權重

3 功能實現方法與技術

3.1 數據庫連接

數據庫連接是系統運行、獲取免耕播種裝備PDM系統多元信息的基礎和保障。為滿足用戶需求并簡化操作流程，在影像資源管理系統主界面中提供兩種數據庫聯接方式，主要包括本地數據庫連接和映射數據庫連接，二者訪問信息內容一致且本質相同，區別在于訪問的內容是本地數據庫還是映射數據庫。通過選擇數據庫訪問整個免耕播種裝備PDM系統數據庫。其中連接數據庫的主要特點為：映射數據庫主要應用于客戶端，可實現多人在線協同訪問，但客戶端、服務端處于同一局域網；本地數據庫應用于服務器，僅限于本地資源的訪問，且響應速度不受限。

3.2 任務查看

作為免耕播種裝備PDM系統流程管理任務順利完成的關鍵保證和影像資源管理系統的工作內容來源，任務查看模塊主要接收免耕播種裝備PDM系統管理員發放的任務，并將任務處理所用時間反饋給PDM系統。根據獲取的具體任務內容對影像資源進行操作。任務查看模塊主要應用文檔讀取技術，其主要語法為(TextBox5.Text為任務展示窗口)：

Dim sw As System.IO.StreamWriter = New System.IO.StreamWriter("E:免耕播種裝備PDM系統電子倉庫數據庫計時器數據文件影像資源.txt", False, System.Text.Encoding.Default)

sw.WriteLine(TextBox5.Text)

sw.Close()

3.3 資源編輯

3.3.1影像資源添加

系統授權的普通用戶都有添加存儲影像資源的權限。根據用戶使用習慣，優化設計人機交互界面，保證一次性操作可同步添加影像資源文件及其標識的多元信息內容。若在影像資源及其信息的添加過程中用戶中斷了操作，系統默認不增加該影像資源的任何內容，通過系統提示用戶需要重新同步上傳，直至系統反饋資源增加成功。

系統添加相關的影像資源時，影像資源管理系統自動判斷待上傳資源與影像庫中現有影像資源是否相同，以Dir(str1)語法判斷查重。若本地不存在待上傳的影像資源，則用File.Copy(str1, str2)語法將待上傳影像資源直接復制到影像庫中；若文件存在，系統反饋該文件已存在并要求重新上傳。

3.3.2影像資源修改與刪除

本地電子倉庫影像庫中存儲的影像資源由系統管理員在設計系統時直接添加，并且標識影像的多元信息和影像資源文件已經通過系統程序連接。但是系統內的免耕播種裝備實驗影像資源會存在信息匹配錯誤、不完整，以及影像資源已經完全損壞不能使用等問題，需要系統提供刪除或修改功能。系統普通用戶在修改或刪除影像資源時需要獲取系統管理員權限，通過輸入管理員密碼進行處理。以保證影像資源文件和標識的多元信息的唯一對應，從而提高系統安全性。

影像資源管理系統修改或刪除影像資源的具體內容來源于免耕播種裝備PDM系統發放的任務。影像資源管理系統同步更新影像庫和數據庫多元信息資源。為實現動態更新，在VS中添加Module(模塊)創建刪除子程序Delete()。當系統刪除影像資源標識的多元信息時，直接調用刪除子程序Delete()。在VS模塊中添加的刪除子程序具體語法為(OriginalFilePathInfo1為影像資源的存儲路徑)：

SubDelete()

My.Computer.FileSystem.DeleteFile(OriginalFilePathInfo1)

EndSub

3.4 資源瀏覽

影像資源的瀏覽模塊支持瀏覽本地影像庫中影像資源，系統提供影像播放、暫停、停止和快進的功能，并且可以查看到每一條影像資源對應的標識信息。影像資源管理系統播放的的主要實現語法為：AxWindowsMediaPlayer1.Ctlcontrols.play()；暫停的主要實現語法為：AxWindowsMediaPlayer1.Ctlcontrols.pause()；停止的主要實現語法為：AxWindowsMediaPlayer1.Ctlcontrols.stop()；快進的主要語法為：AxWindowsMediaPlayer1.Ctlcontrols.currentPosition()=HScrollBar1.Value。

3.5 資源查詢

3.5.1瀏覽選擇

瀏覽選擇指通過字段匹配多元信息獲得唯一的查詢結果。為提高查詢效率，采用影像資源多元信息標識的“文件名稱”作為查詢索引。由于每一條影像資源對應的文件名稱是唯一存在，安全性高，不存在誤報、重復的風險，并且“文件名稱”不屬于推薦查詢的標識多元信息組，不會與推薦查詢發生沖突。系統每增加一條新的影像資源，系統獲取該影像資源“文件名稱”的字段自動添加到瀏覽選擇列表中，保證了影像資源信息的同步性。影像資源的文件名稱同步到瀏覽選擇列表中動態更新的語法為(TextBox14.Text為影像資源的文件名稱)：

Form4.ComboBox1.Items.Add(TextBox14.Text)

3.5.2推薦查詢

推薦查詢是基于用戶輸入字段與數據庫內容不完全匹配而進行相關推薦的查詢方法。旨在為用戶提供智能化推薦。推薦查詢是由基礎查詢語句、推薦查詢語句、推薦查詢數據表構成。系統通過基礎查詢語句未獲取數據時響應推薦查詢機制，通過匹配推薦查詢數據表，將推薦的數據記錄推送給用戶，完成推薦查詢過程。推薦查詢作為一種創新查詢方法，在實現過程中首先要創建與設定多元信息相關的推薦查詢語句和對應數據表。

(1)基礎查詢語句

基礎查詢語句是用戶實現查詢的基本語句，是推薦查詢的一部分。選擇字段的查詢方式為瀏覽選擇，輸入字段的查詢方式為模糊查詢。當用戶按指定多元信息輸入字段進行查詢時，常規查詢方法是將SQL語句與IF嵌套語句結合，若滿足所有查詢的情況，需要撰寫11！條IF嵌套語句，嚴重影響系統運行速率[23]。為保證隨機輸入后系統響應能夠查詢到相關數據并保證響應速率不變，在系統中應用Inputstr[]函數和Keywordstr[]函數共同組成系統基礎查詢語句。組成SQL查詢語句對應語法為：

Sqlstr = sqlstr & "and" & Keywordstr(i)& like "%" & Inputstr(i)& "%"

(2)推薦查詢語句

推薦查詢語句是通過基礎語句查詢未獲得數據而進行推薦其他數據表的語句，是推薦查詢的核心。推薦推薦語句分為兩種，一種是輸入單一字段對應的查詢子語句，另一種是輸入多個字段對應的查詢交互語句。查詢子語句是輸入單一字段而進行推薦查詢匹配單一推薦查詢數據表而輸出數據記錄的語句。查詢交互語句是輸入多個字段而進行按多元信息權重依次推薦查詢匹配推薦查詢數據表而執行各查詢子語句的語句。推薦查詢響應的邏輯框圖如圖5所示。

圖5 推薦查詢響應的邏輯框圖

(3)推薦查詢數據表構建

推薦查詢數據表是根據設定權重的多元信息分別創建的數據表，是實現數據推薦的重要依據。作為推薦查詢的中間數據，需要提前依次設計多元信息對應的推薦查詢數據表。

以“實驗地點”為例，構建黑龍江省農業種植地區匯總表。以“積溫”為劃分條件，將已劃分好的黑龍江省6個積溫帶分別根據緯度高低自東向西依次排序，部分結果如表2所示。

表2 基于緯度排列的黑龍江省積溫帶

依次創建其他多元信息對應的推薦查詢數據表，并設定參考推薦范圍。鑒于管理對象為免耕播種裝備影像資源，將“實驗機型”以免耕播種機型號進行分類，“土壤狀態”以免耕播種秸稈覆蓋率為劃分條件，“實驗內容”以免耕播種裝備的播種性能為劃分條件，其中“實驗人員”、“實驗結果”和“實驗結論”在免耕播種實驗完成后得出，內容包含范圍大、信息含量多，由用戶輸入信息無法設定參考推薦范圍。多元信息對應推薦查詢數據表設計范圍見表3。

表3 推薦查詢數據表設計范圍

推薦查詢數據表和查詢子語句一一對應，推薦查詢時系統每調用一個查詢子語句，則會根據多元信息權重依次對應調用數據推薦表，調用數據推薦表的邏輯關系如圖6所示。

圖6 數據推薦表調用邏輯框圖

相對于瀏覽選擇，系統的推薦查詢為用戶提供全面系統的多元信息，擴大了查詢結果的范圍，能更有效接近用戶的實際需求。

為實現推薦查詢，系統將各查詢子語句、查詢交互語句與規定范圍的推薦查詢數據表、本地資源數據表匹配、交互過程以子程序的形式封裝在VS的Module中，如圖7所示，結合基礎查詢語句根據系統響應情況依次調用Module中子程序，完成推薦查詢。

圖7 多元信息推薦查詢子程序封裝

影像資源管理系統響應推薦查詢時，根據用戶輸入單個或者多個字段，系統執行查詢子語句或者查詢交互語句調用匹配對應的推薦查詢數據表，然后將對應的推薦查詢數據表與現有影像資源數據表匹配，最后將兩表相同數據信息按標識的多元信息權重為用戶依次推送數據記錄。其中兩個數據表匹配候選的主要語法為(A、B代表兩個匹配表)：

Dim sql As String = "Select * From A Where A.1 =(Select B.1 From[B]Where B.1= A.1)Or A.1=(Select B.2 From[B]Where B.2=A.1)

若用戶輸入字段內容均無對應推薦數據表，系統提示增加新的查詢字段；否則按輸入字段對應多元信息權重進行推薦。

推薦查詢包括單一文本框查詢和多個文本框查詢。為了貼近用戶習慣方便用戶查找需要的影像資源，單一文本框查詢支持用戶在同一文本框下輸入多個關鍵詞字段，字段間用分號間隔；多個文本框查詢為用戶提供多個文本框，支持隨機任意輸入查詢。在進行單一文本框內輸入多個字段后，勾選對應字段的所屬多元信息，系統自動分割字段和分號，然后針對分割好的字段進行推薦查詢。

4 系統測試

4.1 系統登錄

影像資源管理系統是免耕播種裝備PDM系統的一部分，可以通過免耕播種裝備PDM系統入口進入，其中圖8a為從PDM系統進入影像資源管理系統的界面。進入系統后，連接數據庫后查看任務，此時影像資源管理系統初始頁面如圖8b所示，單獨啟動影像資源管理系統界面如圖8b所示。

圖8 登錄界面

4.2 影像資源編輯

從影像資源管理進入后對影像資源進行編輯管理。在影像添加頁面中依次上傳實驗圖像和實驗影像資源并填充影像資源的多元信息，其添加成功界面如圖9所示。

圖9 添加界面

在信息瀏覽中選擇待修改信息，在對應文本框中修改即可，修改成功界面如圖10所示。

圖10 修改界面

在信息瀏覽中選擇待刪除影像資源，根據系統提示確定刪除即可，刪除后界面如圖11所示。

圖11 刪除界面

4.3 影像資源瀏覽

在影像資源查詢頁面可以查看影像庫中所有影像和信息，點擊播放按鈕可對影像資源進行觀看，如圖12所示。

圖12 影像播放

4.4 影像資源查詢

用戶在影像資源查詢頁面中可以選擇下拉菜單中任意一個詞條，系統自動匹配數據庫，瀏覽選擇到該詞條對應的影像資源全部信息，查詢結果見圖13。

圖13 瀏覽選擇結果

在單一文本框查詢輸入兩個多元信息：“學生”和“訥河”并勾選對應多元信息所屬種類“人員”和“地點”，每個字段以分號隔開，經系統推薦后得到最終數據如圖14所示。

圖14 同一文本框查詢結果

通過在不同文本框中手動輸入多元信息“2015年”、“2BFG-22”、“.MP4”進行查詢。經系統推薦得到最終數據如圖15所示。

圖15 多輸入查詢結果

通過以上操作流程，測試完成了從PDM系統中獲取任務內容，以及對標識多元信息的影像資源進行添加、修改、刪除、瀏覽選擇和推薦查詢，實現了對影像資源的有效管理。

5 結論

(1)電子倉庫的結構按資源種類分別設計，使資源管理有序系統化，提高了系統資源獲取效率和調用的準確性，并為系統資源獲取、查詢提供了清晰路徑。

(2)實驗機型、實驗地點等多達12個多元信息能夠完整、準確且唯一描述影像資源的內容信息。將標識的影像資源多元信息進行權重分配，作為推薦查詢的數據依據，規范了數據推薦的過程。

(3)多元信息加權推薦查詢方法解決了查詢數據空缺的問題。系統通過匹配推薦查詢數據表和影像資源數據表，將匹配結果經多元信息加權推薦處理后推送給用戶，實現智能推薦查詢。