冶金檢驗實驗室設備數據智能采集系統的研究和實現

張智　徐桂紅

摘? 要：近年來，隨著互聯網技術的飛速發展，對企業的信息化管理提出了更高的要求，用戶也產生了及時高效、準確全面掌握相關信息的需求。而冶金檢測實驗室設備接口類型多、數據參數格式不一、數據采集實時性要求高、項目實施和管理難度大等問題是實驗室設備數據智能采集和分析面臨的挑戰?；诠I互聯網平臺技術，結合冶金檢驗實驗室的實際需求，對系統實現中的關鍵問題和技術進行研究，給出系統設計和實現方案，以更加高效便捷的方式解決用戶痛點，為用戶快速決策提供數據支撐。

關鍵詞：冶金實驗室；數據采集；系統設計；數據處理

中圖分類號：TP274+.2? 文獻標識碼：A? 文章編號：2096-4706（2023）12-0036-04

Research and Implementation of Intelligent Data Acquisition System for Metallurgical Inspection Laboratory Equipment

ZHANG Zhi， XU Guihong

（Shanghai Baosight Software Co.， Ltd.， Shanghai? 201203， China）

Abstract： In recent years， with the rapid development of internet technology， higher requirements have been put forward for enterprise informatization management， and users have also developed a demand for timely， efficient， and accurate comprehensive grasp of relevant information. The challenges faced by intelligent data collection and analysis in metallurgical testing laboratories include multiple types of equipment interfaces， inconsistent data parameter formats， high real-time requirements for data collection， and high difficulty in project implementation and management. Based on the Industrial Internet platform technology， combined with the actual needs of the metallurgical inspection laboratory， the key problems and technologies in the system implementation are studied， and the system design and implementation scheme are given， so as to solve the user pain points in a more efficient and convenient way， and provide data support for the user to make rapid decisions.

Keywords： metallurgical laboratory; data acquisition; system design; data processing

0? 引? 言

實驗室設備數據采集是冶金實驗室系統較為關鍵的部分，將會給實驗室管理和工作質量助力增效，為實驗室實現無紙化提供有力的支持，對提高工作效率、降低成本、縮短出報告時間起到重要作用[1，2]。在傳統的實驗設備數據采集工作中，通常會受外界因素的干擾，尤其是人工采集記錄，整個流程效率低下，還容易出現各種錯誤，這對數據統計分析以及決策制定來說，都會帶來一定的影響[3，4]。加之原始數據收集方式存在效率低、錯誤率高、易篡改等問題，對工作效率也會造成很大影響[5]。采用實驗設備數據采集系統能夠快速精準地進行數據采集，比傳統工作模式更有優勢，檢驗數據通過檢測設備直接上傳至檢驗數據采集系統，減輕了試驗人員的負擔，提高了效率[6]。

實驗室數據采集系統通過儀器數據的自動采集，可以減少人為傳遞過程中產生的差錯率，提高數據的準確度[7，8]。實現自動對檢測設備進行數據采集，以及針對化驗數據依據標準公式進行計算，可以減少人為因素造成的數據誤差，設置系統的超限示警功能，能夠對內部異常錯誤進行控制，減少誤差[9]。

然而冶金檢驗實驗室通常儀器設備數量較多，設備種類也比較繁雜，依據現場設備條件，實現分析實績的自動化采集。一般的通信支持RS232、TCP/IP、FTP、socket、文本文件（mes、csv、txt、xml、xls、doc）、數據庫（Access、SQL server、MySql、Oracle）等方式。即便是同一個項目檢測的儀器設備，如果設備制造商不是同一家，那么采集設備輸出的數據也千差萬別，導致儀器設備數據采集難度較大、成本較高。

1? 研究思路

為了更好地解決冶金檢測實驗室數據自動采集過程中存在的各類問題，我們采用自底向上與自頂而下相結合的思路分層架構、模塊化集成，以工業互聯網服務化的方式向外部提供數據服務的能力，系統可彈性伸縮和擴展。

1.1? 系統架構

根據實驗室現場設備的類型，實驗室設備通常支持的數據接口格式有串口、TCP/IP、FTP、Socket、文本文件（csv、txt、xml、xls、doc等）、數據庫（Access、SQL server、MySQL、Oracle）等。如圖1所示，通信前置服務器負責讀取實驗室設備的原始數據，首先獲取各種接口類型的原始數據，然后根據既定的數據解析方案對原始數據進行拆分處理，并將解析后的數據上傳至實驗室管理系統，云服務器負責數據解析和下發傳輸，實現設備儀器數據智能采集和分析處理的功能。

本系統提供配置實驗室設備的基本接口信息、信息傳遞觸發頻率等。開啟監聽服務程序后，按照設定的頻率實時采集設備電腦端的各種數據，實現設備原始數據的采集和接收功能。實際運行過程中系統自動接收的設備原始數據格式不一，每種類型的數據需要建立解析規則、設備數據字段及配置表進行對應關聯，自動按照規則解析所需的數據，并且存儲在前置服務器的數據庫中。

1.2? 研究內容

本文提出的數據采集系統實現檢驗儀器設備數據的智能采集傳輸和分析處理，盡可能兼容各種檢驗設備的接口協議，完成多種設備的統一配置、數據的智能采集和上傳服務。內容包括設備電腦數據獲取、數據上傳實驗室前置機、原始數據按既定規則解析、解析數據前置機服務器存儲、解析數據上傳至應用系統、系統監控、數據追溯分析等。

數據獲取、數據解析、數據上傳的過程中，為了保證各個環節可能出現的異常情況有記錄可查、可追蹤，在實際開發實施的過程中要保存記錄詳細的日志信息，方便后期快速定位解決問題。本系統獲取的原始數據和解析完成的數據均存儲在前置機服務器的數據庫中，在實際解析和上傳的過程中需要考慮數據歸檔的問題，保證在數據量很大的情況下減輕數據表的訪問效率和數據穩定。

考慮到未來可以把軟件系統部署到客戶的服務器供客戶使用以及保證信息安全，數據采集系統增加一個License授權的機制，限制系統的使用期限。License需要實現的功能有：在License中保存一些配置信息（比如有效期、服務器ID等）；對License進行加密處理，避免他人識別License包含的信息；對License簽名校驗，避免他人破解后進行篡改。

2? 系統實現

2.1? 總體功能

實驗室的設備接口類型有TCP/IP、文本文件、串口、數據庫等格式，如圖2所示，首先在實驗室的各臺設備上部署采集小程序，事先在前置服務器上配置各個設備的基礎信息及數據讀取路徑等，小程序按照配置的采集頻率定時通過Http協議向實驗室前置機服務器上傳原始設備實驗數據，完成數據獲取的工作。然后按照預先配置好的設備表、對應的解析服務方法、存儲表、數據解析規則表等條件進行數據解析和數據存儲。解析完的數據向外提供數據服務能力，包括上傳至第三方應用服務器的原始記錄和檢測實績數據等信息。

2.2? 數據獲取服務

設備電腦上的數據采集小程序首先讀取采集服務器上的設備信息參數及上傳配置信息，然后根據設備接口類型按照輪詢時間定時將設備試驗數據上傳至前置服務器。

2.3? 數據分析處理服務

設備電腦的數據按照設定的任務規則采集完成后就進入下一個重要的數據分析處理服務環節，如圖3所示，根據解析配置的基本信息，調用對應接口類型的解析方法，對上傳的數據進行解析和存儲。并將這個過程中所有流轉的節點動作以日志的方式進行記錄，方便進一步跟蹤和問題查擺。

2.4? 主要功能

冶金檢驗設備接口種類較多，本系統對所有采集數據格式統一考慮，通過前端交互頁面進行少許配置維護即可實現數據的快速采集和解析，方便使用者的使用和修改，提供外部API數據接口，做到數據采集和傳輸安全穩定，數據解析和分析處理完備可控可解釋，過程易追蹤和維護，功能和接口易擴展。

2.4.1? 數據上傳配置

包括數據庫地址、連接字符串、用戶名、密碼、服務名稱等基本信息維護，用于設備端采集小程序讀取對應設備的連接信息和路由地址。

2.4.2? 設備信息配置

若第三方應用系統具有設備數據同樣的功能，則可實現與外部信息同步互通的功能，保證設備信息來源唯一。包括采集設備的設備編碼、接口方式、設備名稱等信息維護，實現設備信息統一管理、數據源唯一的目的。

2.4.3? 設備接口配置

按照設備接口類型配置相關信息，如文本類型有設備編碼、監聽路徑、輪詢時間、備份路徑等；串口類型有設備編碼、串口號、起始位、停止位、波特率等；TCP/IP類型有設備編碼、IP地址、端口號、起始符、結束符等；數據庫類型有設備編碼、數據庫類型、數據庫路徑、連接字符串、用戶名、密碼等，實現現有設備類型和新增設備類型集中分類管理。

2.4.4? 數據解析基礎管理

此功能用于配置設備編碼、用到的解析方法、數據的存儲方式、解析完成的數據存儲路徑、數據的存儲數據庫和數據表等。

2.4.5? 數據解析項管理

用來維護數據對應的設備編碼、數據項、順序號、項解析方式、獲取行號、起始位置、結束位置、子項拆分符、數據位置等。數據解析項在實際應用過程中比較復雜，例如數據項中包含固定數據項和循環數據項的內容，需要另外配置循環解析的規則。

2.4.6? 數據采集小程序

通常部署于實驗室設備電腦，根據數據上傳配置、采集信息配置的基礎信息，定時獲取指定路徑的設備檢驗數據，通過傳輸協議上傳至前置機服務器。

2.4.7? 數據解析函數（庫）

根據數據解析項配置，讀取數據解析規則表中的邏輯，對采集到的數據字符串文本進行數據解析，然后把處理完成的結果存儲在對應的數據庫表中。此處的解析函數依據要處理數據的格式不同，劃分為不同的函數庫，使用者按需指定調用即可。

2.4.8? 數據上傳服務

根據數據上傳配置信息，將解析完成的數據上傳至第三方應用系統對應的數據庫表中。在上傳第三方應用服務過程中考慮到上傳失敗的情況，采取配置發送失敗后重試的機制，超過最大上傳次數發送第三方應用系統將記錄失敗日志信息。

2.4.9? 工作任務管理

用于自定義維護數據解析任務、數據上傳任務的觸發時間和機制、數據表中數據達到預定數據量自動歸檔處理功能等。

2.4.10? API服務

對外提供數據API通用服務，端與端之間通過調用API進行交互，輸出服務、能力和數據，具有較強的靈活性和拓展性，高效安全獲取相應的數據信息。

2.4.11? 密鑰管理

通過TrueLicense的相關方法進行復寫應用，實現對所頒發許可文件的生效和過期時間、應用部署服務器的IP地址、MAC地址、CPU序列號、主板序列號等信息的校驗，在應用啟動的時候加載證書，在登錄或進行其他關鍵操作的時候校驗證書的有效性，保證系統對外使用安全管理。

2.4.12? 數據日志管理

內容包括系統在數據獲取、數據解析、數據上傳、數據任務調度等過程中的日志信息記錄，實現數據在關鍵節點和應用處理時的全生命周期管理，也用于數據和任務的監控管理、數據全鏈路追蹤和問題定位等。

3? 系統應用與評價

為驗證實驗室數據采集系統的性能和適用性，選取實際項目案例A、B進行對比，兩個項目都是冶金實驗室數據采集項目，設備類型和數量基本相同。其中A項目采用每臺類型設備定制開發和維護的方式，B項目采用本文設計和開發的系統平臺。詳細對比數據如表1所示。

A、B項目中都有近200臺設備進行數據采集，在A項目中完全根據設備接口類型按照現場實際采集要求定制化開發和實施，不僅開發和實施的周期較長，而且實驗室對設備采集的參數進行調整的情況下，就需要重新開發和調試，這樣導致維護成本提高，難度上升，影響項目的正常交接。

B項目的實施采用本文設計的系統，一定程度上避免了A項目中的問題，極大地方便了項目的順利實施和數據管理。

4? 結? 論

本文剖析了冶金檢測實驗室設備數據采集過程中的諸多難點和不便之處，這些問題造成每種設備需要定制開發設備數據采集功能，在實施和調試上需要花費大量的時間，也間接帶來了后期維護管理難度和維護成本的提高。加之冶金檢測實驗室在設備數據采集上具有高可靠性、高穩定性、實時性的特點，我們根據不同設備的通信接口類型分而治之，提出滿足冶金檢測實驗室要求的采集思路，從數據產生、采集、消費等各個環節進行全方位的智能管理，實現智能采集后按照預定的分析規則進行解析處理，并且實時完成與第三方數據應用消費接口的對接和處理。

通過現場實際應用和實施，我們的智能采集系統在實施過程中減少了費用支出，可以不必進行定制開發，各種類型的數據可以高效采集和分析，數據操作和處理的過程實現可記錄和追溯，便于實施和維護管理工作的開展，也為后期的大數據分析奠定了良好的基礎。

參考文獻：

[1] 張聰.測長儀數據自動采集模塊在LIMS中的集成與應用 [J].計量與測試技術，2019，46（9）：29-31.

[2] 樓緯.自動化設備數據采集系統的開發與應用 [J].中國金屬通報，2018，993（6）：270+272.

[3] 孫麗翠，杜玉萍，劉春麗，等.LIMS在科研型實驗室管理中的應用研究 [J].中國公共衛生管理，2018，34（3）：364-367.

[4] 劉潔，余小鴿，吳博.LIMS系統在實驗室儀器設備數據自動化采集中的應用 [J].中國檢驗檢測，2020，28（6）：91-93.

[5] 吳義平.基于Web下開放性實驗室管理系統開發與應用 [J].企業科技與發展，2019，448（2）：188-189.

[6] 李珺嬋.藥品實驗室自動化及無紙化檢測的設計與實現 [D].上海：東華大學，2016.

[7] 張健.基于工作流的實驗室信息管理系統的研究與開發 [D].杭州：浙江理工大學，2018.

[8] LARS E. LIMS： Trends and Developments? [J]. Instrument Business Outlook，2012，21（6）：1-3.

[9] 鄧新.油品檢測數據自動采集處理系統的研究開發 [D]. 廣州：華南理工大學，2015.

作者簡介：張智（1989—），男，漢族，甘肅武威人，工程師，碩士研究生，主要研究方向：工業互聯網技術及其相關應用。