大數據時代背景下的勘探開發專業數據治理

張 敏

（大港油田信息中心大數據技術部，天津 300280）

1 石油勘探行業的大數據時代

在過去，互聯網巨頭谷歌公司依靠專有的大數據技術獨占鰲頭，2003 年，谷歌連續發表了3 篇有關大數據技術的論文引發了討論熱潮，分別論述了谷歌分布式文件系統、映射與簡化并行計算框架（MapReduce）、谷歌大數據表，由此拉開了大數據技術序幕。2007 年，開源組織仿照谷歌公司產品建立了Hadoop 大數據開源處理平臺，大數據處理技術開始普及。鑒于大數據技術對各行各業以及傳統信息技術所造成的沖擊，中油集團公司領導對信息化工作提出要求：“迎接大數據時代的到來，提升可持續發展的價值水平?！?012 年7 月，中國石油集團經濟技術研究院上交了相關研究專題報告，集團公司領導批示：“以‘大數據就是大油氣，就是核心競爭力’理念為基礎，啟動大數據，提升價值水平和能力?！?018 年底，勘探開發夢想云2.0 的發布，更是讓石油企業在大數據領域邁出了探索性的一大步。

大數據時代，企業的戰略分析、戰略決策都要依靠信息系統技術的應用，實現對信息數據的挖掘和分析，尤其是對大數據、海量數據的挖掘和分析，數據挖掘的對象就是信息系統的后臺數據庫數據，決策分析結果的準確程度嚴重依賴于數據庫數據的準確性和數據量，數據量越豐富，準確性越高，決策分析結果也就越接近真相；信息數據資源越豐富，可提供給勘探工作者使用的信息也越豐富，如井位分布對比、地質結構分析對比、層序地層帶分析對比、區塊油氣勘探歷史資料的分析等。通過豐富的數據資源分析，勘探工作者更易于發現地層、地質結構規律、油氣成藏原理以及區塊油氣分布特點和規律，這樣就更有利于勘探工作者進行井位分布、鉆井設計、地質設計等。

2 石油勘探行業面臨的數據問題

面對大數據應用如火如荼地開展，勘探領域的數據問題也日益凸顯。

2.1 歷史數據未得到應用

油氣行業留存著大量歷史數據，這些歷史數據大部分以紙質文檔的形式保存。這些數據在大數據應用中是寶貴的數據資源，但部分油氣田數據結構化并未完成，導致這部分數據還滯留在檔案部門，無法參與到大數據應用建設中去。

2.2 主數據多源錄入

通過多個系統錄入主數據時，同一套主數據在各個系統之中是不一樣的。比如，中石油的A1 和A2 系統都錄入主數據，會出現同一口井在兩個系統中井號不同的問題。

2.3 數據及時性問題

由于數據機制和職責不明確，缺乏相應的考核機制，部分油氣田數據不能及時上傳到數據庫中，數據不能及時入庫，研究人員無法及時獲取新數據和展開大數據挖掘工作。

2.4 數據質量問題

數據質量問題包括關鍵性數據缺失、關鍵性數據錯誤和多源數據不一致3 類。①數據缺失。部分關鍵性數據缺失，如井的基本信息相關屬性（包括開鉆日期、完鉆日期、完井日期、補心海拔、地面海拔、補心高等）；業務數據缺失，如套管數據缺少套管下深等。②數據錯誤。井基礎信息和業務數據錄入錯誤，如井的開鉆日期和完鉆日期填反、坐標填反、完鉆井深錄入錯誤等問題。③多源數據。同一數據在不同專業提交的數據中數值不一樣，如鉆井、錄井中的套管數據相關信息出現矛盾的問題。

2.5 數據服務目錄不明確

基礎數據過于龐大，對于大數據應用來說，不能很快地定位到應用所需要的數據位置，也就不能方便及時地獲取到所需的數據服務，嚴重影響數據的應用效果。

3 國內石油行業數據治理實踐

目前國內石油行業越來越重視數據治理工作，新疆油田、塔里木油田、大港油田等先后開展了相關工作。

新疆油田在數據治理方面開展了大量工作，通過監控數據采集過程、摸索數據質量控制與管理方法，從2006 年就開展了數據公報的發布工作，實現了數據質量的大幅提升，有效地支持了勘探開發業務的開展。

塔里木油田依托項目整體管理，將數據采集納入施工結算，用項目管理手段進行數據的全面控制和管理，實現數據質量的提升。

吉林油田從模型管理入手全面開展數據管理相關工作，是中石油最早開展模型管理相關工作的企業。

大港油田通過近10 年的數據資源建設，全面完成了主要專業數據庫建設，實現了地震動態監測和井下作業、油藏生產等專業數據入庫，目前專業數據庫總數據量超過70 TB，井筒數據超過萬口，有效保護了油田專業數據資產，并為大港油田相關單位提供了有效的數據服務。同時，大港油田以專業庫數據庫為基礎、以EPDM 模型為框架建設了勘探開發中心數據庫,實現了勘探開發科研生產所需數據全部集成。2012 年開發的中心庫管理系統實現了專業庫模型管理與元數據初步管理，提供了中心數據庫模型管理、模型升級、模型瀏覽及元數據升級功能，新增模型與實例對比、實例與實例模型對比以及專業庫模型管理功能?；谥行臄祿扉_展EPDM 應用層設計，采用數據庫視圖技術、Web Service 接口技術，建立中心數據庫應用層，開發視圖近400 個、Web 服務接口近600 個，建立了基于中心數據庫的應用體系，并建立了可視化組件庫。

在數據質量方面，大港油田采用“三級審核”機制，完善了專業數據采集流程。同時，信息中心按季度發布數據公報，對各類數據入庫情況進行公示，以提高數據采集單位對數據入庫質量的重視程度。

4 數據治理方法

4.1 建立數據管理團隊

油田企業應基于目前專業的數據治理經驗，建立數據治理要素體系及組織架構，結合自身的管理架構，一般需要設置領導決策層、業務部門主管、互聯網技術（Internet Technology，IT）部門主管、執行項目經理等主要角色。這些角色可以由專職人員擔任，也可由各部門抽調兼職人員擔任。

4.2 制定管理辦法與責任劃分

結合現狀，企業應為數據治理的開展提供管理依據，制定數據治理的業務流程、責任體系，構建數據治理的支持環境，頒布數據治理的規章制度等。還要規定工具的使用方法與產品使用流程。

4.3 構建企業統一的數據模型

企業基于對現有業務與概念的全新認識，統一定義企業運營管理和管理過程中涉及的業務概念和邏輯規則，便于為企業內部的決策提供重要依據。數據模型按行業不同劃分，一般包括當事人、產品、協議、財務等。

4.4 制定數據標準

數據標準提供了一整套規范，目的是為業務人員、技術人員的日常工作提供規范。數據標準的制定，需要適應業務和技術的發展要求，優先解決普遍的、緊要的問題。

相關人員制定數據標準，要以業務數據為出發點，經過詳細的數據調研、訪談、設計、評審等嚴格的標準定義流程；遵循“循序漸進、不斷完善”的原則。要制定可落地的數據標準產品，數據標準絕不孤立存在，確保每一個數據標準對應企業的數據需求，做到數據標準有理有據。

4.5 開展元數據管理

元數據是架起企業內業務與IT 部門之間的一座橋梁。無論在企業的業務部門還是IT 部門，有一套完整的對各項數據的業務含義、口徑、技術標準、分布情況等進行說明的元數據是非常必要和重要的。通過使用元數據，相關人員可以快速獲取整個企業的數據業務含義，幫助企業理解數據，增強分析的敏捷性。

使用元數據產品還能夠方便內部管理、審計或適應外部監管的需求追溯業務指標、報表的數據來源和加工過程，追溯數據的來源。針對企業內部、外部的數據需求，開展元數據管理可以快速在企業中建立業務與技術之間的銜接通道，為企業管理提供重要的保障。

4.6 開展主數據管理

隨著企業信息化程度不斷加深，跨業務、跨部門、跨業務系統的業務連貫性需求越來越迫切，許多已經實施或者正在實施的ERP、CRM 或BI 應用對企業系統數據的一致性、完整性和準確性提出了新的要求。企業通過分析具有共性的數據，如客戶數據、產品數據等，構建主數據模型，大大增加了數據交叉使用的機會。

4.7 開展數據質量管理

企業的數據質量與業務績效之間存在直接聯系，高質量的數據可以使公司保持競爭力，數據質量管控是數據治理的重要組成部分。因此，企業應全面梳理數據質量問題，使用全面的通俗易懂的數據質量檢查手段，提供數據問題修改的最佳方法。

5 結語

良好的數據基礎是實現大數據應用的前提。數據治理基于技術與管理相結合的一套持續改善的管理機制，貫穿于數據管理的整個過程，包括組織架構、政策制度、技術工具、數據標準、流程規范、監督及考核等多方面內容，使勘探開發數據管理工作成為一個有機統一的整體。數據治理因涉及的IT 技術主體眾多，包含元數據管理、主數據管理、數據質量、數據集成、監控與報告，因此需要各方加強協調，這樣才能為企業發展打造良好的數據環境。