數據整合進入高潮

徐建民

在經歷了2004、2005年的基礎設施的廣泛建設浪潮后，從今年開始，各企事業單位都基本進入了數據大集中及數據整合0的時期，怎樣把前期投入的設施用起來，真正為企業帶來效益成了他們又一輪追逐的目標。本文通過分析義烏人勞社保局在數據整合技術方面的理論研究及實踐應用，旨在給廣大的讀者一個借鑒。

義烏市人事勞動社會保障局（以下簡稱義烏人勞社保局）依托有利的經濟條件、社會環境等方面的優勢，在“金保工程”信息化建設中取得了非常大的進步，養老、醫保、就業、人才四大數據資源的建設成為整個“金保工程”信息化建設的核心。

為了全面、準確、及時地收集整個義烏人事勞動社會保障業務信息，充分挖掘數據庫中數據的價值，需建設一個宏觀決策分析系統，借助現代信息技術，對數據進行匯總、整理、交換和分析等加工處理，形成宏觀決策數據庫，為人事勞動社會保障政策的制定提供依據和支持，對政策執行情況進行監測。

宏觀決策支持系統建設采用先進的數據整合技術，充分整合養老、醫保、就業、人才數據資源，并建設一個統一的數據整合平臺。該數據整合平臺能將四大數據生產庫的數據，經過抽取、規則轉換、清洗、加載，形成整合資源庫，該數據庫主要存儲人事勞動社會保障業務統計信息、結果性數據等，同時該整合數據庫還為宏觀決策提供數據支持。

數據整合存在的問題

在信息化時代新環境下，勞動和社會保障部門領導要做出一項決策，往往依賴于信息系統。比如: 實現常規統計分析、監測預警、預測分析、風險分析等; 進行數據、圖表、多媒體等各種形式的查詢; 對比計劃和執行情況; 對比本期和歷史情況; 對比部分和總體情況; 要求能夠進行數據挖掘; 監測勞動保障政策的執行情況; 預測政策出臺效果; 監測勞動力資源結構、市場需求、就業趨勢、就業率變化狀況; 預測就業結構及變化趨勢; 監測基金收繳、發放、運轉、儲備和調劑狀況; 預測基金支付風險; 監測勞動保障待遇享受對象動態變化; 預測人數變化趨勢等等，通過多手段綜合運用，建立完整而科學的決策方法。

這些決策分析需要的數據通常都是統計數據，但是在現有信息系統下進行決策分析會比較復雜，因為現有數據主要存在如下幾個問題：

數據源利用問題 勞動和社會保障的信息化建設已經進入了全面的實質性應用階段，各個應用系統積累了大量的數據。但是這也給決策分析帶來一個問題：做出一個決策分析往往需要查詢多個基于各種異構數據源的業務系統和外部系統后，進行大量數據分析后才能作出此決策。其工作量大，數據利用率不高，且容易出現人為差錯，從而影響決策的質量。

數據源質量問題 現有業務信息系統的數據為大量的業務數據，這些數據無法提升為信息，及時提供給決策部門; 并且已有的業務信息系統平臺及開發工具互不兼容，直接提取這些業務數據比較麻煩。

數據源標準問題 每個業務系統都有對于大量的數據，但是沒有統一的數據接口，也沒有一種通用的標準和規范：如各個業務系統使用不同的指標代碼體系和編碼體系、使用不同的數據格式等，導致各個業務數據庫之間無法直接集成。

歷史數據問題 統計分析需要大量的歷史數據作為它的基礎，而現階段的業務系統的歷史數據存放不是非常完整。

基于以上問題，需要建設一個數據整合平臺，按照宏觀決策的需求，利用數據整合技術，將相關數據提取、分類與整理后，經過數據計算與變換，最后形成宏觀決策所需的數據和信息，保存在數據整合資源數據庫中，為決策系統提供數據支持。

數據資源分析

數據整合資源庫的數據都是一些統計和分析數據，如：每月各險種基金繳費統計、各年齡段基金繳費統計等。這些來源都是生產數據庫，所以在數據整合之前，需對現有生產數據資源進行歸類分析。經過簡單的數據歸類分析，現階段義烏人勞社保信息系統生產數據資源主要分為公共信息數據集、養老基金數據集、醫?；饠祿途蜆I基金數據集等。

1. 公共信息數據集是實現各險種基礎信息統一管理的基礎數據集。主要包括：

● 個人基本信息：包括個人信息庫、IC卡信息庫等。

● 單位基本信息：包括單位基本信息庫、單位所屬分支機構信息庫、社保機構信息庫、社保機構經辦人員庫、銀行信息庫等。

● 參?；拘畔欤喊▎挝粎⒈Ｐ畔旌蛡€人參保信息庫等。

● 參數信息庫: 職工平均工資信息庫、帳戶記帳利率信息庫、銀行利率信息庫、社會保險繳費比例信息庫、代碼庫、帳戶記帳利率信息庫、銀行利率信息庫等。

2. 養老基金數據集主要包括：

● 單位應付信息庫: 單位應付信息庫、單位實付信息庫等。

● 離退休人員信息庫：離退休人員變更信息庫、離退休人員帳戶信息庫、離退休人員待遇信息庫等。

● 養老保險待遇信息庫：養老保險待遇支付信息庫、養老補發退發信息庫、養老供養親屬基本信息庫、養老供養親屬待遇信息庫等。

3. 醫療基金數據集主要包括：

● 醫療參保人員信息庫：醫療保險參保人員基本信息庫、醫療包干人員基本信息庫、參保人員及帳戶變動信息庫、人員就診檔案信息庫等。

● 醫療機構信息庫：定點醫療機構結算參數庫、定點醫療服務機構信息庫、定點醫療機構預付費用信息庫、定點醫療機構應付信息庫、定點醫療機構年度結算信息庫、定點醫療機構藥品目錄庫等。

● 醫療待遇信息庫: 費用分類信息庫、醫療保險結算費用信息庫、醫療包干人員預付費用庫 、醫療包干人員費用結算庫、醫療保險個人帳戶返還庫、醫療費用分段個人自付比例庫、定點醫療機構預付標準庫等。

4. 就業相關數據集主要包括：

● 就業服務機構信息庫：社保代發機構基本信息庫、社保代發機構撥付記錄庫、就業機構服務情況庫等。

● 參保人員機構信息庫：參保人員失業保險信息庫、人員失業情況信息庫、失業人員變更信息庫、個人職業指導和介紹就業情況庫等。

● 失業待遇信息庫: 失業待遇信息庫、失業人員待遇支付明細庫、失業保險補發退發信息庫、失業待遇金額標準庫、失業保險金享受期限標準庫等。

● 人才交流信息庫: 人才引進信息庫、人才派遣信息庫、人才就業信息庫、人才調動信息庫、再就業信息庫、人事代理信息庫、畢業生落戶信息庫、企業招聘信息庫、個人應聘信息庫等。

數據整合的實現方式

義烏人勞社保局信息系統數據庫大多為Oracle數據庫，數據整合實現方式通?？梢圆捎脭祿扉_發技術和ETL技術實現。

數據庫開發技術 利用數據庫開發技術的數據整合主要指利用數據庫（主要是ORACLE數據庫）本身的功能，如觸發器、PL/SQL存儲過程、DBLINK等功能完成，完成對各個業務系統所需要數據的抽取、查詢和關聯等。

該數據整合實現技術運用在義烏人勞社保信息系統有如下優勢：

1. 由于義烏人勞社保信息系統都是ORACLE數據庫，采用ORACLE的開發技術，適合于ORACLE數據庫之間的數據集成。

2. 投資少，基本都是靠開發人員手工編程為主，只需要一些開發費用。

但是該數據整合實現技術也存在一些局限性：

1. 擴展性較差。由于都是開發人員手工編程，后期的維護成本較高，特別是在決策需求發生變化時，需要開發人員修改程序源代碼。

2. 數據整合效率問題。由于數據庫都靠開發商編寫，在系統日趨龐大的情況下，在面對復雜的數據整合問題上，效率難以得到保證。

ETL技術 通過ETL技術及專業ETL軟件，即數據抽取(Extract)、轉換(Transform)、裝載(Load)能將數據從原業務數據庫經過抽取，進行轉換，最后加載到目標數據庫，實現業務數據之間的整合。

該數據整合實現技術運用在義烏人勞社保信息系統有如下優勢：

高效率。ETL軟件的數據抽取、轉換、加載的效率非常高，特別對于大數據量的抽取。并且支持對Oracle9i增量數據抽取。

改進數據質量。能夠根據各種條件校驗源數據和目標數據質量，對垃圾數據進行清洗。

強大管理功能。能夠通過WEB管理界面對數據抽取策略執行制定時間觸發方式，對抽取結果進行分析等。

多平臺、多數據源支持。支持各種平臺、各種數據庫系統（如Oracle、SQLServer等）以及不同版本數據庫之間的數據抽取。

具備多種數據轉換控件，能夠完成各種非常復雜的數據轉換工作。

但是該數據整合實現技術也存在一些局限性: 投資費用較為昂貴，實施周期通常較長。

數據整合的實施

數據整合實施工作大致可以分為4個階段：

第一階段為業務分析階段。 該階段主要包括了解需要采集的數據結構定義，和數據表之間的業務聯系，例如：需要了解系統中如社保個人信息及帳戶、單位個人信息及賬戶、退休人員信息等業務表的具體數據結構定義，表之間的相互關聯等。

第二階段為設計實施階段。該階段主要定義數據整合規則及策略。數據整合規則定義包括字段映射、合并、函數計算等，來實現業務需求定義的數據轉換功能。數據整合策略主要定義時間策略（定時策略、自動重試、手工策略、事件觸發等）。

第三階段為數據校驗階段。數據校驗階段是數據整合階段最重要的階段。由于不同業務信息資源之間存在著語義上的區別，這些語義上的不同會引起各種不完整甚至錯誤信息的產生，語義沖突會帶來數據集成結果。在系統正式運行之前，必須建立嚴格的數據校驗機制，以保證生產數據和整合平臺數據的一致性，可建議采用如下方法：

● 數據的采樣:每張表采集定量的數據作為參照，跟轉換后數據進行比較。

● 數據的條數:每張表記錄原始數據的記錄總數，跟轉換后數據進行比較。

● 數據的重要指標匯總:對于各主要指標，要跟轉換后進行比較。

第四階段為系統上線階段。將設計好的數據整合流程正式發布，并可以設定計劃定時執行 ，系統管理人員可以通過監控界面，進行任務監控和跟蹤。隨著數據轉換業務逐漸增加，管理人員還可以根據具體的業務需求，進行數據轉換加載任務的時間計劃修改和維護，管理人員可以自己修改計劃任務，合理安排所有的數據轉換任務能夠在規定的時間范圍內完成所有的數據轉換和加載任務。

數據整合平臺能夠實現多個業務應用系統、多種異構數據源信息的綜合利用，為宏觀決策水平的提高提供基礎數據。但是，數據整合是一項復雜而又基礎性的工作，在實際整合過程中會遇到許多想象不到的問題，只有將這些問題一一化解，對數據轉換的結果認真校驗，才能確保數據整合的準確性，才能最終達到數據整合平臺建設“完整、正確、統一、及時、安全”的要求。