數據集成在上海地震應急處置平臺中的應用研究

丁睿

摘 要 目前在全國范圍內運行的中國地震應急指揮系統，與一些發達國家高度集成的應急救援響應系統相比，功能單一，各類地震監測數據并未集成到地震應急指揮系統中，綜合防震減災各方面工作的應急處置集成平臺尚未形成。因此，在上海地震應急處置集成平臺建設的研究項目中，異構地震數據集成是關鍵和基礎。針對地震行業數據的特點，論文采用數據倉庫和基于中間件兩種不同方法對地震異構數據集成進行了分析，并以中國地震行業關鍵業務測震JOPENS系統為例，進行了基于中間件的異構數據無縫遷移。

關鍵詞 地震應急；異構數據集成；數據倉庫；中間件；數據遷移

中圖分類號 TP3 文獻標識碼 A 文章編號 1674-6708（2016）172-0078-03

我國防震減災的三大工作體系由監測預報、震災防御和應急救援組成。其中應急救援的作用是最大限度減少因地震造成的人員傷亡和財產損失，保持社會穩定?！笆濉逼?，地震應急指揮系統在全國范圍內開展建設，在震后快速響應、救援輔助決策、產品服務等方面發揮了積極作用。但是，地震應急指揮系統與實時觀測類的系統，諸如測震、前兆、強震等相互獨立，動態地震監測數據和靜態歷史背景數據在地震應急處置這一綜合性工作中不能有效融合，共享應用，防震減災的工作體系之間相對獨立。相比之下，有些多震國家，如美國、日本、意大利等已建立了相對完善的綜合性地震應急處置與響應平臺[ 1 ]。這些系統的共同特點是集成了多源異構監測和背景靜態數據，融合了動態評估、快速響應處置和輔助指揮決策等應用，機構橫向協同互聯，形成高度集中，信息豐富的應急處置大平臺。相比之下，我國地震應急指揮系統則顯得數據種類少，應用產出單一，實際保障能力較弱。因此，建立一套整合防震減災各業務系統的集成應急處置平臺，為政府進行抗震救災快速響應和決策提供科學依據，已成為我國地震行業面臨的重要戰略課題。

上海市地震應急處置平臺是在“十五”地震應急指揮系統的基礎上，參考國外成功案例的研究項目。旨在是搭建一個綜合處置平臺，實現各類地震異構數據和不同地震業務系統的有效集成。其中，異構地震數據集成是整個項目的基礎和關鍵。本文主要研究地震異構業務數據的集成方法，并設計一種適合實時監測數據的整合方案。

1 地震應急處置中異構數據的集成

地震數據有著不同于其他行業的特性。地震應急處置中同時需要動態實時監測數據和靜態歷史背景數據。因此，研究不同的集成方法，才能比較得出適合地震應急平臺數據集成的方案。

1.1 地震行業的數據分析

在地震觀測與科學研究中，需要采集不同類型的數據。上海地震監測三大臺網（微震、強震、前兆）遍布上海及長三角地區近百個觀測點，7×24小時實時數據流；長期地震科研工作積累了大量的地震目錄、震情災情和分析會商數據；同時，震害防御、應急救援業務部門擁有地理信息、人口、經濟、建筑、地震構造、潛在震源、地震動區劃等地震背景數據?；谶@些實時、背景數據上所做的地震監測預報、地震活動性分析、震害趨勢判斷、震害防御安全性評估和應急救援決策等工作又會產生不同種類的結果數據。

地震科學數據的異構性主要體現在系統層面和數據格式及內容層面上。前者主要是相異數據源的硬件平臺，操作系統和數據庫管理系統的異構。后者是不同學科的數據均有自己嚴格的數據定義和規范，其數據庫具有高度自治性。在震后72小時黃金救援時間內，需要多角度，綜合各學科數據結果來分析與決策，進行應急處置工作。所以，數據集成在地震應急處置平添中的應用非常必要。

1.2 異構數據的集成方法

異構數據集成，就是將不同來源、格式、特點的數據在邏輯或物理上進行有效集中，并提供統一的表示、管理和存儲。常用兩種集成方法：物化法和虛擬視圖法。物化法是一種物理集成模式，抽取出所有數據源中的數據，在數據倉庫中用全局模式存儲；虛擬視圖法采用中間件技術，用統一的全局模型來訪問各種異構數據源，用戶對數據的操作不直接作用于數據源，而是通過中間件間接實現[ 2 ]。

1.3 異構地震數據集成方案的比較

根據地震科學數據的特點，分別采用數據倉庫和基于中間件的方法進行異構數據集成方案設計，并比較其優劣。

1）基于數據倉庫的集成方案。異構地震數據中存在城市地理信息、人口、經濟、地震構造、地震動區劃等，這是地震應急處置的靜態背景數據。另外，測震、強震、前兆三大實時臺網積累了大量的歷史數據。對于靜態、歷史的異構數據比較適合采用數據倉庫的方式進行集成。

將源數據經過數據抽取、加工、轉換（ETL），以一個全局模式存儲到一個集成的數據庫中，稱為數據倉庫。數據在模型和語法等方面的差異被消除，數據倉庫可直接被訪問。用戶可以通過聯機分析處理、數據挖掘等數據倉庫的應用工具對其進行查詢分析或知識挖掘。[3]基于數據倉庫的地震異構數據集成框架如圖1所示。

數據倉庫適合對歷史、靜態的數據進行分析，可用于較長期的震情趨勢判斷和城市災后重建等戰略決策。但由于它不能反映實時震情，而地震災害具有瞬間性和變化性。地震應急處置需要在震后最短時間內做出災情判斷和救援決策。相對靜態背景數據而言，實時監測數據的集成與分析更為重要。所以，數據倉庫集成方案不能完全滿足地震應急處置的需要。

2）基于中間件的數據集成方案。測震、強震、前兆的實時監測數據分別用來快速定位震源、顯示地震破壞程度和進行地震預報。因此，在地震應急時，實時數據快速、準確的獲取與分析，從根本上決定應急對策的正誤。采用基于中間件的數據集成方式，為地震應急處置提供實時震情和最新的數據資料。

數據集成中間件的作用是整合分布式異構數據，屏蔽數據源的異構性并使其使動態可擴展[4]。中間件的部署模式可以是分散或者集中。前者保持異構數據源位置不變，中間件平臺提供唯一數據訪問接口，屏蔽異構的源數據。這種模式優勢在于構建靈活，擴展性強。后者是將異構數據源通過無縫遷移，集成到唯一的健壯穩定的高可用環境下。這種模式的優勢在于集成后的數據獲取快速、精準。

根據地震應急處置的實際情況，基于中間件的集成方式較適合實時觀測異構數據整合。數據集中存儲的集成方式。將測震、前兆、強震異構數據通過無縫遷移，整合到核心監測數據庫中。集成前各業務數據獨立運行、存儲和管理，系統利用率低，能耗大，維護成本高。

集成后采用高性能的數據服務器和大型商用數據庫管理，統一存儲備份，節能高效?；谥虚g件的地震實時易購觀測數據集成架構參見圖2所示。

對于既有靜態背景數據又有動態監測數據的地震應急處置平臺，數據倉庫和基于中間件兩種異構數據集成方式各有優劣。然而，從地震應急的時效性考慮，實時觀測數據的集成與分析更為重要。所以本文重點研究基于中間件異構地震觀測數據的整合。

2 基于中間件的異構數據無縫遷移

將目前數據存儲環境較差的異構監測數據整合到穩定、高可用的數據環境下是所有業務數據集成的前提。針對全國數字測震臺網通用的JOPENS系統，基于MetaMatrix中間件，實現MySQL數據庫到oracle數據庫的異構數據無縫遷移。

2.1 測震JOPENS系統的現狀分析

測震JOPENS系統，是一套能夠實現地震臺網數據實施傳輸處理并對地震進行自動速報的系統。自2006年廣東省地震局推出該系統的1.0版本以來，經過不斷的升級改造，JOPENS系統在2015年已經更新至6.0版本。JOPENS系統具有地震速報、編目和數據服務功能，實現區域地震臺網與中國地震系統采用開源的MySQL數據庫作為數據持久化存儲，包括地震事件數據、地震目錄、震相，臺站信息以及海量的地震波形數據?？紤]到在地震應急處置平臺中，數據庫管理的統一化將有效提升數據共享交換效率，希望能將JOPES系統的MySQL數據庫整合到穩定、高可用的Oracle核心業務數據庫中

2.2 基于MetaMatrix的異構數據整合應用

測震JOPENS系統的異構數據無縫遷移，基于紅帽MetaMatrix中間件，分為3個不同階段來實現。

2.2.1 JOPENS持久層無縫遷移的中間件基礎

測震JOPENS系統是防震減災體系的核心系統，處理觀測點數據采集器7×24小時的實時數據。因此，對于JOPENS系統持久層的數據遷移必須是一個無縫、平滑的操作，數據不能間斷。設計的遷移過程，需要有Oracle和MySQL兩種數據庫并行協作，用戶層的數據處理工作可以基于異構數據庫進行，屏蔽掉底層存儲的異構分布。數據整合基于紅帽MetaMatrix中間件，作為一款功能強大的數據平臺，MateMatix能整合各種異構數據源的訪問，轉換原始數據和需求數據的語義差別，并提供滿足不同服務等級的性能要求[ 5 ]。

2.2.2 異構數據源無縫遷移的實現

地震監測核心JOPENS系統的異構數據無縫遷移過程分為3個階段。

第一階段：由中間件平臺構建出雙數據庫協同工作模式，并行提供數據服務。

該階段部署MetaMatrix數據服務平臺，在其上對JOPENS數據的接口進行重新開發，在數據持久層建立Oralce數據模式。其目的在于用MateMatrix的統一數據訪問接口取代原有的MySQL數據接口。原來應用的JDBC和JPA的數據訪問服務由MateMatrix代理。為下一步進行的異構數據無縫遷移做好準備。

第二階段：底層雙數據庫并行，數據持久層的功能重心轉移。

本階段旨在以應用層覺察不到的方式讓Oracle承接數據庫的功能。在MetaMatrix平臺上重新配置測震實時波形數據的寫入請求，數據流向Oracle數據庫。同時，人機交互的數據請求分散到原來的MySQL數據庫和新增的Oracle數據庫。并且逐步讓Oracle核心數據庫逐步承接JOPENS的底層數據服務功能。原有MySQL數據庫中部分數據變成只讀，數據流程向Oracle數據庫里逐步轉移。JOPENS系統的基礎數據采用ETL工具進行遷移。

第三階段：數據源合并，Oracle數據庫替代MySQL數據庫承接持久層存儲。

經過上一階段的雙數據庫并行，數據服務功能轉移，基礎數據遷移，本階段徹底停止MySQL數據庫的服務，Oracle數據庫成為JOPENS系統的底層數據管理。最后還需要將測震JOPENS系統中原有MySQL數據庫中所有的歷史連續波形數據和地震事件數據導入Oracle數據庫，即完成了物理數據源的最終歸一。

在本次對于JOPENS系統底層異構數據的無縫遷移，采用基于MetaMatrix中間件的數據集成方式，對于邏輯數據源和物理數據源有效隔離，整個遷移過程，地震實時監測，速報定位等工作從未發生過中斷。

2.3 數據遷移整合中關鍵技術的應用

在地震應急處置平臺中的數據集成，采用的是基于MetaMatrix中間件的異構數據整合。整個遷移過程包括兩大關鍵技術，一是對于JOPENS系統的實時觀測數據訪問在數據持久層的切換；二是異構歷史數據遷移以保證業務應用的完整性。

測震JOPENS系統底層數據持久層切換是將對原有Mysql數據庫的訪問切換到MetaMatrix平臺提供的統一數據服務接口。JOPENS系統底層異構數據遷移的有效、平滑依托持久層的成功切換。這項技術的實施包括在部署的MetaMatrix平臺上，設計MySQL和Oracle雙數據庫模式，通過配置的虛擬數據庫，完成雙數據庫模式之間的轉換。在對JOPENS系統應用層的關鍵模塊，如流服務器、實時波形處理服務、速報定位與控制臺等的配置文件，修改其數據服務連接信息，由對MySQL的數據訪問改為對MetaMatrix統一數據接口訪問。

歷史異構數據遷移，需要首先分析被遷移數據的庫表模式，數據質量，了解SQL語句、存儲過程和函數等信息。然后選擇合適的Oracle數據庫類型，利用數據建模工具將DDL由MySQL數據庫轉換到Oracle數據庫。最后，需要對遷移到核心Oracle觀測數據庫的歷史數據進行內容和效能驗證。采用腳本測試法，確保JOPENS系統的關鍵場景都能夠正確運行。

3 結論

本文通過對地震業務數據的分析，比較了數據倉庫與基于中間件兩種不同的異構數據集成方法在地震應急處置中的應用，并對核心測震JOPENS系統的數據持久層，基于MetaMatrix中間件，進行了從MySQL到ORACLE的整合。由此，輔以應急背景基礎數據的，核心觀測數據庫，將達成地震科學數據的有效共享，從而促進震后全面分析決策，科學高效地開展應急響應與救援決策。

參考文獻

[1]帥向華，姜立新，王棟梁.國家地震應急指揮軟件系統研究[J].自然災害學報，2009，18（3）：99-104.

[2]Jin Qiang， Yong Li Guanyu， Zhang Jun. Development and present situation of heterogeneous data integration technology [J].Computer Engineering and Application， 2002， 113（11）：45-50.

[3]Jiawei Han， Micheline Cambers. Data Mining concepts and Techniques[M].北京：機械工業出版社，2008：67-96.

[4]Zhou S， Wang P.The integration of multi-source heterogeneous data based on middleware[J]. Information Science and Engineering （ICISE）， 2009 1st International Conference on p： 2213-2216；

[5]MetaMatrix Enterprise Data Services Platform[EB/ OL]. https：//www.jboss.com/products/platforms/ dataservices，2010.