地震解釋系統中集群并行存儲系統研究與應用

侯朋輝/中石化河南油田分公司石油物探技術研究院

地震解釋系統中集群并行存儲系統研究與應用

侯朋輝/中石化河南油田分公司石油物探技術研究院

本文討論了全局統一命名空間的集群并行并行存儲系統在地震資料解釋中的應用。針對高性能計算技術中地震資料解釋系統中成功運用分布式并行存儲系統、建立存儲池、優化存儲存取鏈路、基于全局統一命名空間對存儲管理以及存儲整合。

地震解釋；集群；存儲；并行存儲；存儲池

1、引言

隨著地震勘探技術的發展，產生海量地震數據飛速的增長，對數據存儲帶來的挑戰也是非常明顯的，由此地震解釋系統中對存儲系統對高性能、穩定性、和可擴展性等也提出了更高等要求。運用集群并行存儲技術、將存儲資源池化、從而有效的優化存儲鏈路、存儲資源整合、存儲I／O帶寬性能、滿足了地震解釋對存儲的新的需求。

2、集群并行存儲構建

1）使用環境

河南油田物探院地震資料處理中心擁有多套計算機集群和近2PB的分布式集群并行存儲系統。在本文中我們討論一個地震資料解釋項目應用分布式并行存儲系統的案例。

在該地震解釋項目中我們使用的地震資料解釋硬件平臺是31節點刀片服務器集群系統、并針對地震資料解釋系統的需求對該集群系統環境進行了相應對優化。

存儲系統使用BaseCluster分布式并行存儲集群中抽取4個存儲控制器提供200TB對存儲系統。

所有的集群計算節點和存儲系統全部采用全線速萬兆網絡連接。

2）BaseCluster并行存儲簡介

怡立BaseCluster并行存儲系統，是一個集群設計和全局命名空間的基于對象的并行文件系統，采用并行共享文件系統，來統一管理存儲，為在網的各類計算機主機提供統一的存儲，當一個項目和工作組需要存儲時，動態地分配所需存儲空間，項目完成釋放存儲空間給其他項目使用，非常便捷。

怡立BaseCluster并行存儲系統是一個多功能結構一體化存儲解決方案，在每存儲個設備上集成了并行存儲控制器、磁盤陣列控制器、并行存儲管理軟件等，使用彈性Hash算法定位數據位置，摒棄元數據服務，高效穩定。在配置條帶化的數據卷，所有并行存儲控制器同時并行讀寫數據，具有很高的效率。

3）存儲規劃

在使用BaseCluster之前，要根據本單位的實際進行存儲規劃，把用戶和所使用的空間（Volume）、數據塊對應起來，以便設置和日后的維護。

BaseCluster并行存儲的RAID控制器是基于空間的RAID技術，除了具有優越的讀寫性能外，在使用的靈活性方面也比較優秀。它可以在一個控制器里設置多個任意容量任意級別RAID組，所以我們只需考慮一個最小和最大的用戶卷所需的數據塊的大小設置。通過不同的chunk數據塊，為用戶生成不同容量的并行存儲卷。

zoning規劃：

每臺并行存儲分為兩個zoning， 分別為zoning Group8、zoning Group9。

Zoning Group8包含1到12槽位磁盤驅動器、Master并行控制器、Master RAID控制器。

Group8的Zoning端口:phy0-phy3，phy12-phy23。

Zoning Group9包含13到24槽位磁盤驅動器、Slave并行控制器、Slave RAID控制器。

Group9的Zoning端口:phy4-phy7，phy24-phy35。

RAID規劃：

每個zoning中化分一個RAID組，每個RAID組建立兩個20TB的RAID卷和一個10TB的RAID卷。

生成用戶卷規劃見表2-1：

用戶卷規劃表2 -1

一般情況下，一個用戶卷設定后，你可以在Volume管理中增加chunk的方式來增加用戶卷的容量容量，在使用過程是不可以進行減少容量，更不能進行刪除操作，這是防止管理員誤刪數據而設定的機制。如果你需要減少容量的話，需要先確認你當前的容量的數據量大小和你減少之后的存儲容量大小是否能夠匹配。也就是說你的數據能不在您的減少之后的存儲設備里存儲下的問題。

3、基于并行存儲的統一命名空間的存儲資源池化管理

通過存儲資源池化，使得多個文件存儲設備的環境中的文件訪問和管理得以簡化。如圖3-1管理員除了可以管理目標為單個命名空間的文件映射，還可配置目標為統一全局命名空間的文件映射。此外，因為客戶端通過全局命名空間訪問文件，所以其文件可跨統一存儲池中的多個設備存儲。存儲容量的這種聯合，讓組織可以高效利用存儲容量，并集成現有基礎架構中的各種存儲技術，將文件的邏輯訪問與文件的物理位置相脫離，使文件的物理位置變更能以對客戶端系統透明的方式進行。因此，管理員在執行需對物理環境進行更改的管理任務時，僅會造成最少的中斷和停機。

圖3-1 管理界面

在本項目中我們將其中的兩臺并行存儲劃進一個存儲池中，每臺并行存儲都具備雙并行控制器，分別把每個控制器都加入到該存儲池中，根據之前到規劃，我們分別在存儲池中到各個控制器里取不同到chunk數據塊分別建立一個80TB的分布式卷，一個80TB的條帶化卷和一個備份卷輸出給用戶使用。

4、并行存儲在地震解釋系統中的應用場景

在最初測試我們把landmark 應用直接安裝在BaseCluster集群并行存儲系統之上并且把landmark地震工區也創建在BaseCluster集群并行存儲系統之上。我打開任意大小的拋面時發現會比較慢的現象，我對系統進行里讀寫測試發現速度并不慢如圖4-1。

圖4-1 速度測試

后來我通過排查發現，landmark應用在運行時會頻繁對向系統寫入很小對log日志。每次寫入并行存儲都要進行哈希計算，從而影響里并行存儲的性能。

最后我們我們把landmark 應用安裝在計算節點系統本地，只把landmark地震工區創建在BaseCluster集群并行存儲系統之上。再打開范圍大小內的地震剖面時就很理想。如圖4-2

在該項目中我們，按照之前的規劃，我們創建的的三個存儲卷，我們把80TB的分布式卷用做lanmark的存儲數據的主存儲，另外80TB的條帶化的存儲，我們做做三維或者時在做jason應用的反演時用該存儲卷，因為條帶化的卷的I／O存取帶寬較高，做三維或反演時用戶體檢較好。另外的20TB的備份卷，它具有自動對寫入對數據進行分布式對備份復制功能，我們主要將該卷用做存儲成果數據和安全級別較高的數據。

5、結束語

通過對并行存儲在地震解釋系統中的應用研究，不斷的完善和改進了并行存儲的使用方法過程并且優化了并行存儲系統應用效果達到最優I／O，進一步提高了集群并行存儲系統在地震解釋系統中的利用率和工作效率。

圖4-2 地震剖面圖

[1] Rajkumar Buyya.鄭緯民,石威,江東升等譯.高性能集群[M].電子科技.2010.5

[2] 戴志敏.存儲虛擬化技術研究[M ]高性能計算.2012.12

[3] 劉仲,章文嵩,王召福等.基于對象存儲的集群存儲系統[M].計算機工程與科學.2009.4