面向油氣地質力學研究的高性能計算平臺構建

王白羽

（中國石油新疆油田分公司數據公司，新疆 克拉瑪依 834000）

0 引言

高性能計算環境在工業仿真、油氣地震資料處理上的應用已經較為成熟。在地質力學研究仿真計算的應用方面，由于計算量相比地震資料處理來說相對較小，因此并行計算的應用較少。但是，隨著非常規能源在全球油氣勘探開發中的地位日漸凸顯，致密油是當下非常規油氣領域的熱點，致密油藏高效開發中的難點問題則越來越需要地質力學仿真計算的成果提供更加有效的依據［1］。隨著仿真計算規模的增長，使用工作站作為仿真計算環境已不能滿足需求。

1 問題描述及需求分析

在地質力學研究所涉及的專業軟件中，斯倫貝謝公司的Petrel 油藏地質力學研究平臺是常用軟件。其為油田開發業務中的地質力學研究提供了一體化高效的建模仿真平臺。Petrel能夠無縫銜接有限元地質力學模擬與其他解釋及建模流程，包括有限元地質力學模擬器Visage、油藏數模模擬器Eclipse、大型復雜油藏數模模擬器Intersect 等。

在研究過程中，需要在Petrel 平臺進行各種地質建模，如構造模型、相模型、屬性模型等，這個過程需要專業顯卡的支持。完成模型及參數設置后，再使用Visage 等仿真計算模擬軟件，按照步驟加載模型及參數，最后提交作業，進行應力場模擬、地應力預測等模擬場景。這個過程需要消耗大量內存，且會出現由于內存不足中央處理器（Central Processing Unit，簡稱CUP）未能充分發揮計算能力的情況。因此，地質力學研究過程大致分為交互應用和計算應用兩類。

為提高研究效率，適應科研人員同時進行交互應用和計算應用的特點，就需要融合專業軟件云平臺以及高性能計算集群，構建面向地質力學研究的高性能計算平臺。

專業軟件云是基于遠程三維可視化技術、虛擬應用或桌面云交付技術構建的SaaS 云平臺，主要實現油氣行業專業軟件的云交付，包括遠程會話管理、許可調度管理。

2 系統實現及應用

地質力學建模研究高性能計算環境總體架構由基礎層、系統層、功能層、應用層自下而上組成，如圖1所示。

圖1 面向油氣地質力學研究的高性能計算平臺總體架構

2.1 基礎層

基礎層為高性能計算環境提供所需的硬件基礎設施。服務器集群由高性能計算集群、專業軟件應用集群組成。高性能計算集群主要提供高性能計算服務，專業軟件應用集群提供與用戶交互的專業軟件界面服務。由于地質力學建模計算無須圖形處理器（Graphics Processing Unit，GPU），高性能計算集群中的服務器可以不配置GPU。由于Petrel 平臺中三維建模需要專業顯卡加速渲染，專業軟件應用集群必須配置GPU。

網絡環境如圖2所示。由基于以太網的智能平臺管理接口（Intelligent Platform Management Interface，IPMI）網絡、高性能計算網絡、SaaS 服務網絡組成。IPMI 網絡主要向服務器的運維管理提供網絡支撐。高性能計算網絡有25 GB 鏈路互聯，保障高性能計算集群以及分布式共享存儲的通信。SaaS 服務網絡主要是專業軟件服務器接入10 GB 鏈路，提供用戶遠程交互網絡通信。

圖2 網絡拓撲圖

分布式共享存儲向整個高性能計算環境提供數據存儲服務，所需的工區數據、成果數據均存儲在此設備上，通過通用并行文件系統（General Parallel File System，GPFS）提供跨平臺、高每秒進行讀寫操作的次數（Input Operations Per Second，IOPS）場景的數據存儲及共享能力。

2.2 系統層

系統層基于Slurm 框架定制開發的作業調度及管理系統，通過集成應用VNC Viwer，將Linux 命令行交互窗口與專業軟件遠程交互窗口無縫對接。系統層通過適配Visage、Eclipse、Intersect的消息傳遞接口（Message Passing interface，MPI），打通Slurm 作業調度及管理服務能力；接收用戶提交作業腳本，將作業根據策略分發到基礎層的計算節點中，并實時對作業狀態進行監控；能夠對作業進行編輯、撤銷、變更等管理操作，將完成的作業提交給上層交互界面，是高性能計算環境實現作業調度及管理的核心層。

2.3 功能層

功能層向應用層提供必需的系統功能，包括應用交付、應用集成、虛擬網絡控制臺（Virtual Network Console，VNC）會話管理、Citrix 會話管理、資源管理、資源監控、數據管理、作業調度管理。①應用交付是將安裝在Windows 系統中的Petrel 軟件以虛擬應用或虛擬遠程桌面的方式交付給遠端用戶。用戶通過Web 瀏覽器實現專業軟件的交互使用。②應用集成功能主要實現專業軟件中MPI 高性能計算作業接口與Slurm 作業管理及調度接口適配及集成。③VNC 會話管理實現Linux 平臺虛擬遠程桌面會話的管理，包括會話交付、啟動、共享、監控、刪除。④Citrix 會話管理實現Windows 平臺虛擬應用會話或虛擬遠程桌面會話的管理，包括會話交付、啟動、共享、監控、刪除。⑤資源管理功能實現服務器資源負載均衡策略定義、編輯，實現集群節點的加入、編輯、維護、刪除管理。⑥資源監控功能實現計算節點的CPU、內存、GPU 資源利用率的實時監控。⑦數據管理即面向用戶提供專業軟件應用的工區數據、模型數據、成果數據的存取、傳輸、共享、權限分配等數據管理功能。⑧作業調度管理即用戶設置好計算所需的參數和腳本，提交作業。用戶可進行作業狀態查詢、作業編輯、刪除等操作。管理員可對作業隊列、作業優先級等進行管理。

2.4 應用層

應用層向用戶提供油藏地質力學研究軟件應用環境，主要是基于Petrel 平臺，并通過Visage、Eclipse、Intersect 軟件對不同領域數模開展研究。

科研人員主要應用高性能計算平臺，分別在水平井軌跡跟蹤、四維巖石力學建模、壓裂縫網模擬、耦合數值模擬等方面開展研究工作，這個平臺能夠支持大型計算作業規模。利用30 個CPU 核并行處理，就能夠計算近4 000萬網格的規模，且平均耗時12小時。

3 結語

本文通過分析地質力學研究工作對高性能計算應用的特點，基于以太網絡，融合專業軟件云的優點，研究了高性能計算平臺的構建。高性能計算平臺能夠勝任大型、超大型地質力學建模工作，滿足多人同時提交作業、作業進度可監控的需求，使科研人員能夠多人協同進行大型、超大型地質力學仿真計算。