能源

一、背景

油氣田勘探開發是一個集石油天然氣地質勘探、油氣田開發、地質開發試驗和計算機應用等為一體的綜合性應用科學,具有數據報表類型多,數據量非常龐大等特點,每一個勘探單點都會有幾個GB甚至幾十個GB的數據量。隨著技術的發展和進步,原油公司對地球勘探開發的要求越來越高,需要處理的數據量呈“指數級”難以想象的速度增長,需要借助高性能機群的數據處理能力,在最短的時間里對采集數據進行精細處理,通過綜合解釋研究,為下一步的鉆井、開采提供真實反映地下構造的基礎數據。應用涵蓋了地震資料的處理解釋、測井資料的處理解釋、試井分析、油氣藏數字模擬、盆地分析模擬、圈閉描述評價、油氣描述及儲量計算等。


二、挑戰

1、油田勘探開發數據量大

一條二維數據測線的地質資料,數據量達數十GB;一條三維數據測線的地質資料,數據量高達數百GB;每次進行并行計算的數據總量更是高達數十TB乃至數百TB。


2、高性能處理要求高I/O帶寬

高性能計算集群極大的提高了資料計算處理能力;系統的計算能力遠遠高于磁盤帶寬,使得系統I/O性能與計算能力間產生瓶頸;如在幾小時內完成至少100平方公里的三維地震數據處理,其I/O峰值就可達每秒數百兆;高數據量要求高計算并行度,高計算并行度帶來對數據訪問的共享與并行性能要求。


3、海量數據的存儲管理

數據容量高達數百TB且還在不斷增漲;地震資料數據異常珍貴,損壞、丟失都會造成巨大損失;管理員需要加大管理靈活度,要求能夠對數據進行統一調配。


4、高可用性與可擴展性需求

靈活的存儲架構,具有故障恢復、故障切換、負載均衡等功能;不影響原有系統的前提下的計算節點、傳輸帶寬、數據遷移能力、數據存儲容量等方面的擴展。


三、龍存解決方案

1、方案說明

LoongStore 集群存儲系統是一款針對海量數據存儲應用而設計的大規模通用文件共享集群存儲系統,采用通用的硬件設備作為構建單元,為應用提供全局統一的文件系統映像和完全與本地磁盤兼容的訪問接口。LoongStore存儲系統依靠靈活的集群架構滿足石油和天然氣公司的需求。


2、方案特點

按需擴展容量與性能:

NAS 和 SAN 系統架構固有的局限性,導致了管理的復雜、有限的擴展性和高昂的成本。LoongStore存儲系統將數據統一存儲到同一個存儲空間,在單一的存儲集群中節點數可達數萬個,而且單一的文件系統支持的最大容量達64PB。 LoongStore靈活的擴展性允許在線擴容,管理員可以很容易的添加智能存儲節點或者硬盤,容量立即可用,而且擴容過程不影響前端的應用,同時系統的總體IO帶寬隨著規模的擴大線性增長。


支撐高并發數據訪問:

LoongStore 集群存儲能夠消除石油和天然氣公司的傳統存儲環境存在的信息孤島,支持在一個統一的存儲系統空間存取大量的數據,而且提高所有數據的訪問性能,實現了真正意義上的突破。LoongStore 的帶外數據傳輸機制,能夠讓應用服務器和智能存儲節點實現直接地、高并發的數據訪問。LoongStore能夠在單一的文件系統中提供突破性的100GB/s的吞吐量以及每秒數十萬個文件的查詢效率。


提高資料處理連續性:

LoongStore 存儲系統采用了高效的全系統規模數據高可用技術,徹底消除存儲系統中的單點故障,確保用戶的應用持續穩定地運行。LoongStore采取了全局冗余機制,用戶可以將指定的數據設置相應的冗余度,冗余數據存放在不同的服務器上將確保出現智能存儲節點宕機時數據不會丟失,也不會出現服務中斷的現象。另外,LoongStore系統內置了自動故障探測機制,可以動態探測不同的故障,并自動啟動數據的恢復流程確保數據完整性。


無縫兼容現有應用環境:

LoongStore 集群存儲系統提供給地震資料處理的計算節點為與本地硬盤完全兼容的訪問接口,相關作業程序可以無縫的從傳統存儲系統上切換過來。并且由于LoongStore使用開放架構的硬件平臺和標準的以太網絡,這樣企業可以直接將LoongStore集群存儲系統部署到現有的應用環境中,而不需要做任何變化和改動,實現了從硬件到軟件的全方位兼容。另外,LoongStore提供了簡易的管理界面,企業可以輕松實現單點管理,一個人就可以管理容量達PB級的數據。


三、典型客戶介紹

中國石油大慶油田的勘探開發研究院使用LoongStore集群存儲產品作為數百臺高性能Linux集群后端的高效數據存儲平臺,替換了高端的磁盤陣列和SAN共享文件系統方案,將原有的數據讀寫性能提升為原有的五倍以上,大幅度提升了地震資料處理效率,同時還降低了存儲系統的構建成本。目前存儲容量已經超過3PB。