大慶油田龍存集群存儲系統二期案例

由于龍存科技在大慶油田一期存儲項目中得到了大慶油田用戶的廣泛好評,特應要針對大慶石油高性能計算平臺數據讀寫特點進行二期存儲系統的定制研發,以滿足現今計算飛速發展而對存儲帶來的需求。



一、背景

大慶油田是我國目前最大的油田,也是世界上為數不多的特大型砂巖油田之一,近年來隨著并行計算機、高性能集群技術以及GPU等硬件的快速發展,石油勘探的計算頻率也得到了巨大的提升,為滿足石油勘探軟件的不斷變革與推新所帶來的存儲需求,存儲系統就需要針對石油勘探軟件算法的特點,對存儲系統進行定制開發,以滿足石油勘探計算平臺的需求,為大慶油田的高性能計算平臺構建一個高性能、高可用的存儲平臺。




二、挑戰

存儲系統需針對石油勘探計算平臺中多種石油勘探軟件的I/O模式進行分析,解決在高性能計算平臺中由于計算任務量大、并發度高、隨機性強等因素帶來的巨大訪問壓力;


計算平臺在計算過程中會產生海量無規則的大小文件,存儲系統需高效的支持海量文件的并發訪問以及快速檢索;


由于石油勘探軟件運行模式的多樣化,在某段時間內應用平臺在訪問數據時存在局部性,為使計算任務的效率更高,存儲系統需根據應用系統局部性的特點,通過智能緩存技術來加速石油勘探計算應用數據的訪問;


由于整個計算平臺是面向研究院的各個科研室的共享平臺,為防止用戶之間發生數據篡改或誤刪除現象,存儲系統需要提供面向多用戶的權限管理技術來保證不同任務數據的安全性;


整個計算平臺在實際的使用環境中處于7*24小時的實時運行環境,存儲系統需要提供全局數據高可用機制防止硬件設備損壞導致的數據丟失;


計算平臺在實際的使用過程中,隨著計算任務規模的不斷擴大以及系統硬件設備的更新換代,需要存儲系統能夠實現不?;諳呃┤菀約案煥暇繕璞?。




三、龍存集群存儲優勢

龍存科技研發團隊由中科院多名碩博組成在項目上已經有多年研制和實用經驗,并在多個行業提供了大量的解決方案和系統方案,支持了國內眾多的海量數據用戶,積累了豐富的專業知識和技術。針對于不同應用軟件,具備很強的研發能力,可根據應用特點對存儲系統進行定制研發;


龍存存儲系統完全采用通用硬件構建,而性能又能極大超越傳統的存儲系統,是目前業內具有最佳性價比的存儲產品,能夠為石油勘探行業節約大量的購買和維護成本;


此項目完全針對石油勘探軟件應用訪問特點進行定制性開發,具有獨特的創新性、唯一性和領先性,安全可靠,通過獨有的元數據集群技術,高效的分片技術以及數據恢復等技術,具有世界領先的先進性,創新性,完全符合石油勘探計算平臺的長期存儲需求。




四、龍存帶來的提升

龍存科技針對高性能計算研發了獨特的數據恢復算法,使整個存儲空間利用率高達80%,且數據恢復速度比傳統RAID機制數據恢復機制提升五倍以上;


根據石油勘探多用戶訪問特點,研發獨特權限機制,可以動態設置目錄容量以及訪問權限,完全屏蔽掉由于多用戶應用模式存在的安全隱患;


完全針對石油勘探應用訪問特點進行定制研發,整個存儲平臺同時運行多款石油勘探軟件,包括Omega、CGG、GeoEast、Agt、閃電等多種處理軟件,并在性能上得多種處理軟件得到較大提升;現今整個平臺可為用戶提供超過12GB/s的聚合帶寬,以及1PB的實際使用空間;