非編媒資

一、數字媒體存儲需求特點與方案

1、業務應用特征


數字媒體業務需要實現數字媒體內容的存儲、管理、共享、遷移等,實現內容集成運營平臺的音視頻節目、資料等媒體資產的數字化管理,解決音視頻等多媒體數據資料的編目管理、檢索查詢、非編素材轉碼、發布、工作流程管理等問題。


由于存儲系統將成為整個平臺的重要支撐,必須滿足內容管理系統指定創建、挖掘、存儲、管理、應用、發布各種形式信息的要求,為內容管理系統提供數據的存放與調度的集中硬件環境,以高效的保存和利用媒體資產


2、存儲需求特點


有上述工作模式可見,整個平臺需要存儲系統具備以下幾個特點:


(1).讓所有制作人員和程序能夠直接共享訪問,需要文件全局共享:

確保管理流程中素材相關文件不需要拷貝或者傳輸就能夠進行無縫的共享,讓整個工作流程中的各階段流程能夠順暢的進行,從而提高整體業務的運轉效率。


(2).支持更多的檢索、轉碼、發布等任務,需要較高的性能:

為了能夠更好的支持快速對海量的數字媒體內容進行相關的管理和檢索,充分利用媒體資產的深入價值,就必須能夠在海量的內容中快速的檢索到需要的數據,這就要求存儲系統必須具備較高的性能。如果存儲系統的數據讀寫速度達不到40Gb/s,那么管理工作站的CPU就會處于等待狀態,導致業務運行效率低下,流程進展緩慢。


(3).按需建設,在線擴展的大容量存儲系統:

由于媒資資產的清晰度越來越高,文件也越來越大,那么整體的數據量就非常大,如果不能將海量的數據進行較好的統一存儲和管理起來,并且不能按需在線擴展施工,數據就被分散的存儲到多個獨立的存儲系統內,導致后期制作過程浪費大量人力物力,也影響項目的進程。


(4).無縫融合到現有環境,不修改現有的業務環境:

為了能夠充分的利用現有的硬件和網絡,存儲系統必須充分兼容現有體系,包括硬件、網絡、軟件體系等。


(5).大文件、小文件混雜,對存儲系統壓力非常大:

在制作過程中,會有很多的高清視頻,可能有數十MB,大的甚至有數十GB;同時也會有海量的圖片相關素材。傳統存儲在這種大小文件混雜的情況下,如果需要將大文件、小文件分開存儲,就需要數據歸類和遷移,給管理維護帶來困難。


(6).更高的數據安全性:

普通的方案只能提供硬盤級的安全性?;?,像RAID5同一時間最多只能允許一塊硬盤出現損壞,RAID6同一時間只允許損壞兩塊硬盤,但是當總數據量達到數千TB,使用大容量硬盤導致RAID重建的時間遠遠超過5個小時,那么硬盤連續出現故障的頻率會更高,容易出現整個盤陣數據丟失的情況。


3、存儲解決方案

目前的存儲方案有四種類型:直連存儲(DAS)、網絡區域存儲(NAS)、存儲區域網絡(SAN),以及近幾年發展起來的集群存儲(Clustered Storage)。每種方案類型具備各自的一些特點,其中屬于網絡存儲的NAS、SAN都由于其架構特點更多應用在數據量在數十TB,并發訪問量在20臺以下的環境中,如數據庫之類的應用,但是一旦數據達到了百TB級,并且有上百個工作站并發訪問,SAN、NAS這種集中式架構就會出現瓶頸。


在大數據量、高并發訪問的業務需求發展背景下,國外的谷歌、亞馬遜等企業都采用了類似集群存儲理念的技術架構來提升系統的靈活性,支撐起數千TB、上千個計算機并發訪問的業務平臺。集群存儲已經快速發展成為和NAS、NAS并列的一種技術架構,成為面向海量數據時的重要選擇。研發團隊源自中科院的龍存科技作為2002年開始從事集群存儲系統研發生產的企業,已經將旗艦產品LoongStore集群存儲系統應用在了影視動漫后期制作過程中,得到了大量的應用實踐和效果。



二、龍存科技解決方案介紹

1、傳統存儲方案分析

結合在媒體資產存儲管理過程中對于存儲系統容量、安全性、擴展性方面的強烈需求,我們可以來分析傳統的SAN或者NAS在這個環境里面的應用特點:


SAN:SAN提供通過高速光纖通道或者以太網絡給應用的是塊級訪問接口。在應用端看到的是一塊硬盤,實際使用時需要進行格式化處理或者另外配置管理軟件。SAN具有如下幾個特點:


(1).不能文件共享:該方案相比直連盤陣(DAS)更具靈活性和可擴展性,SAN不能支持文件級共享。在具有海量素材文件的環境中,不能文件共享的SAN會給管理維護帶來巨大的成本,同時也會影響業務運行的效率。所以SAN更加適合作為數據庫這類不需要文件共享而需要較低延時的結構化數據存儲。


(2).使用維護復雜:SAN使用了大量專用、復雜的硬件,這就需要較高的系統構建成本、運營維護成本,兼容性的問題也會對系統將來的升級帶來不便。


NAS:NAS是一種較為簡易的文件共享解決方案。NAS通過NFS/CIFS協議給前端應用提供全局的文件共享,來滿足多應用服務器之間的業務協作。在具有大量數據,并且有高并發的環境中:


(1).性能瓶頸:NAS以集中式數個NAS機頭的方式為應用提供存儲服務,其性能受限于該服務器的配置,其總帶寬一般不超過500MB/s。在業務訪問量較大的情況下,往往會需要超過2GB/s的帶寬,那么NAS將很快成為業務的性能瓶頸。NAS即便使用多臺NAS機頭同時提供服務,但是其數量極為有限,導致其性能受限于NAS機頭的數量。


(2).NAS也存在最大存儲容量(如數百TB)、單卷存儲容量(如數十TB)、文件數量(如數百萬)等諸多限制。在數據不斷增長的情況下,這些限制將會給數據的統一管理維護帶來不少困難。


2、龍存集群存儲方案介紹

LoongStore是面向海量數據存儲和高并發訪問的應用而設計的大規模通用集群存儲系統,采用通用智能存儲節點作為基本的構建單元,為應用提供全局統一的系統映像和完全POSIX兼容的API接口。


LoongStore集群存儲系統采用了完全的分布式架構,將存儲服務器集群和元數據服務器集群通過高速以太網絡構建,具備良好的擴展性和可靠性。利用LoongStore的相關軟件功能消除集群內的單點故障,避免因為故障而導致服務中斷或者數據丟失等影響,并且打破了傳統存儲系統容量、文件數量的種種限制。

LoongStore存儲系統主要由應用服務器集群、元數據服務器集群、智能存儲服務器集群三大部分組成。元數據服務器集群管理文件系統的元數據,管理整個存儲系統的命名空間,對外提供單一的系統映像。智能存儲服務器集群存儲用戶的實際數據,是整個LoongStore存儲系統的存儲資源提供者。


3、龍存科技存儲方案特點

(1).文件全局共享

LoongStore大規模集群存儲系統提供文件全局共享功能,所有計算節點都可看到一致文件系統視圖。數據的全局共享可以加強各計算節點之間的協作,提高了作業的運行效率。而且數據的統一管理也方便用戶數據的統一管理,并簡化應用系統的開發。


(2)海量數據高效管理.

隨著資料處理業務的增多,存儲系統中將積累大量的數據,存儲系統里面的文件數量也會快速增長。當存儲系統內的文件數量增長到數千萬以上時,文件的檢索查找等操作將會給文件系統帶來巨大的壓力,特別是一個目錄下面存放的文件超過一定數量甚至會造成文件查找效率急劇下降。這就需要存儲系統能夠容納海量的數據,而傳統的存儲系統都有單個存儲卷容量大小的限制(如16TB/2TB)。


在訪問大文件時,讀寫過程往往需要高帶寬,LoongStore集群存儲系統可以將大文件切分為數個小切片對象,將這些小的切片對象分布到不同的存儲設備上從而達到均衡訪問壓力的效果,即使在帶寬不足時也能夠擴展更多的存儲設備來提升對于大文件的訪問能力。在訪問小文件時,對于海量文件的檢索查找往往會是存儲系統的壓力所在,LoongStore則通過擴展管理文件檢索信息的元數據服務器來提升文件的查找效率,消除可能存在的瓶頸。在實際案例中,LoongStore有通過構建超過10臺元數據服務器來支撐上百億的海量小文件,獲得了非常高的文件查找速度。


單卷可支持PB級的存儲空間,高效的管理上百億個文件,單目錄可以高效支持千萬級的文件數量。這些特性對于數據量較大又需要統一管理的應用非常重要。通過同時對于大文件、小文件都能夠較好的支撐,方案中我們可以不需要在業務運轉過程中有意識的區分大小文件的存儲,而是可以統一將所有的文件數據進行存儲和管理,從而達到簡化管理的目的。


(3).數據讀寫性能

應用中多個工作站需要共享訪問數據文件,在一些數據訪問高峰期會給存儲系統帶來較大的IO壓力。LoongStore集群存儲系統通過多臺存儲服務器提供同時數據存取服務的方法以滿足大量應用服務器的并發訪問需求。在應用服務器端,當應用程序往存儲系統上寫文件時,文件將會被根據一定大小進行分片存放到多臺存儲服務器上;在應用程序讀文件時,則并發的從多個服務器上讀取數據。由于大量的數據IO請求都被分散到多臺存儲服務器上,使得所有的存儲服務器上的磁盤性能和網絡帶寬都可以同時得到充分的利用,這樣LoongStore集群存儲系統的聚合帶寬由多臺的存儲服務器上的IO帶寬相加而成,從而克服了NAS的單一出口點所造成性能瓶頸,可以滿足多臺應用節點并發訪問的帶寬需求。


通過實現多存儲服務器的并發數據訪問支持,消除了傳統存儲系統中常見的負載不均導致的熱點數據問題。LoongStore通過數據在存儲服務器集群中的條帶化分布實現高效、全面的負載均衡功能,充分利用硬件和網絡的性能,發揮出更高IO吞吐量。


(4).數據安全性

基于數據安全性方面的考慮,用戶可以通過LoongStore配置工具設置數據相應的安全等級,選擇將數據和校驗數據分別存放在不同的存儲服務器上。LoongStore存儲系統可以同時使用多條高速數據通道,可消除網絡層的單點故障,進一步提高系統的高可用性。在這樣的情況下,即使出現存儲服務器宕機、網絡中斷、磁盤損壞時,仍然能夠保障數據完整性和數據服務的持續運行。例如,在運行中存儲服務器由于磁盤損壞而丟失了該磁盤上的部分數據,LoongStore集群存儲系統將會立刻發現該異常并自發的啟動數據恢復流程,利用存放于其它存儲服務器中該部分數據的校驗數據重新生成一份以保證數據仍有一定的冗余度。由于LoongStore的數據恢復是基于真實丟失的數據,并且數據恢復是通過整個存儲集群同時并發進行,所以相對于傳統的RAID技術具備更快的數據重建速度,這也能夠有效提升數據的安全性。


通過將數據和校驗數據存放在不同存儲服務器的方法可以對一系列的軟硬件故障(網絡、主機、磁盤等)進行自動的隔離,消除了存儲系統的任何單點故障,而且也無需配置任何復雜的配置。同時由于存儲系統內的文件素材的訪問權限實現了較好的安全策略,能夠通過和域控服務器實現較好的結合,所有的目錄或者文件的訪問都會經過存儲系統對于用戶名的檢查,確保文件是被正確的帳號訪問,從而達到更好的數據安全性保密性。


(5).可動態擴展性

LoongStore集群存儲系統可以支持動態的擴展存儲容量,而無需中斷應用的運行。用戶可以通過LoongStore的配置工具動態添加存儲服務器以擴大系統的容量和規模,而且隨著存儲服務器數據的增多,整套系統的聚合帶寬也會線性的增長,完全可以滿足業務不斷發展所產生的容量和性能需求。


工業標準的通用硬件良好的兼容性和可獲得性方便了整套存儲系統將來的使用和擴展,LoongStore支持在1小時內無縫的在線增加上百TB存儲容量,確保業務系統的連續性。


(6).系統可維護性

LoongStore存儲系統配有簡單易用的圖形化管理和監控界面,支持通過專用的安全通道進行遠程配置和全系統監控,能夠智能的發現各類軟硬件故障并進行處理,減少了管理員的工作量。


(7).與現有環境無縫兼容

LoongStore存儲系統的設計是面向通用的硬件和軟件環境,如使用通用的以太網絡作為數據傳輸通道可以確保充分利用現有的環境,并且可以無需對環境做出任何修改。另外LoongStore能夠直接支持Linux、Windows等常用的操作系統之間進行數據共享,無需對操作系統做任何修改,所以能夠無縫的接入到企業現有的軟硬件環境。


(8).系統的整體擁有成本

LoongStore大規模集群存儲系統能夠極大的降低構建和運維成本,主要有以下幾點:

a.極大地提高了數據可用性

通過LoongStore內置的高可用和故障自動恢復功能等卓越的功能,極大減少了系統由于維護或備份恢復所需的大量時間,從而徹底提高了企業的生產效率。


b.數據的充分共享

數據可以被前端的各種類型的主機共享,無需在Linux和Windows系統之間進行數據遷移。這允許一個數據拷貝被所有人員與進程共享,大大減少了對不同環境下相同的數據的多種形式的管理費用。


c.存儲的運維成本

由于LoongStore采用了通用、企業級的硬件構建,具有極高的性價比和兼容性。管理員可以輕易的掌握LoongStore的運維管理,使得培訓支出上的費用大大減少。