電子政務云

一、背景

平安城市利用平安城市綜合管理信息公共服務平臺,包括城市內視頻監控系統、數字化城市管理系統、道路交通等多個系統,利用市區級數據交換平臺實現資源共享。系統前端數據通過視頻監控系統采集并傳輸到市、區監督指揮調度中心。監督指揮調度中心管理平臺由數據庫服務器、存儲服務器、管理服務器、報警服務器、調度控制服務器、流媒體服務器、Web服務器、顯示服務器和其他應用服務器組成。硬件中除服務器外,還包括各種監控終端、安防產品、為了增加網絡覆蓋而增加的網絡產品、基層組織監控用的計算機設備等,這些產品的需求隨著平安城市系統覆蓋范圍的增加而快速增長。而軟件解決方案除操作系統、數據庫等系統軟件外,還包括各種監控管理平臺、流媒體軟件、監控軟件、智能交通系統、電子警察系統等。平安城市利用平安城市綜合管理信息公共服務平臺,包括城市內視頻監控系統、數字化城市管理系統、道路交通等多個系統,利用市區級數據交換平臺實現資源共享。系統前端數據通過視頻監控系統采集并傳輸到市、區監督指揮調度中心。全國城市報警與監控系統是目前建設平安城市的重要組成。平安城市綜合管理信息公共服務平臺城市內視頻監控系統、數字化城市管理系統、道路交通等多個系統,利用市區級數據交換平臺實現資源共享。


不少平安城市的視頻監控項目中有成千上萬個高清攝像頭,拍攝的碼流有普通的1.5Mb/s和高清的4Mb/s、8Mb/s等,監控數據會保存很長一段時間以便事后檢查和調用。在這樣一個發展下,平安城市預計整體的數據量會超過PB級,同時視頻的數據量還會隨著攝像頭的不斷增多、碼流的提升而快速增長。作為信息基礎架構的存儲平臺將是直接面對海量視頻的存儲挑戰,以及大量攝像頭的并發視頻流寫入的壓力。



二、安防視頻存儲需求特點

1、讓多個服務器/工作站能夠按需訪問視頻內容:

視頻監控中心的多個服務器之間存在一定的協同和內容調用,如果存儲平臺能夠滿足服務器之間同時調用相關視頻內容的要求,那么將會簡化這個業務系統的開發和管理維護。


2、支持超過數萬個攝像頭并發寫入任務,需要高并發性能:

每個攝像頭需要1.5Mb/s或4Mb/s、8Mb/s。攝像頭同時寫入數據就需要GB/s級別的穩定帶寬,可見對于存儲系統的性能要求比較高高。如果存儲系統的數據并發寫速度達不到該性能指標,視頻寫入會處于等待狀態,導致整套系統無法正常運行。


3、按需建設,在線擴展的大容量存儲系統:

由于視頻拍攝的清晰度越來越高,視頻文件也越來越大,整體視頻數據將會不斷增長。為了避免將新增長的數據就被分散的存儲到多個獨立的存儲系統內,要求存儲系統能支持數百PB統一存儲,并且能夠按需在線擴容,避免業務因為擴容而中斷。


4、更高的數據安全性:

當視頻存儲平臺越來越大時,安全性問題也會越來越突出。 如果使用傳統的存儲方案只能提供柜內硬盤級的安全性?;?,像RAID5同一時間最多只能允許一塊硬盤出現損壞,RAID6同一時間只允許損壞兩塊硬盤,但是當總數據量達到數千TB,使用大容量硬盤導致RAID重建的時間遠遠超過8個小時,那么硬盤連續出現故障的頻率會更高,容易出現整個盤陣數據丟失的情況。所以在該項目中的存儲方案必須能夠允許整個存儲柜子損壞而不影響數據完整性和業務連續性。



三、存儲解決方案

目前的存儲方案有四種類型:直連存儲(DAS)、網絡區域存儲(NAS)、存儲區域網絡(SAN),以及近幾年發展起來的集群存儲(Clustered Storage)。每種方案類型具備各自的一些特點,其中屬于網絡存儲的NAS、SAN都由于其架構特點更多應用在數據量在數十TB,并發訪問量在20臺以下的環境中,如數據庫之類的應用,但是一旦數據達到了成百上千TB量級,并且有上千個并發數據訪問,傳統的SAN、NAS類似集中式架構就會出現瓶頸。



在大數據量、高并發訪問的業務需求發展背景下,國外的谷歌、亞馬遜等企業都采用了類似集群存儲理念的技術架構來提升系統的靈活性,支撐起數千TB、上千個計算機并發訪問的業務平臺。集群存儲已經快速發展成為和NAS、NAS并列的一種技術架構,成為面向海量數據時的重要選擇。研發團隊源自中科院集群存儲系統研發生產的企業,已經將旗艦產品LoongStore集群存儲系統應用在了海量視頻存儲業務中,得到了大量的應用實踐和效果。


LoongStore是面向海量數據存儲和高并發訪問的應用而設計的大規模通用集群存儲系統,采用通用智能存儲節點作為基本的構建單元,為應用提供全局統一的系統映像和完全POSIX兼容的API接口。


LoongStore集群存儲系統采用了完全的分布式架構,將存儲服務器集群和元數據服務器集群通過高速以太網絡構建,兩部分集群都具備良好的擴展性和可靠性。利用LoongStore的高可用軟件功能消除集群內的設備級單點故障,避免因為故障而導致服務中斷或者數據丟失等影響,并且打破傳統存儲系統容量、文件數量的種種限制。


LoongStore存儲系統主要由元數據服務器集群、智能存儲服務器集群兩大部分組成:

元數據服務器集群:管理文件系統的元數據,管理整個存儲系統的命名空間,對外提供單一的系統映像。最少為兩臺,實現Active-Active的同時還能相互備份,還可以根據業務需要動態擴展更多的元數據服務器。


智能存儲服務器集群:存儲用戶的實際數據,是整個LoongStore存儲系統的存儲資源提供者。最少為3臺,可以根據容量和性能需要在線動態增加存儲服務器。