數(shù)據(jù)產(chǎn)生與信息爆炸的挑戰(zhàn)
為了更清晰的認(rèn)識(shí)我們所生存的環(huán)境,提高相互之間更溝通的效率,人們收集和創(chuàng)造了大量的數(shù)據(jù),有些是對(duì)物理世界的客觀描述,如原子和分子的組成,或是DNA螺旋的結(jié)構(gòu);也包括煙波浩渺的宇宙中的星系和星云;亦或是人類對(duì)自身歷史的記錄;還有一些數(shù)據(jù)被用于人們相互溝通,如Facebook上每天新增數(shù)十億條內(nèi)容,或數(shù)每天被發(fā)送的數(shù)千億封郵件。
據(jù)IDC統(tǒng)計(jì)報(bào)告預(yù)計(jì),2009年到2020年,全球信息總量增長(zhǎng)44倍以上,將達(dá)到35.2ZB(1ZB=1,000,000PB),如此大規(guī)模的數(shù)據(jù)給存儲(chǔ)系統(tǒng)帶來(lái)了巨大的挑戰(zhàn),人類將如何應(yīng)對(duì)咆哮而來(lái)的數(shù)據(jù)洪流?
存儲(chǔ)方案的演進(jìn)
在人腦數(shù)據(jù)處理時(shí)代,數(shù)據(jù)處理由人類大腦完成,由于大腦存儲(chǔ)容量相對(duì)比較有限,仍然有大量數(shù)據(jù)被存儲(chǔ)在圖書(shū)館。當(dāng)有需要的時(shí)候,人們便會(huì)到圖書(shū)館獲取更多的數(shù)據(jù)。
20世紀(jì)電子與信息技術(shù)迅速發(fā)展,機(jī)器計(jì)算迅速普及, 馮•諾依曼提出了存儲(chǔ)程序邏輯架構(gòu),即現(xiàn)有的計(jì)算機(jī)都遵循的“馮 諾依曼體系架構(gòu)”。但馮諾依曼體系架構(gòu)沒(méi)有考慮并行計(jì)算和數(shù)據(jù)共享情形,在如今的網(wǎng)絡(luò)時(shí)代,大量計(jì)算設(shè)備通過(guò)網(wǎng)絡(luò)形成一個(gè)龐大的,相互獨(dú)立而又統(tǒng)一的計(jì)算系統(tǒng),因此我們可以總結(jié)出一個(gè)數(shù)據(jù)存儲(chǔ)的通用模型,這個(gè)模型包括兩級(jí)存儲(chǔ),其存儲(chǔ)容量差距約1000倍:
SAN和NAS技術(shù)已經(jīng)出現(xiàn)了10多年,目前單臺(tái)SAN或NAS最大容量已經(jīng)做到PB級(jí)別,但在應(yīng)對(duì)EB級(jí)數(shù)據(jù)挑戰(zhàn)時(shí),還是顯得有些力不從心。這主要由于其架構(gòu)和服務(wù)接口決定的。
傳統(tǒng)的RAID和Scale-up的結(jié)構(gòu)也阻止了EB規(guī)?捎玫拇鎯(chǔ)系統(tǒng)誕生,傳統(tǒng)的RAID基于硬盤,通常一個(gè)RAID組最多包含20+塊硬盤,難以支持EB級(jí)存儲(chǔ)規(guī)模,同時(shí)Scale-up這種結(jié)構(gòu)也決定了即使達(dá)到EB級(jí)存儲(chǔ)容量,性能也將成為真?zhèn)系統(tǒng)的短板。
我們?cè)俅位氐饺四X計(jì)算模型,在信息時(shí)代的今天,我們?cè)O(shè)想能否有一種“數(shù)字圖書(shū)館”,它可以共享大量的數(shù)據(jù)給很多人(服務(wù)器/服務(wù)器集群),提供超大的存儲(chǔ)容量千倍于當(dāng)前的高速(SAN和NAS)存儲(chǔ),人們(應(yīng)用)訪問(wèn)數(shù)據(jù)的時(shí)候也不需要知道圖書(shū)館怎么對(duì)這些書(shū),只需要指定一些關(guān)鍵信息(如書(shū)名稱,出版社,作者)就可以獲取到這本書(shū)里面的數(shù)據(jù)。如果書(shū)變得老舊殘破,書(shū)中已經(jīng)/快要爛掉的幾頁(yè)內(nèi)容被這個(gè)“數(shù)字圖書(shū)館”自動(dòng)的抄寫(xiě)到其他紙張上面,并重新裝訂這本書(shū)。而對(duì)于作為數(shù)據(jù)使用者的人們根本無(wú)需知道圖書(shū)館自動(dòng)完成的這一切,只是根據(jù)需要去獲取數(shù)據(jù)資源?
分布式對(duì)象存儲(chǔ)的誕生
隨著信息技術(shù)的發(fā)展,“數(shù)字圖書(shū)館”不再是一個(gè)遙不可及的設(shè)想,對(duì)象存儲(chǔ)使得“數(shù)字圖書(shū)館”成為現(xiàn)實(shí)。對(duì)象存儲(chǔ)系統(tǒng)(Object-Based Storage System)改進(jìn)了SAN和NAS存儲(chǔ)的劣勢(shì),保留了NAS的數(shù)據(jù)共享等優(yōu)勢(shì),通過(guò)高級(jí)的抽象接口替代了SCSI存儲(chǔ)塊和文件訪問(wèn)接口,屏蔽了存儲(chǔ)底層的實(shí)現(xiàn)細(xì)節(jié),將NAS垂直的樹(shù)形結(jié)構(gòu)改變成平等的扁平結(jié)構(gòu),從而提高了擴(kuò)展性、可靠性、平臺(tái)無(wú)關(guān)性等重要存儲(chǔ)特性,實(shí)現(xiàn)了安全數(shù)據(jù)共享的存儲(chǔ)體系結(jié)構(gòu)。
換句話說(shuō)對(duì)象存儲(chǔ)是智能化、封裝得更好的塊,是“文件”或其他應(yīng)用級(jí)邏輯結(jié)構(gòu)的組成部分,文件與對(duì)象的對(duì)應(yīng)關(guān)系由上層直接控制,對(duì)象存儲(chǔ)設(shè)備本身也可能是個(gè)分布式的系統(tǒng)——這就是分布式對(duì)象存儲(chǔ)系統(tǒng)了。
用對(duì)象替代傳統(tǒng)模塊的好處在于對(duì)象的內(nèi)容本身來(lái)自應(yīng)用,其具有內(nèi)在的聯(lián)系,具有“原子性”。同時(shí),對(duì)象存儲(chǔ)架構(gòu)還具有更好的可伸縮性。一個(gè)對(duì)象除了ID和用戶數(shù)據(jù)外,還包含了屬主、時(shí)間、大小、位置等源數(shù)據(jù)信息,權(quán)限等預(yù)定義屬性,乃至很多自定義屬性。
具備EB級(jí)規(guī)模擴(kuò)展性的分布式對(duì)象存儲(chǔ),能夠有效的填補(bǔ)上述通用計(jì)算模型中“網(wǎng)絡(luò)計(jì)算”場(chǎng)景海量存儲(chǔ)單元空白,通過(guò)高層次的數(shù)據(jù)模型抽象,可以簡(jiǎn)化應(yīng)用對(duì)數(shù)據(jù)訪問(wèn),同時(shí)使得海量存儲(chǔ)更加智能。
華為UDS海量存儲(chǔ)系統(tǒng)使你存無(wú)止境
華為基于對(duì)運(yùn)營(yíng)商、互聯(lián)網(wǎng)、高性能計(jì)算等各行業(yè)的深刻理解,憑借深厚的ICT技術(shù)積累,秉承存無(wú)止境,安全可信理念,通過(guò)不斷技術(shù)創(chuàng)新,面向海量存儲(chǔ)市場(chǎng)推出新一代的UDS產(chǎn)品和相關(guān)云存儲(chǔ)解決方案。
UDS采用基于ARM架構(gòu)的低功耗、高密度存儲(chǔ)節(jié)點(diǎn),通過(guò)對(duì)象存儲(chǔ)技術(shù)、P2P分布式存儲(chǔ)引擎技術(shù)、集群應(yīng)用技術(shù)等構(gòu)建海量對(duì)象存儲(chǔ)基礎(chǔ)架構(gòu)平臺(tái),對(duì)外提供多種訪問(wèn)接口,以滿足不同業(yè)務(wù)的適配需求;赨DS可以構(gòu)建多種解決方案,如海量資源池,網(wǎng)盤,云備份,集中備份等。UDS幫助用戶構(gòu)建強(qiáng)擴(kuò)展,易管理,高可靠的系統(tǒng),輕松應(yīng)對(duì)海量存儲(chǔ)環(huán)境下的各種挑戰(zhàn)。
華為UDS(Unified Distributed Storage)海量存儲(chǔ)系統(tǒng)以對(duì)象作為基本存儲(chǔ)形式,通過(guò)分布式技術(shù)將本地或異地的海量存儲(chǔ)節(jié)點(diǎn)的存儲(chǔ)資源進(jìn)行有機(jī)的整合,形成一個(gè)跨地域,跨設(shè)備,可橫向擴(kuò)展的EB級(jí)的大型分布式對(duì)象存儲(chǔ)系統(tǒng);該系統(tǒng)通過(guò)多種安全、可靠的存儲(chǔ)技術(shù)確保數(shù)據(jù)私密性及數(shù)據(jù)高可用;通過(guò)自動(dòng)化部署、豐富的生命周期管理策略及高效節(jié)能特性,提高運(yùn)維效率。華為UDS海量存儲(chǔ)通過(guò)構(gòu)建數(shù)字洪流方波提,幫助客戶化挑戰(zhàn)為機(jī)遇,在發(fā)展中持續(xù)受益。