今年是“十四五”開局之年,全國各地都在大力布局發(fā)展數(shù)字經(jīng)濟(jì)。作為推動(dòng)數(shù)字經(jīng)濟(jì)的重要手段,傳統(tǒng)企業(yè)的數(shù)字化轉(zhuǎn)型也將進(jìn)入快車道,眾多企業(yè)紛紛選擇“上云用數(shù)賦智”作為數(shù)字化轉(zhuǎn)型的標(biāo)準(zhǔn)路徑。在這條轉(zhuǎn)型路徑中,數(shù)據(jù)上云是關(guān)鍵,而數(shù)據(jù)上云首先要做的就是解決存儲(chǔ)問題。
實(shí)際上,對(duì)于傳統(tǒng)IT基礎(chǔ)設(shè)施三大件(計(jì)算、存儲(chǔ)、網(wǎng)絡(luò))之一的存儲(chǔ)也正是當(dāng)下不少企業(yè)數(shù)字化轉(zhuǎn)型過程中的一個(gè)痛點(diǎn),主要體現(xiàn)在以下幾個(gè)方面:數(shù)據(jù)量的增長推高了存儲(chǔ)和災(zāi)難恢復(fù)的成本;如何既面向未來同時(shí)也兼顧歷史,讓原本復(fù)雜的IT架構(gòu)更加復(fù)雜,加大了運(yùn)維難度和成本。如何破解這些難題困擾著不少企業(yè)管理者。
9月底,阿里云對(duì)外宣布對(duì)云存儲(chǔ)服務(wù)進(jìn)行全面升級(jí),包括性能大幅提升3倍、時(shí)延降低70%的ESSD云盤,可兼容HDFS的數(shù)據(jù)湖存儲(chǔ)OSS,同時(shí)推出一款全新產(chǎn)品“云定義存儲(chǔ)”(Cloud Defined Storage,CDS)。這些發(fā)布直指企業(yè)面臨的存儲(chǔ)痛點(diǎn),有助于幫助企業(yè)破解這些難題,加快企業(yè)上云進(jìn)程,讓企業(yè)充分享受云計(jì)算的紅利。而就存儲(chǔ)行業(yè)而言,阿里云的這些發(fā)布加速了存儲(chǔ)技術(shù)的演進(jìn),讓人們?cè)俅胃惺艿皆朴?jì)算對(duì)傳統(tǒng)IT基礎(chǔ)設(shè)施的顛覆,也讓我們更堅(jiān)定地?fù)肀г朴?jì)算。

ESSD云盤:更高性能,更穩(wěn)定,更多企業(yè)特性
云計(jì)算發(fā)展到今天,云盤作為一項(xiàng)基礎(chǔ)服務(wù)已經(jīng)被廣泛認(rèn)可,市場同類服務(wù)并不少,阿里云ESSD云盤無疑是其中的佼佼者。阿里云的ESSD云盤擁有極高的I/O性能和穩(wěn)定低時(shí)延能力,適用于數(shù)據(jù)密集型業(yè)務(wù)上云場景,比如數(shù)據(jù)庫應(yīng)用。如今已經(jīng)擁有超過20萬付費(fèi)用戶。

ESSD優(yōu)異的性能得益于阿里云的多項(xiàng)技術(shù)自研,底層架構(gòu)基于自研大規(guī)模分布式存儲(chǔ)系統(tǒng)盤古2.0,存儲(chǔ)芯片采用自研Aliflash SSD,并且依托自研網(wǎng)絡(luò)協(xié)議 Luna和增強(qiáng)型RDMA數(shù)據(jù)傳輸協(xié)議,結(jié)合自研HPCC流控算法,深度優(yōu)化TCP,大幅降低計(jì)算資源消耗及響應(yīng)延時(shí),使ESSD的數(shù)據(jù)傳輸效率可提高50%。
阿里云ESSD云盤的產(chǎn)生可以追溯到2016年,這一年正式立項(xiàng)進(jìn)行ESSD云盤研究;2017年開始有了產(chǎn)品,并在阿里集團(tuán)內(nèi)部使用,用于支持當(dāng)年的“雙十一”;2018年,阿里云正式推出ESSD云盤服務(wù)——業(yè)內(nèi)首個(gè)跨入IOPS百萬時(shí)代的云盤。此后阿里云一直在持續(xù)打磨產(chǎn)品和技術(shù)能力,不斷更新和升級(jí)。
阿里云此次發(fā)布的ESSD云盤已經(jīng)屬第三代,具體包括兩款新品:ESSD PL-X、ESSD Auto PL,有不少技術(shù)突破。比如,此次發(fā)布的ESSD PL-X IOPS最高可達(dá)300萬,單路訪問延遲低至30微秒,是云上性能最強(qiáng)塊存儲(chǔ)產(chǎn)品之一,不僅適用于性能敏感型的關(guān)系型數(shù)據(jù)庫場景(如Oracle數(shù)據(jù)庫),也適用于性能要求較高的企業(yè)級(jí)應(yīng)用(如SAP ERP系統(tǒng))。
ESSD Auto PL則將云盤容量和性能解耦,為客戶提供性能無感升級(jí)能力,是業(yè)內(nèi)首個(gè)支持性能預(yù)配置并按業(yè)務(wù)峰值自動(dòng)提升性能的企業(yè)級(jí)塊存儲(chǔ)云產(chǎn)品。它能夠毫秒級(jí)感應(yīng)企業(yè)需求變動(dòng),在業(yè)務(wù)洪峰時(shí)無感知進(jìn)行性能升級(jí),在業(yè)務(wù)需求回落時(shí)分鐘級(jí)自動(dòng)降配。
阿里云基礎(chǔ)產(chǎn)品資深產(chǎn)品總監(jiān)陳起鯤介紹,第三代ESSD云盤從三個(gè)維度對(duì)ESSD云盤進(jìn)行了升級(jí),使其具有了更多企業(yè)級(jí)特性,從而能滿足企業(yè)非常苛刻的業(yè)務(wù)需求,讓過去難以上云的一些傳統(tǒng)核心業(yè)務(wù)系統(tǒng),比如Oracle RAC數(shù)據(jù)庫、SAP ERP系統(tǒng)也能平滑上云。
第一個(gè)升級(jí)是共享能力。眾所周知,在不少傳統(tǒng)企業(yè)中部署有Oracle數(shù)據(jù)庫、SAP HANA等應(yīng)用,它們一般是基于傳統(tǒng)架構(gòu)部署,并不能簡單地搬到云上,原因之一就是它們采用了共享存儲(chǔ)架構(gòu)。而阿里云新一代ESSD在其高可靠、高可用、高性能的基礎(chǔ)上實(shí)現(xiàn)了共享訪問和IO Fencing能力,兼容線下應(yīng)用高可用架構(gòu)(如Oracle RAC、SAP HANA等),使企業(yè)無需改造應(yīng)用架構(gòu),即可將關(guān)鍵業(yè)務(wù)系統(tǒng)平遷/搬遷上云。
第二個(gè)升級(jí)是支持專屬集群,允許云上單租戶。有些行業(yè)對(duì)上云有比較嚴(yán)格的行業(yè)監(jiān)管政策,比如要求單租戶、與其他客戶隔離,針對(duì)這些需求,阿里云推出了“專屬塊存儲(chǔ)集群”ESSD,能為客戶提供物理資源隔離能力,幫助企業(yè)構(gòu)建在云上專屬的IT基礎(chǔ)設(shè)施。
第三個(gè)升級(jí)是跨地域異步復(fù)制。企業(yè)的傳統(tǒng)容災(zāi)方案有較高的門檻,比如需要自建/租用容災(zāi)中心、購買專線,且一次性投入成本較高。借助ESSD新增的“云盤異步復(fù)制”功能,可以在不同的可用區(qū)和地域之間實(shí)現(xiàn)數(shù)據(jù)的異步復(fù)制,幾乎“零”門檻實(shí)現(xiàn)異地容災(zāi)、分鐘級(jí)RPO(恢復(fù)點(diǎn)目標(biāo)),大幅降低容災(zāi)系統(tǒng)建設(shè)的門檻,讓更多客戶在云上輕松實(shí)現(xiàn)異地?cái)?shù)據(jù)級(jí)災(zāi)備建設(shè)。
實(shí)現(xiàn)這幾個(gè)升級(jí)并不容易。阿里云智能研究員滿弓介紹,要讓云盤能根據(jù)負(fù)載變化 自動(dòng)進(jìn)行性能伸縮,面臨較大的技術(shù)挑戰(zhàn)。比如,要能快速感知I/O的變化,阿里云現(xiàn)在可以做到10毫秒內(nèi)感知I/O變化,秒級(jí)資源重新配置,來實(shí)現(xiàn)對(duì)客戶業(yè)務(wù)負(fù)載變化的快速響應(yīng)。
另外,云盤性能的彈性伸縮不僅僅涉及到一個(gè)云盤,它通常是作為整個(gè)分布式系統(tǒng)中的一部分,在系統(tǒng)中可能會(huì)有上千塊云盤,當(dāng)用戶負(fù)載發(fā)生變化,所有的云盤性能都會(huì)升高,有可能會(huì)超過單集群性能的水平。此時(shí),就要對(duì)整個(gè)集群進(jìn)行多維的實(shí)時(shí)預(yù)測和監(jiān)控,并能通過多集群分鐘級(jí)的打散來平滑分擔(dān)用戶的流量,當(dāng)前阿里云可以在分鐘級(jí)實(shí)現(xiàn)跨集群的水位均衡。
數(shù)據(jù)湖3.0:大數(shù)據(jù)與AI一體化
這幾年,隨著數(shù)據(jù)價(jià)值被越來越多企業(yè)認(rèn)可,數(shù)據(jù)湖的建設(shè)備受關(guān)注。數(shù)據(jù)湖中的數(shù)據(jù)主要來自于傳統(tǒng)關(guān)系型數(shù)據(jù)庫中的結(jié)構(gòu)化數(shù)據(jù),大數(shù)據(jù)、AI平臺(tái)的半結(jié)構(gòu)化和非結(jié)構(gòu)化數(shù)據(jù)。隨著大數(shù)據(jù)和AI應(yīng)用的普及,后兩類數(shù)據(jù)占比越來越大,而且大數(shù)據(jù)和AI開始逐漸融合。然而,大數(shù)據(jù)主要是HDFS生態(tài),而AI應(yīng)用主要對(duì)象存儲(chǔ)生態(tài),這兩者有不同的語義,統(tǒng)一起來并不容易。
陳起鯤介紹,早期的數(shù)據(jù)湖雖然采用了存算分離,但AI應(yīng)用和大數(shù)據(jù)應(yīng)用的數(shù)據(jù)是分開的,阿里云稱其為數(shù)據(jù)湖1.0。后來在技術(shù)的進(jìn)步和用戶需求的雙重推動(dòng)下,這兩者開始融合,進(jìn)入數(shù)據(jù)湖2.0階段。此時(shí)數(shù)據(jù)都存儲(chǔ)到對(duì)象存儲(chǔ)里,但是大數(shù)據(jù)應(yīng)用的元數(shù)據(jù)仍然保存在HDFS中。
阿里云發(fā)布的對(duì)象存儲(chǔ)OSS屬于數(shù)據(jù)湖3.0技術(shù),其在2.0基礎(chǔ)上又向前走了一步,徹底打通了AI和大數(shù)據(jù)應(yīng)用,實(shí)現(xiàn)了百分百兼容HDFS語義以及全服務(wù)化,數(shù)據(jù)和元數(shù)據(jù)統(tǒng)一保存到對(duì)象存儲(chǔ)中,實(shí)現(xiàn)了高性能AI計(jì)算與大數(shù)據(jù)分析的融合。這樣,同一套數(shù)據(jù)既可以進(jìn)行大數(shù)據(jù)建模,同樣也可以用于AI訓(xùn)練,大大提高了效率,也節(jié)約了成本。
另外,阿里云的OSS在數(shù)據(jù)安全合規(guī)和個(gè)人隱私保護(hù)方面還做了不少工作,而且這些產(chǎn)品能力是原生與對(duì)象存儲(chǔ)是融合的。
據(jù)悉,為了充分滿足客戶需求,阿里云在此前已有的標(biāo)準(zhǔn)型OSS、低頻型OSS和歸檔型OSS的基礎(chǔ)上,此次新增了冷歸檔型OSS,用戶可以根據(jù)文件創(chuàng)造的時(shí)間和更新的熱度來配置對(duì)數(shù)據(jù)進(jìn)行全生命周期管理,支持所有存儲(chǔ)類型沉降至冷歸檔,降本最高達(dá) 90%。
截至目前,阿里云上已經(jīng)有6000多個(gè)數(shù)據(jù)湖,它們借助阿里云OSS的一份數(shù)據(jù)、多份數(shù)據(jù)引擎、多個(gè)計(jì)算能力構(gòu)建起了自己的數(shù)據(jù)分析能力。
云定義存儲(chǔ):將云存儲(chǔ)帶到線下
盡管云計(jì)算普及勢(shì)不可擋,但并不是所有企業(yè)所有業(yè)務(wù)都能上云的。對(duì)于這部分企業(yè),是不是就不能享受阿里云存儲(chǔ)技術(shù)的這些創(chuàng)新紅利了?答案當(dāng)然是否定的。
阿里云正在改變這一現(xiàn)狀。阿里云發(fā)布了“云定義存儲(chǔ)”(Cloud Defined Storage,CDS)產(chǎn)品,作為一款支持本地部署的分布式存儲(chǔ)產(chǎn)品,阿里云CDS擁有與公共云存儲(chǔ)相同的技術(shù)架構(gòu),讓企業(yè)客戶在本地也能部署和使用與公共云一致的存儲(chǔ)產(chǎn)品。
阿里云CDS最小起建規(guī)模低至9節(jié)點(diǎn),最大可擴(kuò)展至12萬節(jié)點(diǎn),幾乎擁有無限橫向擴(kuò)展能力。值得一提的是,得益于盤古2.0極佳的擴(kuò)展性與兼容性,阿里云CDS支持“一云多芯”,可在Intel、海光、鯤鵬、飛騰等硬件平臺(tái)上提供一致的產(chǎn)品功能與服務(wù)能力。
阿里云CDS除了具有與阿里云公共云一致的產(chǎn)品能力,還原生支持多租戶架構(gòu)以及自服務(wù)能力,提供租戶身份識(shí)別與細(xì)粒度資源鑒權(quán)能力,既支持租戶之間共享資源,又做到了各服務(wù)間的資源隔離,保障了企業(yè)數(shù)據(jù)安全。
CDS基于盤古分布式存儲(chǔ)底座,把阿里云存儲(chǔ)的一致體驗(yàn)覆蓋到客戶多樣化的部署場景。其中,“盤古”作為數(shù)據(jù)存儲(chǔ)統(tǒng)一底座,支撐了阿里巴巴所有數(shù)據(jù)存儲(chǔ)業(yè)務(wù),得到了規(guī);瘧(yīng)用,解決了超大規(guī)模下數(shù)據(jù)不丟、不錯(cuò)和高可用的難題,讓存儲(chǔ)更加穩(wěn)定可靠、擁有更大的容量和更高的性能,滿足數(shù)字經(jīng)濟(jì)時(shí)代對(duì)海量存儲(chǔ)和快速存儲(chǔ)的需求。在剛剛過去的世界互聯(lián)網(wǎng)大會(huì)上,阿里云“盤古”得以入選世界互聯(lián)網(wǎng)領(lǐng)先科技成果,這也是第一次有存儲(chǔ)技術(shù)在這個(gè)會(huì)上獲獎(jiǎng)。
據(jù)了解,基于阿里云分布式存儲(chǔ)系統(tǒng)“盤古2.0”構(gòu)建的阿里云CDS,最大IOPS最高可達(dá)百億,云盤時(shí)延低至百微秒,可支撐數(shù)十EB級(jí)別存儲(chǔ)規(guī)模,單bucket支持萬億級(jí)文件數(shù),同時(shí)具有金融級(jí)的數(shù)據(jù)容災(zāi)能力。
這款阿里云所說的“云定義存儲(chǔ)”產(chǎn)品與傳統(tǒng)的“軟件定義存儲(chǔ)”不同。陳起鯤介紹,“云定義存儲(chǔ)”本質(zhì)上就是服務(wù)定義存儲(chǔ),是一種以服務(wù)上層應(yīng)用、服務(wù)多租戶共享、服務(wù)規(guī);渴鸲O(shè)計(jì)的產(chǎn)品,是真正的云時(shí)代存儲(chǔ)。
以服務(wù)定義存儲(chǔ)、與公共云一致的技術(shù)架構(gòu)、經(jīng)過大規(guī)模多樣化IO壓力驗(yàn)證的產(chǎn)品能力,可以說,阿里云今天推動(dòng)了存儲(chǔ)行業(yè)技術(shù)革新的一大步。這得益于一個(gè)獨(dú)特的練兵場——歷年的“雙11”的錘煉,打造了阿里云滿足大規(guī)模業(yè)務(wù)場景超高要求的技術(shù)競爭力和產(chǎn)品差異化能力,幫助阿里云存儲(chǔ)不斷精進(jìn)存儲(chǔ)技術(shù)和產(chǎn)品的打磨,為客戶創(chuàng)造更多價(jià)值。
根據(jù)IDC的預(yù)測,今年全球數(shù)字經(jīng)濟(jì)規(guī)模將占整體經(jīng)濟(jì)的50%,而中國的數(shù)字經(jīng)濟(jì)規(guī)模將達(dá)到8.5萬億美元,占中國總體經(jīng)濟(jì)規(guī)模的55%左右。數(shù)字化轉(zhuǎn)型是數(shù)字經(jīng)濟(jì)的動(dòng)能和引擎,在這場數(shù)字化轉(zhuǎn)型大潮中,云存儲(chǔ)將和其他云服務(wù)一起迎來大的發(fā)展機(jī)遇,阿里云和其他同行一起正在推動(dòng)云存儲(chǔ)技術(shù)的不斷進(jìn)步,而對(duì)于正在進(jìn)行數(shù)字化轉(zhuǎn)型的企業(yè)而言,新技術(shù)也是一個(gè)發(fā)展契機(jī),誰先擁抱它們,誰就率先受益,在市場上贏得更多的競爭優(yōu)勢(shì)。