選型測試難點(diǎn)
存儲設(shè)備作為銀行信息系統(tǒng)中最為關(guān)鍵的核心設(shè)備，不僅存放著全行業(yè)務(wù)及管理數(shù)據(jù)，同時也是容災(zāi)解決方案的主要底層技術(shù)，選擇了某品牌存儲一般就意味著選擇了該品牌的存儲高可用技術(shù)及所配套的容災(zāi)解決方案。因此在選型測試中不能僅考慮單臺存儲性能及功能，而應(yīng)將整體容災(zāi)解決方案作為著眼點(diǎn)，通過實(shí)地測試來為存儲選型提供真實(shí)有力的參考。在選型測試中面臨著三個難點(diǎn)。
- 一是如何真實(shí)測試存儲解決方案的功能。測試內(nèi)容需要涉及存儲單機(jī)穩(wěn)定性及冗余性、多站點(diǎn)存儲高可用方案的容災(zāi)功能、存儲與其他容災(zāi)產(chǎn)品的兼容性和整體解決方案的容災(zāi)功能。
- 二是如何真實(shí)測試存儲解決方案的性能。存儲廠商在推介產(chǎn)品時，往往依據(jù)存儲白皮書中實(shí)驗室所測量數(shù)據(jù)，但由于實(shí)際業(yè)務(wù)場景相比實(shí)驗室更為復(fù)雜，產(chǎn)品使用情況與理想數(shù)據(jù)相差甚遠(yuǎn)。如何在差異化的復(fù)雜業(yè)務(wù)應(yīng)用場景中，選擇測試案例來更為真實(shí)地測試存儲解決方案性能，是存儲選型測試的關(guān)鍵點(diǎn)。
- 三是如何保障測試工作的完備性和有效性。存儲設(shè)備價值較高、產(chǎn)品技術(shù)涉及面廣、測試案例數(shù)量繁多、測試持續(xù)時間較長，行內(nèi)及參與測試存儲廠商均需投入大量精力及成本。在資源有限的情況下，需要制定針對性措施來保障測試工作的完備性和有效性，才能達(dá)到存儲選型測試的目標(biāo)。
測試方法及內(nèi)容
在行業(yè)特性及監(jiān)管部門的業(yè)務(wù)連續(xù)性要求下，銀行核心存儲解決方案的選型一般都較為審慎，因此本次選擇了業(yè)界較為傳統(tǒng)的3家存儲領(lǐng)先品牌A、B、C及1華為的高端全閃存儲作為測試目標(biāo)。
1.測試方法的關(guān)注點(diǎn)
（1）選擇合適的測試載體。一般選擇真實(shí)系統(tǒng)的痛點(diǎn)場景，如高并發(fā)、大批量等應(yīng)用程序作為載體來評估存儲產(chǎn)品的功能及性能。我行選擇核心系統(tǒng)中計算和存儲資源消耗量最大、并發(fā)度最高的存款結(jié)息批處理作為測試載體。
（2）重點(diǎn)關(guān)注整體解決方案功能。一般來說，在銀行核心系統(tǒng)相關(guān)產(chǎn)品選型時，需要根據(jù)實(shí)際業(yè)務(wù)增長量或業(yè)務(wù)種類發(fā)展情況，在現(xiàn)有性能需求基礎(chǔ)上，上浮1~2倍，其上限相對產(chǎn)品實(shí)驗室性能指標(biāo)在50%以內(nèi)，以此來選擇產(chǎn)品技術(shù)線路，確保存儲整體解決方案的性能冗余。因此選型測試應(yīng)該重點(diǎn)關(guān)注整體解決方案功能，以確�；A(chǔ)架構(gòu)的穩(wěn)定性。
�。�3）具有完備可靠的保障體系。一是公平公正。選型測試的目的是為了在商務(wù)采購方面，提供更符合行內(nèi)實(shí)際情況的技術(shù)需求和選型依據(jù)。因此在選擇測試設(shè)備品牌和配置、制定測試案例時，應(yīng)盡量統(tǒng)一標(biāo)準(zhǔn)，兼顧公平與效率。二是科學(xué)合理。選型測試不僅需要測試設(shè)備功能及性能，也應(yīng)對設(shè)備廠商的技術(shù)支持體系進(jìn)行考察，作為售后能力的重要評價標(biāo)準(zhǔn)。三是分工明確。明確參與測試廠商及行內(nèi)在測試中的分工，特別是操作系統(tǒng)、數(shù)據(jù)庫等與存儲解決方案性能相關(guān)重點(diǎn)基礎(chǔ)軟件產(chǎn)品調(diào)優(yōu)的工作職責(zé)，是保障選型測試達(dá)到預(yù)期目標(biāo)的關(guān)鍵措施。
2.測試內(nèi)容
行內(nèi)統(tǒng)一提供標(biāo)準(zhǔn)化的核心應(yīng)用系統(tǒng)環(huán)境，基于應(yīng)用系統(tǒng)性能指標(biāo)，對存儲產(chǎn)品的功能及性能進(jìn)行測試驗證。
�。�1）功能測試。存儲功能測試將從功能性、可靠性、可維護(hù)性等方面，對存儲設(shè)備進(jìn)行全面測試。存儲及整體解決方案需支持行方核心系統(tǒng)全業(yè)務(wù)流程，并實(shí)現(xiàn)存儲設(shè)備的同城及異地容災(zāi)切換等功能。
�。�2）性能測試。存儲性能測試需使用行內(nèi)認(rèn)可的第三方性能測試軟件，模擬核心應(yīng)用系統(tǒng)業(yè)務(wù)流，對存儲設(shè)備進(jìn)行性能測試。要求性能測試結(jié)果不低于我行現(xiàn)有核心架構(gòu)下的性能。
將行內(nèi)當(dāng)前正在使用的“LVM+HACMP”架構(gòu)作為基準(zhǔn)測試場景，在此基礎(chǔ)上，調(diào)整對應(yīng)的雙活復(fù)制或者遠(yuǎn)程方案，進(jìn)行雙機(jī)熱備、數(shù)據(jù)庫遠(yuǎn)程復(fù)制和存儲雙活等業(yè)界較為主流容災(zāi)方案的性能測試。相關(guān)性能測試由第三方測試廠商協(xié)助完成，重點(diǎn)關(guān)注對比主機(jī)、存儲、數(shù)據(jù)庫及測試案例（存款結(jié)息批處理耗時）等指標(biāo)。
�。�3）廠家推薦用例。結(jié)合行內(nèi)現(xiàn)網(wǎng)業(yè)務(wù)系統(tǒng)，由各廠家提供能夠展現(xiàn)產(chǎn)品優(yōu)勢的相關(guān)推薦用例，作為自選加分項。
測試結(jié)果
通過4個月的選型測試，對同城雙活中心建設(shè)中，可以選用的存儲架構(gòu)和邏輯架構(gòu)均進(jìn)行了測試，對不同架構(gòu)下的性能做了橫向?qū)Ρ�。根�?jù)實(shí)際的工作流程，我們從廠商技術(shù)服務(wù)實(shí)力及備件情況、技術(shù)架構(gòu)、功能、性能4個維度進(jìn)行分析。
1.廠商配合力度及現(xiàn)場備件情況
從技術(shù)上來看，4家廠商的售后工程師對于產(chǎn)品都比較熟悉，經(jīng)驗較為豐富。從參與測試技術(shù)人員數(shù)量上來看，售后工程師數(shù)量方面華為、A、B、C依次減少（其中華為存儲研發(fā)團(tuán)隊現(xiàn)場支持）。從備件儲備上來看，A、B和華為均有本地備件庫，C暫無。
2.存儲容災(zāi)方案性能測試情況
通過7種業(yè)界主流容災(zāi)技術(shù)組合對比測試，以應(yīng)用程序指標(biāo)（存款結(jié)息批處理耗時）作為衡量指標(biāo)，“LVM Mirror+HACMP+HADR（異步）+遠(yuǎn)端存儲異步復(fù)制”方案相較“存儲雙活+HACMP+HADR（異步）+遠(yuǎn)端存儲異步復(fù)制”方案，耗時縮短3%以內(nèi)，但其主機(jī)cpu、內(nèi)存消耗遠(yuǎn)高于后者。綜合考慮實(shí)際運(yùn)行環(huán)境中，整體容災(zāi)架構(gòu)的性能及穩(wěn)定性，選擇了“存儲雙活+HACMP+HADR（異步）+遠(yuǎn)端存儲異步復(fù)制”作為同城雙活容災(zāi)架構(gòu)方案。
3.各品牌存儲重點(diǎn)技術(shù)指標(biāo)測試情況
以應(yīng)用程序（存款結(jié)息批處理）耗時作為衡量指標(biāo)，將“存儲雙活+HACMP+HADR（異步）+遠(yuǎn)端存儲異步復(fù)制”方案測試結(jié)果作為對比項，各參與廠商測試結(jié)果相差5%以內(nèi)，其中華為OceanStor Dorado 18000系列全閃存方案耗時最短，為77分9秒。存儲功能方面，各廠商“存儲全量復(fù)制”功能均全量拷貝后即時可用，“數(shù)據(jù)壓縮”均不影響性能。
4.測試方案中的不足
參與測試的存儲架構(gòu)有所差異。在實(shí)際選型測試中，由于參與測試存儲廠家的產(chǎn)品生產(chǎn)地有所不同，受限于到貨時間、成本等因素，部分廠家僅提供了2臺全閃存儲，同時也存在存儲配置有所差異的情況，在一定程度上影響了測試結(jié)果。
投產(chǎn)運(yùn)行情況
基于良好的測試表現(xiàn)、較為成熟的售后服務(wù)體系，以及分片負(fù)載均衡IO下發(fā)和滿分條新寫等提高存儲性能的特性技術(shù)，最終選擇了6臺華為OceanStor Dorado 18000系列全閃存，構(gòu)建了核心類和重要類業(yè)務(wù)系統(tǒng)兩套本地雙活、同城3DC的容災(zāi)體系架構(gòu)。
各類系統(tǒng)架構(gòu)升級投產(chǎn)后，穩(wěn)定性和性能均大幅提升，夜間批處理全量時間由5.5小時縮短至3.2小時，其中決定網(wǎng)點(diǎn)門市業(yè)務(wù)的日啟批處理時間由3小時縮短至1.4小時，耗時最長的存款計息批處理由110分鐘縮短至15分鐘。
全閃存運(yùn)行性能方面，平均讀時延和最大讀時延，由原架構(gòu)的2.41ms和15.41ms，提升為當(dāng)前的0.4ms和0.7ms，提升約為6倍；最大寫時延，由原架構(gòu)的4.75ms，提升為小于1ms，提升約為4倍；平均寫時延，由原架構(gòu)的0.44ms，提升為當(dāng)前的0.4ms。
湖北農(nóng)信在同城雙活中心建設(shè)中，綜合考慮系統(tǒng)瓶頸、同業(yè)案例以及技術(shù)發(fā)展趨勢，將全閃存作為選型測試基準(zhǔn)。邀請4家存儲業(yè)界優(yōu)秀廠商，基于高端全閃存產(chǎn)品，圍繞應(yīng)用場景，測試了業(yè)界常用的各類操作系統(tǒng)、數(shù)據(jù)庫及存儲等高可用技術(shù)組合的容災(zāi)架構(gòu)性能，較為全面、真實(shí)地評估高端全閃存的高可用功能及性能。產(chǎn)品方案投產(chǎn)后，運(yùn)轉(zhuǎn)性能與選型測試情況相符，達(dá)到預(yù)期效果。限于技術(shù)產(chǎn)品及方案的復(fù)雜性和測試方案的完備性，本選型測試結(jié)果僅代表我行實(shí)際測試情況，希望能拋磚引玉，為同業(yè)核心存儲架構(gòu)選型提供有益的參考。
文 / 湖北省農(nóng)村信用社聯(lián)合社數(shù)據(jù)中心 雷智、張彤
