原文作者:Renato Manongdo,Teradata澳大利亞和新西蘭地區(qū)金融服務(wù)業(yè)高級(jí)咨詢顧問(wèn)兼亞太地區(qū)商業(yè)價(jià)值評(píng)估實(shí)踐負(fù)責(zé)人
我最近為客戶提供項(xiàng)目咨詢服務(wù),幫助他們管理企業(yè)數(shù)據(jù)資產(chǎn)。咨詢服務(wù)始終圍繞同一個(gè)問(wèn)題--怎樣靈活、積極地應(yīng)對(duì)商業(yè)分析需求,并保持?jǐn)?shù)據(jù)完整性和可靠性。此外,客戶還面臨數(shù)據(jù)供應(yīng)中提取、轉(zhuǎn)換和加載(ETL)成本激增的問(wèn)題。
在討論中,大數(shù)據(jù)問(wèn)題尤為突出,客戶意識(shí)到他們需要馴服大數(shù)據(jù)這頭“怪獸”的能力,同時(shí)不斷滿足傳統(tǒng)企業(yè)級(jí)結(jié)構(gòu)化關(guān)系數(shù)據(jù)的需求。我的解決方案是根據(jù)數(shù)據(jù)預(yù)期用途設(shè)置其完整性和可靠性級(jí)別。金牌、銀牌或銅牌是我們經(jīng)常聽到的數(shù)據(jù)價(jià)值分類方式。而實(shí)際上,我更喜歡使用“三只小豬蓋房子”(分別使用稻草、木頭和磚頭)的故事來(lái)說(shuō)明,這個(gè)故事能更形象地反映數(shù)據(jù)存儲(chǔ)環(huán)境下與交付服務(wù)(成本)相對(duì)應(yīng)的不同保護(hù)級(jí)別(完整性和可靠性)。
財(cái)務(wù)數(shù)據(jù)、對(duì)外報(bào)告和法規(guī)遵從性數(shù)據(jù)需在“磚房”(BRICKS)環(huán)境中存儲(chǔ)處理。這些數(shù)據(jù)需要可靠的硬件基礎(chǔ)設(shè)施,并與其原始來(lái)源保持一致。企業(yè)中多個(gè)職能部門使用產(chǎn)品服務(wù)定價(jià)決策、銷售業(yè)績(jī)及分析以及至關(guān)重要的員工/管理層薪酬激勵(lì)機(jī)制計(jì)算等財(cái)務(wù)數(shù)據(jù),這是很常見的情況。
精心設(shè)計(jì)的“木房”(STICK)環(huán)境可確保存儲(chǔ)數(shù)據(jù)牢固耐用。該環(huán)境專用于應(yīng)用程序,而并非針對(duì)企業(yè)級(jí)使用和跨職能部門數(shù)據(jù)共享而設(shè)計(jì)。該數(shù)據(jù)類型可專門用于數(shù)據(jù)轉(zhuǎn)換,通常包括大量營(yíng)銷數(shù)據(jù)集市。僅數(shù)據(jù)轉(zhuǎn)換、協(xié)調(diào)及沿襲等必要功能即可滿足特定商業(yè)用途。與上述“磚房”相比,“木房”從本質(zhì)上講,成本更低,速度更快。
最后介紹“草房”(HAY)。“草房”實(shí)際上是指在需要使用數(shù)據(jù)的特定日期對(duì)數(shù)據(jù)進(jìn)行轉(zhuǎn)換、分組及匯總。其中,數(shù)據(jù)可能以原始來(lái)源的數(shù)據(jù)格式存在,幾乎不需要任何數(shù)據(jù)結(jié)構(gòu)。用戶可任意調(diào)整數(shù)據(jù)格式。雖然 “草房”設(shè)計(jì)無(wú)法輕易復(fù)制或縱向擴(kuò)展,卻適用于應(yīng)對(duì)非特定、非重復(fù)性商業(yè)問(wèn)題。該方案對(duì)數(shù)據(jù)協(xié)調(diào)及復(fù)制的需求低。
使用“三只小豬”的類比相當(dāng)直觀,但具體解決方案應(yīng)參考數(shù)據(jù)管控(Data Governance)方針。如能應(yīng)對(duì)自如,業(yè)務(wù)部門希望快速獲得低成本解決方案;而IT部門則需要依托可靠的解決方案,提供健全、可靠的服務(wù)。這也是業(yè)務(wù)及IT部門大多數(shù)討論中的固有矛盾。
由于部署迅速、成本低且失敗的代價(jià)低,“草房”解決方案?jìng)涫荜P(guān)注。在新的經(jīng)濟(jì)機(jī)制下,特別是在自助式環(huán)境下用戶對(duì)數(shù)據(jù)(包括大數(shù)據(jù))價(jià)值的認(rèn)可,是數(shù)據(jù)實(shí)驗(yàn)室和探索環(huán)境快速發(fā)展的原因。因此,業(yè)務(wù)部門選擇快速、低成本的解決方案也不足為奇。
但將“草房”方案升級(jí)為“木房”或“磚房”環(huán)境時(shí),IT部門的成本令人非常震驚。“為什么他們不能使用我們兩周內(nèi)設(shè)計(jì)的解決方案?”他們可以。但在“草房”的基礎(chǔ)上部署“磚房”甚至是“木房”方案都行不通。利用“草房”的設(shè)計(jì)方案部署“木房”及“磚房”方案,將浪費(fèi)IT部門大量預(yù)算。其主要價(jià)值在于確定將提供信息的有效性。
Teradata天睿公司基于對(duì)數(shù)據(jù)不同用途的理解,實(shí)現(xiàn)企業(yè)級(jí)信息管理,旗下各種平臺(tái)解決方案可迎合“磚房”(整合數(shù)據(jù)倉(cāng)庫(kù))、“木房”(數(shù)據(jù)專用平臺(tái))和“草房”(Teradata Aster、Hadoop)的各種需求。其主要挑戰(zhàn)是識(shí)別數(shù)據(jù)重要性的數(shù)據(jù)管控策略和過(guò)程。在“草房”環(huán)境中設(shè)計(jì)出的“創(chuàng)意”方案需遷移至更穩(wěn)定的環(huán)境時(shí),參與數(shù)據(jù)管理方式(草房、木房還是磚房)決策的相關(guān)負(fù)責(zé)人需要全面了解下游數(shù)據(jù)的重要性。
在“三只小豬”的類比中當(dāng)然少不了大灰狼,更多信息請(qǐng)關(guān)注未來(lái)的文章。
Renato Manongdo是Teradata天睿公司澳大利亞和新西蘭地區(qū)金融服務(wù)業(yè)高級(jí)咨詢顧問(wèn)兼亞太地區(qū)商業(yè)價(jià)值評(píng)估實(shí)踐負(fù)責(zé)人。