Amazon首度公開過去電商平臺采用多年的線上交易與數(shù)據(jù)存儲服務(wù)架構(gòu)圖
（還未全面改用AWS數(shù)據(jù)存儲前）。（圖片來源／AWS）

　　從這個架構(gòu)圖來看，不只數(shù)據(jù)存儲是采用Oracle RAC數(shù)據(jù)庫架構(gòu)，在它上方，還有提供3個針對營運、探查與BIM數(shù)據(jù)設(shè)計的專用數(shù)據(jù)存儲或數(shù)據(jù)庫，里面用也都是Oracle， 再透過DB Link方式相連，連各種交易資料存放的OLTP數(shù)據(jù)庫，也都有部分使用到Oracle產(chǎn)品。

　　「這是一個高達35PB的超大型數(shù)據(jù)存儲遷移的挑戰(zhàn)。」Amazon.com大數(shù)據(jù)技術(shù)資深經(jīng)理Thomas Park在今年AWS re:Invent一場專談DBFreedom的黑板開講（Chalk Talk）上，對著臺下聽眾分享Amazon數(shù)據(jù)庫上云經(jīng)驗時首度公開揭露這項數(shù)據(jù)。

　　Amazon在11月1日正式關(guān)閉電商平臺使用多年的Oracle數(shù)據(jù)存儲系統(tǒng)，改搬到自家AWS云端數(shù)據(jù)存儲Redshift上，當(dāng)時這個消息一出，科技圈譁然，成了熱議話題。也讓全球云端龍頭AWS與企業(yè)數(shù)據(jù)庫巨人甲骨文（Oracle）的數(shù)據(jù)庫之爭正式浮上臺面。

　　也因此，今年每一場只要打著Amazon數(shù)據(jù)庫上云的相關(guān)議程，都成了今年最搶手的熱門場次，早在活動前兩周，議程才剛公布，坐位就早已全數(shù)被預(yù)定一空，只剩下現(xiàn)場候位，甚至活動前一天下午，議程還沒開始，場外就已經(jīng)排滿人潮，等著搶聽Amazon分享第一手的搬移經(jīng)驗。Thomas Park就是其中一場專談「Amazon.com從Oracle數(shù)據(jù)庫搬上AWS經(jīng)驗」的講者。

　　Thomas Park表示，Amazon很早就開始采用Oracle數(shù)據(jù)存儲，在換成AWS以前，系統(tǒng)存放的資料總共有多達35PB（壓縮後），1個PB（Petabytes）等同於1,000個TB，若以一個1TB硬碟厚度平均0.7公分來計算的話，35PB的硬碟，堆成的高度超過200公尺高，這還不包括還有一個同樣壓縮過的5PB的核心資料集，也都要一并改上AWS，這正是Amazon數(shù)據(jù)存儲上云面對的最大挑戰(zhàn)。

　　Amazon大數(shù)據(jù)技術(shù)資深經(jīng)理Thomas Park
（攝影／余至浩）

　　Amazon大數(shù)據(jù)技術(shù)資深經(jīng)理Thomas Park坦言，舊有的數(shù)據(jù)庫設(shè)計方式，已無法跟上Amazon事業(yè)快速成長的腳步，所以，Amazon決定將數(shù)據(jù)庫重新打掉重練，改用新的云端數(shù)據(jù)庫設(shè)計方式來取代，以便能夠快速橫向擴展，來因應(yīng)業(yè)務(wù)成長需求。

　　Thomas Park在傳授數(shù)據(jù)庫搬遷經(jīng)驗的過程時，也首度公開過去Amazon電子商務(wù)平臺背後采用的線上交易與數(shù)據(jù)存儲服務(wù)架構(gòu)圖（自11月1日以後，Amazon數(shù)據(jù)存儲已全面改由AWS取代）。

　　從這個架構(gòu)圖來看，首先，Amazon所建置的一個超大型數(shù)據(jù)存儲叢集，全部都是采用Oracle RAC數(shù)據(jù)庫架構(gòu)，在它上方，還有提供3個針對營運、探查與BIM數(shù)據(jù)設(shè)計的專用數(shù)據(jù)存儲或數(shù)據(jù)庫，里面用也都是Oracle， 再透過DB Link方式相連，連做為各種交易資料存放的OLTP數(shù)據(jù)庫，也都有部分使用到Oracle產(chǎn)品，并透過Amazon自行開發(fā)一個可以用來管理不同數(shù)據(jù)庫處理流程的ETLM管理平臺，來進行協(xié)助交易資料萃取和轉(zhuǎn)置。

　　Thomas Park指出，就像其他電商平臺，Amazon剛開始，也使用許多OLTP數(shù)據(jù)庫與Oracle數(shù)據(jù)存儲，用來處理不同類型的工作負載，像是Oracle數(shù)據(jù)庫可以被用於承載交易型與非交易的工作任務(wù)，能處理的資料型態(tài)，包括目錄、庫存、線上交易、網(wǎng)頁點擊串流，以及行銷等資料。而數(shù)據(jù)存儲則是用於蒐集大量交易數(shù)據(jù)與分析所用。

　　但是，為何Amazom後來決定換掉原本數(shù)據(jù)庫？Thomas Park說：「就是為了要讓數(shù)據(jù)庫具備橫向擴展（Scale Out）的能力�！顾�表示，Amazon成立20多年來，在業(yè)務(wù)發(fā)展上，從開始用來查詢交易資料與儲存使用的數(shù)據(jù)庫，用的就是Oracle數(shù)據(jù)庫及其技術(shù)，并用這些數(shù)據(jù)庫來建立Amazon網(wǎng)站底層的架構(gòu)。但是當(dāng)業(yè)務(wù)量逐漸成長，需要擴建更多的銷售據(jù)點與資料中心，并且跨入不同領(lǐng)域市場，對於IT團隊來說，必須要能很快擴展原有基礎(chǔ)設(shè)施，來迎合業(yè)務(wù)快速成長需求。

　　但是舊有的數(shù)據(jù)庫設(shè)計方式，已無法跟上Amazon事業(yè)快速成長的腳步，所以，Amazon決定將自己的舊數(shù)據(jù)庫全部打掉重練，改用新的云端數(shù)據(jù)庫設(shè)計方式來取代，以便能夠快速橫向擴展，來因應(yīng)業(yè)務(wù)迅速成長�！高@也是我們會決定從使用已久的Oracle數(shù)據(jù)庫搬上AWS的最重要原因�！巩�(dāng)然成本也是另一大考量，他事後補充說到。

　　一般來說，在新舊數(shù)據(jù)庫搬遷過程中，企業(yè)會先針對舊數(shù)據(jù)庫的綱要（Schema），先經(jīng)過復(fù)制或轉(zhuǎn)換，改到了目標(biāo)的數(shù)據(jù)庫後，才接著將舊數(shù)據(jù)庫里存放的資料，透過如AWS DMS等數(shù)據(jù)庫搬遷工具，再將全部資料移到新的數(shù)據(jù)庫。

　　不過，Thomas Park強調(diào)，當(dāng)一家企業(yè)發(fā)展成長到達一定規(guī)模，要遷移數(shù)據(jù)庫，就不是一件容易的事，隨著業(yè)務(wù)量成長，系統(tǒng)架構(gòu)也將日益龐大復(fù)雜，例如需要不斷擴增新數(shù)據(jù)庫與備份數(shù)據(jù)庫，來滿足營運所需，還要能依據(jù)不同關(guān)鍵性應(yīng)用，來針對數(shù)據(jù)庫采用分層架構(gòu)，以便於依資料使用頻率與重要程度，對應(yīng)到不同的數(shù)據(jù)庫層存放，或是配合業(yè)務(wù)發(fā)展需求，采用新的數(shù)據(jù)庫架構(gòu)設(shè)計，如分散式數(shù)據(jù)庫等。

　　以這次35PB遷移經(jīng)驗來說，Thomas Park坦言，光是要將這些資料全部搬遷到AWS環(huán)境，就花了1年多才完成，同時搬移的過程，還要確保整個數(shù)據(jù)存儲服務(wù)不能中斷，能持續(xù)穩(wěn)定運作，繼續(xù)提供原有的數(shù)據(jù)蒐集與分析服務(wù)。對Amazon的IT團隊來說，這是一大挑戰(zhàn)。

　　最後，Thomas Park也說到，Amazon至今已經(jīng)關(guān)掉的Oracle數(shù)據(jù)庫，少說也有數(shù)千到數(shù)萬個，現(xiàn)在，都已改用AWS的數(shù)據(jù)庫服務(wù)，如Redshift、Amazon RDS，Aurora與DynamoDB等。

　　除了數(shù)據(jù)存儲之外，Amazon也將過去沿用了20年關(guān)鍵核心財務(wù)系統(tǒng)用的Oracle數(shù)據(jù)庫，也都一并搬上AWS，總共搬遷多達93個數(shù)據(jù)庫、185個實例，累積120TB的資料量，現(xiàn)在都改使用DynamoDB云端數(shù)據(jù)庫。經(jīng)過改用新的數(shù)據(jù)庫以後，除了更易於管理，更高可靠，更加快近一倍的反應(yīng)處理時間，也替Amazon省下70%整體成本。

　　1. 必須先提高能見度，全盤了解數(shù)據(jù)庫使用狀況，以利掌控進度。

　　2. 搬遷工程影響許多單位，事前須盡早尋求高層支持。

　　3. 須先獲得所有數(shù)據(jù)庫管理人員的支持，搬遷才能順利。

　　4. 搬遷過程，應(yīng)單獨設(shè)立一組開發(fā)團隊，解決不同數(shù)據(jù)庫團隊的共通問題，有助加快遷移。

　　5. 執(zhí)行全程須與AWS團隊保持密切合作。

　　6. 團隊?wèi)?yīng)克服對技術(shù)的恐懼，找出最棘手及真正的技術(shù)問題。

　　7. 認清便宜沒好貨，應(yīng)追求最高價值，而非最省成本。

　　8. 以整體效率的改善，來說服尚未轉(zhuǎn)換的單位。

　　9. 資料上云後，要建立統(tǒng)一管理平臺。

　　10. 隨時保有擴充彈性，然後慶祝勝利到來。

　　資料來源：AWS，iThome整理，2018年12月