中國IDC產業(yè)年度大典作為國內云計算和數(shù)據中心領域規(guī)模最大、最具影響力的標志性盛會，之前已成功舉辦過九屆，在本屆大會無論是規(guī)格還是規(guī)模都“更上一層樓”，引來現(xiàn)場人員爆滿，影響力全面覆蓋數(shù)據中心、互聯(lián)網、云計算、大數(shù)據等多個領域。
微軟（中國）托管技術高級架構師張志強出席IDCC2015大會并在云計算技術與平臺服務論壇發(fā)表主題為《在混合云架構下交付大數(shù)據解決方案》的精彩演講。
微軟（中國）托管技術高級架構師 張志強
以下是演講實錄：
張志強：大家早上好。我來自微軟，今天我跟大家分享的話題就是混合云架構下如何交付一個大數(shù)據解決方案？在過去兩年里面基本從云計算的需求由逐步導向到應用需求，那么應用需求里面我們看到15年很熱的就是大數(shù)據，而且這個我們可以看到從趨勢來講到16、17年會持續(xù)的發(fā)酵，大數(shù)據會變成云計算的需求方很重要的一點。我們微軟參加IDC大會已經三年，第一年就是分享在IDC的機房內構建自己的云，第二點講一下怎樣在基于自己的本地云的基礎上構建混合云的交付，今年我們把這個眼光轉向在云的架構下怎么交付大數(shù)據解決方案？我們看到云的業(yè)務上，很多IDC的伙伴已經有了云，有了服務能力。但是這個能力構建好之后，在需求側現(xiàn)在最重要的兩點，一個是大數(shù)據一個IOT的需求，我們看到產業(yè)園都提這個方面的需求。我們作為IDC的業(yè)者怎么響應這個需求？這是我們所關心的問題。
今天的內容有點枯燥，跟大家分享一下微軟大數(shù)據解決方案的架構，我們闡述一下為什么混合云，再說一下混合云架構上交付大數(shù)據解決方案的架構，然后我們做一個立體分析，給大家有小的演示。
首先我們看一下微軟的大數(shù)據方案，拿這個圖不是為了嚇唬人，因為確實是大數(shù)據方案里面的Cloud模塊很多，確實很多。我們從左側往右疏導，左邊是數(shù)據源，左邊是非結構化數(shù)據源，還有傳統(tǒng)化的結構數(shù)據源。這些數(shù)據源進來之后我們通過Hadoop和結構化的SQL導入到分析平臺系統(tǒng)，中間這個部分。這個部分的數(shù)據做的匯總處理之后，然后再往右側的塊進行數(shù)據的分析，數(shù)據分析這邊我們主要用傳統(tǒng)的數(shù)據分析方法還有一些新的機器學習的方法做分析。這些分析結果會導到應用層，應用層我們看到在應用中，現(xiàn)在還沒有達到指導性的意見，還是側重數(shù)據展現(xiàn)，包括幾個，一個是動態(tài)化的交付分析，還有面向移動端的數(shù)據交付。這是重要的幾個部分，上面是流逝分析，在實時數(shù)據流我做處理。這個處理方法不管是微軟還是其他的，主要提供于查詢語句的方式做差距，但是差距是根據實時流做的，對于實時要求比較高。
在整個概覽我們看到從數(shù)據產生到清洗、挖掘到后面的展現(xiàn)這個過程都有了。這張圖在大部分微軟和微軟小伙伴大家講的之后都會說，這是基于微軟公有云上面所提供的服務。的確這個里面不管是說從上面的Hadoop、HDinsight都是在微軟的公有云上面提供服務，一個是存儲服務還有分析類服務都在上面做。那么這些部分東西我們如果想交付自己的本地云或者私有云或者托管云上面做的時候，能不能做？這就是我們所關心的問題。我們的答案是可以做，你在本地云平臺上可以做，既然做云我們首先需要一個基礎的架構，我們需要有一個基礎架構。這個基礎架構提供的是一個IaaSService平臺，既然是做云我們一定要具備多租戶的能力。這是云的本質，所以我們現(xiàn)有這個部分。這個部分我今天不展開講，因為我們過去很多活動中主要講這個部分。那么對應上面的這些，上面這塊我們在本地云做的時候，提供大數(shù)據的解決方案有三個縱向的域組成，數(shù)據管理、數(shù)據提煉還有數(shù)據洞察。對應這些域里面，微軟可以提供哪些模塊給大家？我已經列出了。
首先我們做數(shù)據的管理，大家不可能不知道Hadoop，那么我們的答案就是說在微軟本地云的多租戶解決方案上，你可以交付一個Hadoop的服務。所以Hadoop的服務，當你的租戶來到你的環(huán)境中訂閱這個服務的時候，可以自動化的獲得Hadoop的環(huán)境。這個我們后面有一個小的演示，大家可以看一下。在數(shù)據提煉這部分，就有意義了。因為我們知道現(xiàn)在在數(shù)據分析的云里面，從傳統(tǒng)的這種簡單的排序到數(shù)據挖掘到現(xiàn)在的機器學習，再到可能在今年會進一步演化的深度學習，這些數(shù)據分析會是未來更重要的部分。包括昨天早上何博士談到一個觀點，把人工智能作為一個服務，這都是一個熱點。但是這個答案我們在這個方案中，嚴格意義上沒有一個完整的人工智能的服務在里面，為什么？原因很簡單，因為這個成本太高。所以我們對于這部分的服務提供的是R的解決方案，我們知道在整個數(shù)據分析領域里面，R語言現(xiàn)在占有90%的市場份額。那么怎么實現(xiàn)對于模型，基于模型的數(shù)據分析的服務？我們是通過，原來叫做HR，2016可能改名RService，所以我們把它放到我們的解決方案里面，這是一個。
還有原來微軟自己具有數(shù)據挖掘和分析服務這些模組，這些依然是存在的。那么再往右側推演，我們知道現(xiàn)在做大數(shù)據，我剛才講了一個觀點就是說，要做完整閉環(huán)決策，從數(shù)據的產生到分析到加工再回到你的系統(tǒng)中自動執(zhí)行這個行動，這個閉環(huán)大家不太敢做。在一些不重要的地方可以做，但是你把自動化全部交給他有一定的困難。所以我們看到做數(shù)據的展現(xiàn)，也就是說去年也是2015年比較熱的話題就是數(shù)據可視化，我用這個詞講大家更有感知一些。我們看到從去年年初踩踏事故出來之后，百度發(fā)布人流密布圖。到去年年底的時候淘寶也分布了指數(shù)，數(shù)據通過直觀的方式展現(xiàn)給大家，使得大家能夠領悟到價值。這個領悟目前機器不能完全替代去做，所以這是主要的原因。那么這個里面微軟提供的工具有兩個，一個是AnalysisService，這個跟十年前的已經完全不一樣。還有一個我上面沒有列，我們在交互經常用的工具就是Excel表格，這個從07到10這兩個版本已經演變成一個分析工具，Excel每個表處理的能力是十億條，不是原來的那樣。我們以前有一個比較痛恨的地方，一個數(shù)據表只有536，現(xiàn)在不是。第二它可以引入到外部數(shù)據源，第三它在展現(xiàn)上提供了像數(shù)據透視圖、還有跟地圖的連接這種更可視化的一種服務。
那么好，還有一個值得關注的小工具，這個叫Datazen，它本身也是獨立公司，這家公司的最大優(yōu)點就是說它提供一個面向移動設備的，基于H5的數(shù)據展現(xiàn)的可視化方案。也就是說你的數(shù)據從結果出來推送到手機端，可以基于這個方案，你可以在應用里面嵌入這個數(shù)據展現(xiàn)的時候，就變得非常的簡單。整個串起來就是我們大家能夠幫助在本地云平臺交付的大數(shù)據方案�；氐轿覀兊闹黝}，關于混合云的問題。嚴格意義講，我個人認為混合云永遠是一個中間方案，為什么這么說？從云計算誕生的第一天就希望所有的IT應用和應用，也就是數(shù)據都放到公有云上，為什么？因為公有云有好處。在基于公有云構建這個解決方案，你可能有一個相對比較端的建立周期，還有很強的數(shù)據中心的資源，然后有非常大的計算資源規(guī)模。這使得我在上面做應用的時候，可以變得更靈活更方便，而成本更低。談到成本這個問題，我們在座做IDC的大家都有體會。國內最便宜的云就是阿里云，但是它的邏輯大家經常講一個故事，所謂羊毛出豬身上然后狗買單，這種時候這種成本結構和我們單一的項目成本結構完全不一樣。
那么從最終用戶來看，我們不關心這個后臺的業(yè)務競爭，我們只關心我們構建業(yè)務系統(tǒng)成本時候會發(fā)現(xiàn)基于公有云做的時候成本會低，可是也有它的限制。這也就是說我們?yōu)槭裁磿嬖谒接性坪捅镜卦�，以及說其他形式的專有云的存在價值。首先對于數(shù)據治理這個問題是永遠存在的，不避諱的講即便是微軟和世紀互聯(lián)做微軟的Azure云，沒有用海外的Azure云引入中國的方式來做，就是因為法規(guī)的要求。所以同樣的要求會在不同的行業(yè)會有更強的約束性，那么這就是盡管有一個很便宜的公有云在那兒，但是很多用戶不能用。我們先不說技術問題，從數(shù)據治理角度來講它不能去用。所以會產生一個本地化的需求，就誕生了�？墒菍Ρ裙性�，一個很大的規(guī)模來講，在本地的云平臺一定是個有限規(guī)模。很簡單，比如微軟在自己的公有云投資達到150億美金，這樣一個規(guī)模不是任何一個企業(yè)或者說任何一個局部地域的服務商愿意投入的，因為市場空間沒有那么大，所以不會做這樣的生意決策，沒有這樣的決策就不會有一個看似無限量的后臺資源規(guī)模來支撐。這樣的結果下我們本地云就會變成一個有限的規(guī)模。
那么有限規(guī)模解決什么問題？在國內主要第一個是數(shù)據治理的問題。第二是網絡問題，網絡問題包括兩個，一個是一些地方網絡連接并不像我們想象的那么好，就是訪問速度沒有想象那么好。我們看到做SaaS應用服務的人，大量導入CDN，這就是其中一個原因。還有看的更極端的案例，有一些對于大數(shù)據解決方案有需求的用戶，他本身所處的位置非常偏遠，我們講一個極端場景。如果你幫助人做一個數(shù)字化的解決方案，都是在鳥不拉屎的地方，這個時候本地的私有化云的服務，就顯得有意義了。
那么回到我們所關心的問題，大數(shù)據。在微軟的視角里面我們在公有云提供了大量的服務，比如新的DataLake，就是PaaS的Service在上面。對應在本地我們提供Hadoop、SQLService這些應用都在上面。我剛才提到一個觀點，混合是一個中間路線，非左非右，就是折中。取東家長補西家短，這就是混合的意義。如果我們有些數(shù)據存儲和運算需要到很大量的資源規(guī)模我可以使用公有云的IaaS層的Service來做。那么很尷尬的看到一點，很多人用公有云第一步做什么？數(shù)據備份。再往下看，在公有云上提供一些在本地不好去構建的服務，舉個例子，機器學習，它后臺節(jié)點非常高。如果本地云只構建12或者16個物理服務器的平臺提供給三個客戶做大數(shù)據的服務，你可以想象我做這個事情，我怎么利用這個能力？我們的思路把這兩個串到一起變成一個混合的解決方案，取其長來用。
那么在本地我們所進行的其實是根據需求產生的，因為我們畢竟做生意。我做一個平臺或者做一個服務，沒有人來買我不需要投入那么高，那么這個時候在這一側我們看重在性能也好，成本也好，是根據需求來設計的。所以對于混合云的需求分析我們導入這樣一個結構，這個結構看起來很簡單，它的主線的工作是在這部分，就是本地云，COSN是微軟的一個解決方案。我們在這里用它代替在本地云平臺的名稱，在本地從數(shù)據采集分工是通的，但是我需要用公有云的時候把他拉進來，這是一個混合結構。這里我們沒有引入IaaS的混合層，重點在于公有云的PaaSService導入到這個解決方案，構成一個整體的部分。這個地方我特意說了，因為在大數(shù)據解決方案里面會存在很多不同的模塊，有的部分我可能只有非結構化數(shù)據處理。
接下來我們再對比一下，在公有云跟本地云兩邊來看。上面紅色標記是微軟在本地云提供的模塊大家去用，下面藍色是我們在公有云提供的數(shù)據分析，DataService，為什么公有云提供那么多誕生在本地？原因很簡單，因為微軟今天不像十年前那樣，我們以產品導向的方式做云的業(yè)務，而是以云為優(yōu)先，我們的口號也是移動為先云為先。這個時候整個研發(fā)體系的轉變會導致新的服務和技術會優(yōu)先誕生在公有云上，然后稍后我們把這些服務轉變成可交付產品，放到其他的環(huán)境中去運行，所以這是一個變化。那么這張圖的結構，你可以忽略這些，我們看藍點和紅點，今天可能是十比五的關系，明天變成十五比五，比十，后天變成二十比十、比十五，它是這樣的關系在變化。所以這個時候看到出來一個關于微軟的承諾，微軟在企業(yè)市場的耕耘是持續(xù)不斷，我們的做法希望把微軟在公有云的最佳實踐轉變成可交付的技術，可服務在公有云、本地云各種云的平臺，交付給我們的合作伙伴，幫助大家構建整體的解決能力。
接下來我們進入一個例題分析。前面講了系統(tǒng)結構和為什么做混合云，我給一個簡單事例。接下來看一下在這樣的思想指導下在實際的需求來了之后，會有什么樣的情況？這里說一個例子，這個例子是一個物聯(lián)網的應用場景，預測性的維護或者預防性的維護。這張圖上半部分告訴大家傳統(tǒng)的設備維護需要巡檢、排班和經驗。但是問題來了，這樣做是不夠的，因為有天然的矛盾。我檢的頻度高了成本高，檢的頻度低了，出現(xiàn)問題的風險高。所以怎樣適中的去做？不知道，只能憑經驗。所以這個時候我們在想，大數(shù)據時代來了，我能不能利用數(shù)據的分析來告訴我，對于這些設備的部件，我能不能有相對更精細的方式去做檢測和維護和操作。比如說我應該去更換機油，比如我應該更換車輪，我更換的周期應該是按什么樣的數(shù)值做最合理？是設計人員告訴我的還是說應該誰告訴我？我們想象一下一個設備在哈爾濱運行和廣州運行它的情況不一樣，由于地理緯度的影響就不一樣。那么就跟我們機房一樣，機房放到了廈門，要考慮除濕，如果放呼和浩特要考慮防風、除沙，這當然是環(huán)境帶來對設備維護因素的影響。還有人的影響，負載均衡的影響，其實這對于大型設備來說它的維護應該是個性化的。但是傳統(tǒng)的方式只能給你一個指導手冊，然后加上你自己的經驗去做。
我們一下對于這種大型設備的維護應該怎么來做？首先我需要有數(shù)據的采集，我需要有大量傳感器和控制設備的電腦主板，把運行狀態(tài)、數(shù)據拿過來。然后我把它放到一個地方，你可以把它放到我們講的本地運營的平臺上做這個數(shù)據的采集，這個時候它是一個服務，我們把服務拿進來。拿進來之后，干什么？很簡單，第一步是存儲，我的結構化數(shù)據，非結構化數(shù)據，很簡單我們想象一下我們Hadoop放進來了，放進來之后馬上可以做一些報表出來。這是沒有問題的。然后我可以把這些數(shù)據送到一個公有云服務平臺，用它的機器學習的能力，幫助我導入一個模型，這個模型是什么？比如是我這個車輪的疲勞失效模型。還有比如說是我不同部件的失效模型，這些模型可以在上面做計算，剛才講公有云有很好的計算池，因為我不需要每時每分去做，這個時候我的性價比最好，我本地云沒有那么大平臺規(guī)模，我不需要投入那么高成本。這個時候通過這樣的方式處理一下，處理完的結果拿過來。為什么？因為我要再做下一步的管理。這個管理我舉這個例子是排班管理，什么是排班管理？
我們知道在很多設備的運轉空間里面需要人做現(xiàn)場巡檢，現(xiàn)場巡檢的時候什么時間派什么人出去？這就是排班。以前的排班方式是用手冊和周期和人力資源來排，我現(xiàn)在可以按照設備個性化的維護周期和失效模型和人的狀況去排班，形成一個智能排班。這個排班使我的巡檢成本可以降低，這就是它的優(yōu)勢。我們看一段小電影，這是什么設備？電梯。電梯從剛才前面的各種傳感器設備采集完了之后回到本地的處理中心，這是它的服務中心，服務中心里面把數(shù)據能夠可視化展現(xiàn)出來，告訴大家是什么位置的電梯，運行狀況怎樣？再進一步的把這些數(shù)據做處理，然后變成一個排班結果同步給現(xiàn)場的小分隊，小分隊拿著自己的電腦按照工作指令去現(xiàn)場了，去做這些設備的檢修、維護、配件的更換。所以這樣一個過程構成我們剛才看到整個解決方案的完整處理能力。
我們剛才把基于設備性的預測性維護的解決方案和它的實現(xiàn)路線和一個場景給大家做了展示。接下來我們再看一個如何把Hadoop，一個基礎的組件做成服務放到我們的本地云平臺上。這個界面是我們在本地云平臺做的一個交付界面，首先看到是一個后臺管理，我們在后面定義好相應的資源，這個資源還是偏向于IaaS層的交付解決方案的資源，剛才看到的第一個片斷是管理的界面，是一個后臺界面，現(xiàn)在進入一個租戶界面。因為我們做一個CloudService是多租戶，現(xiàn)在就是用這個機制創(chuàng)建一個Hadoop的集群，我們把Hadoop的集群作為一個模板放在后面。當租戶訂閱的時候可以根據他的需要創(chuàng)建模板，創(chuàng)建出來把集群交互給用戶做，那么就實現(xiàn)了把Hadoop做成服務，這樣一個簡單的能力來構建出來。
同樣的，我們對于其他的也可以采用同樣的技術來實現(xiàn)。下面給大家演示一個小例子，我們這個例子是關于空調的智能管理的例子，首先我根據地圖進來，然后找到一臺空調，這是大型建筑的中央空調，中央空調我們知道它的制冷原理主要通過水冷，就是調整水口的溫度來送暖風，保證溫度的協(xié)調。這里我們主要的結果是做兩件事情，第一就是根據人流和環(huán)境因素來決策每一臺空調的運轉參數(shù)，這個參數(shù)分時段來調。有點類似于我們剛才講的排班表，那個調節(jié)人這個調節(jié)設備的工況。還有對空調運轉狀況做一個模擬分析，然后來看能耗和溫度之間的關系。因為我們知道空調有很多機組，這個時候產生能耗跳電，是什么因素導致的？我需要找到。我先開一個，然后再過一小時再開第二個，這個時候能耗有很大的節(jié)約�？雌饋磉@個圖稍微有點復雜，但是這個是微軟的機器學習的界面，我們只是把它嵌入到這個里面來。這個里面每一部分都是會有一些算法的，這些算法其實已經做成了可以拖拽的工具，因為我們知道以前做算法分析的時候，你要從A算法分析結果到B算法，中間需要轉換，這個很麻煩，成本周期很長，現(xiàn)在可以以拖拽的方式把整個串聯(lián)下來做一個序列。
那么這個結果，它會變成一個WebService，也就是說這個結果發(fā)布出來會變成一個數(shù)據輸出，數(shù)據輸出的形式就是WebService，所以這就是為什么我們是一個完整的PaaS解決方案。再回顧一下我們剛才所講的所有內容是幫助大家用一個IaaS云平臺在上面構建好一個本地化的大數(shù)據解決方案，但是對于大數(shù)據解決方案在IaaS層的能力不足的時候，可以變成一個混合解決方案，滿足用戶的需求。我們看到設備進行維護和空調的兩個例子的實際場景，由于今天是技術講座，所以把市場的片子放到最后�，F(xiàn)在大家所關注怎么從數(shù)據中獲得回報？馬云經常講BT時代來臨看到數(shù)據巨大價值，我們也看到不管是生產效率提高的環(huán)節(jié)還是運營效率提高的環(huán)節(jié)，還是對于客戶創(chuàng)新的新服務都會產生巨大價值。這是我們看到的市場空間，也是希望給大家一個提示，在16年的時候可以考慮在IDC來構建大數(shù)據的服務。當然做任何事情，千里之行始于足下，要獲得這個市場之前你需要先進入它。謝謝大家。
