大數(shù)據(jù)在移動(dòng)互聯(lián)網(wǎng)時(shí)代也顯得越來越重要，當(dāng)大家都在探討互聯(lián)網(wǎng)思維的時(shí)候，到底什么是互聯(lián)網(wǎng)思維？各家有各家的說法，但是萬變不離其宗的是離不開的數(shù)據(jù)挖掘和分析應(yīng)用。2014年2月19日，在第十一期“信息化大講堂”上聯(lián)想中國服務(wù)總部首席技術(shù)顧問劉睿民先生與大家分享了大數(shù)據(jù)挖掘技術(shù)的發(fā)展趨勢及行業(yè)機(jī)遇。
聯(lián)想中國服務(wù)總部首席技術(shù)顧問 劉睿民
近幾年大數(shù)據(jù)非�；鸨�，今年更是馬上火熱，但總的來說集成互聯(lián)網(wǎng)思維大數(shù)據(jù)的革命才剛剛開始�，F(xiàn)在新數(shù)據(jù)的年增長為60%左右，也逐漸從基礎(chǔ)架構(gòu)、Apps向數(shù)據(jù)的簡化邁進(jìn)。那么要達(dá)到大數(shù)據(jù)的簡化，就要先了解大數(shù)據(jù)處理的現(xiàn)狀、大數(shù)據(jù)系統(tǒng)統(tǒng)一的整體、大數(shù)據(jù)的框架及特征。
同時(shí)劉睿民先生提到：虛擬化的Hadoop是未來，這就意味著我們要通過虛擬化來統(tǒng)一大數(shù)據(jù)計(jì)算平臺(tái)，使其實(shí)現(xiàn)簡單、快速、即需地監(jiān)控?cái)?shù)據(jù)集群、允許混合負(fù)載、利用虛擬機(jī)來提供隔離、通過虛擬宕撲來優(yōu)化數(shù)據(jù)處理性能和平臺(tái)穩(wěn)定性的目標(biāo)；可伸縮的擴(kuò)展性能、依靠高可靠性來保護(hù)關(guān)鍵服務(wù)，如：Hadoop的Name Node及Job Tracker；資源控制和共享，重用低利用率的內(nèi)存及CPU；對負(fù)載進(jìn)行優(yōu)先級控制，在混合環(huán)境中優(yōu)化及限制資源的使用充分利用虛擬化。
緊接著，劉睿民先生為大家講解了統(tǒng)一的基于分析的云的三個(gè)階段。第一個(gè)階段：統(tǒng)一的系統(tǒng)。預(yù)先整合系統(tǒng)，便于管理及使用；第二個(gè)階段：實(shí)時(shí)的流數(shù)據(jù)分析。針對導(dǎo)入的數(shù)據(jù)執(zhí)行實(shí)時(shí)的“流式”的分析查詢、全速更新即時(shí)導(dǎo)入的數(shù)據(jù)、調(diào)度及執(zhí)行上百個(gè)復(fù)雜查詢、能夠進(jìn)行億級維表和事實(shí)表JOIN,同時(shí)無需對維表及事實(shí)表進(jìn)行預(yù)處理；第三個(gè)階段：基于內(nèi)存計(jì)算的分析應(yīng)用部署。實(shí)時(shí)加載及大規(guī)模部署分析應(yīng)用、分析應(yīng)用全速響應(yīng)外部App或傳感器、分析應(yīng)用動(dòng)態(tài)生成及執(zhí)行上萬個(gè)復(fù)雜查詢。
合影留念
演講接近尾聲時(shí)，現(xiàn)場嘉賓也紛紛提出自己在工作中遇到的困難，劉睿民先生也對大家的提問詳細(xì)解答，與大家共同探討解決之道，演講結(jié)束后，現(xiàn)場嘉賓月劉睿民先生合影留念。
與成熟技術(shù)積累推動(dòng)應(yīng)用模式創(chuàng)新的云計(jì)算、物聯(lián)網(wǎng)、移動(dòng)互聯(lián)網(wǎng)等領(lǐng)域不同，大數(shù)據(jù)領(lǐng)域的技術(shù)尚未完全成熟，大數(shù)據(jù)的革命才剛剛開始，因此大數(shù)據(jù)在未來也將帶給大家更多的機(jī)遇與挑戰(zhàn)。
第十二期活動(dòng)預(yù)告：【大數(shù)據(jù)：一個(gè)CIO的自我修養(yǎng)】
了解更多信息化大講堂資訊，請點(diǎn)擊：
