宕機(jī)原因分析
2011/12/08
原因一：電源故障
停電自然會(huì)引起服務(wù)器宕機(jī)，還沒(méi)有哪個(gè)服務(wù)器不用電的吧。在剛剛過(guò)去的2010年，閃電、風(fēng)暴、洪水、轉(zhuǎn)換開(kāi)關(guān)的失誤都是今年數(shù)據(jù)中心停電的罪魁禍?zhǔn)祝罅康纳缃幻襟w網(wǎng)站，如Twitter、Facebook以及一些免費(fèi)托管的服務(wù)器群都有嚴(yán)重的斷電現(xiàn)象。在2010年，主要電子商務(wù)商服務(wù)的服務(wù)器就出現(xiàn)了四次嚴(yán)重?cái)嚯�，�?dǎo)致數(shù)百萬(wàn)美元的交易流產(chǎn)，甚至連政府服務(wù)網(wǎng)站也出現(xiàn)宕機(jī)事件。
iWeb的CL數(shù)據(jù)中心因火災(zāi)迫使3000臺(tái)虛擬服務(wù)器主機(jī)轉(zhuǎn)用發(fā)電機(jī)設(shè)備進(jìn)行供電，其中三臺(tái)發(fā)電機(jī)正常啟動(dòng)，另外一臺(tái)因轉(zhuǎn)換開(kāi)關(guān)故障而啟動(dòng)失敗。一旦UPS電源被耗盡，該數(shù)據(jù)中心將有三分之一的設(shè)備宕機(jī)。大約一小時(shí)后電力恢復(fù)，但至少有450臺(tái)的服務(wù)器沒(méi)有重新啟動(dòng)，需要進(jìn)行人工操作，一直持續(xù)到4日的下午4點(diǎn)所有的服務(wù)器才開(kāi)始正常運(yùn)行。通過(guò)這一事件，iWeb在博客中表示，該公司每星期都會(huì)對(duì)備用電力設(shè)備進(jìn)行測(cè)試，防止同類情況發(fā)生。
在此前的9月16日，網(wǎng)上銀行門戶網(wǎng)站Chase.com在遭遇了14號(hào)和15號(hào)漫長(zhǎng)的停電而停機(jī)后重新上線，但是冗長(zhǎng)的等待過(guò)程導(dǎo)致了定期支付賬單無(wú)法按時(shí)交易。該網(wǎng)上銀行門戶網(wǎng)站表示：將退客戶還在此期間產(chǎn)生的的滯納金，并對(duì)此事件進(jìn)行公開(kāi)道歉。
在5月初，Amazon云計(jì)算服務(wù)4次因停電而發(fā)生故障，5月4日的兩次故障的原因則分別是一個(gè)UPS單元故障和人為操作失誤；5月8日因配電屏電氣接地和短路引發(fā)的停電曾導(dǎo)致部分用戶失去服務(wù)長(zhǎng)達(dá)7個(gè)小時(shí)，而且還導(dǎo)致極少量用戶的數(shù)據(jù)丟失。而在5月11日，停電故障則是因?yàn)橐惠v汽車撞倒了Amazon數(shù)據(jù)中心附近的高壓電線桿，而數(shù)據(jù)中心的配電開(kāi)關(guān)又未能正常地從公用電網(wǎng)切換到內(nèi)部的備用發(fā)電機(jī)(配電自動(dòng)化系統(tǒng)錯(cuò)誤地將停電原因理解為電氣接地)。
原因二：硬件故障
在去年的12月12日，亞馬遜旗下英國(guó)、法國(guó)、德國(guó)和西班牙網(wǎng)站晚間宕機(jī)超過(guò)一個(gè)半小時(shí)，有報(bào)道稱，由于亞馬遜停止向維基解密網(wǎng)站提供服務(wù)，亞馬遜歐洲購(gòu)物網(wǎng)站引發(fā)黑客攻擊而出現(xiàn)訪問(wèn)障礙。但是在第二天，亞馬遜女發(fā)言人馬麗•奧薩科(MaryOsako)在一份電子郵件中談及所謂的遭受拒絕服務(wù)攻擊時(shí)表示：“今天早些時(shí)候公司歐洲零售網(wǎng)站出現(xiàn)短暫的訪問(wèn)中斷，是由于我們歐洲數(shù)據(jù)中心網(wǎng)絡(luò)硬件出現(xiàn)故障，并非遭受分布式拒絕服務(wù)攻擊（DDOS）。”
無(wú)獨(dú)有偶，美國(guó)最大的在線支付平臺(tái)PayPal在2010年10月29日也因硬件故障發(fā)生宕機(jī)事故。宕機(jī)發(fā)生于美國(guó)東部時(shí)間上周五上午11時(shí)，當(dāng)天下午12時(shí)30分故障解決。但是，下午2時(shí)30分，故障再度發(fā)生，并持續(xù)了近一個(gè)小時(shí)�；謴�(fù)和失效備援系統(tǒng)未能立即發(fā)揮作用。故障期間，PayPal的所有用戶均無(wú)法使用該網(wǎng)站的服務(wù)。
原因三：軟件故障
2010年2月18日下午(美國(guó)當(dāng)?shù)貢r(shí)間)，美國(guó)博客服務(wù)平臺(tái)WordPress網(wǎng)站發(fā)生服務(wù)故障，此次故障持續(xù)時(shí)間達(dá)110分鐘，使約1020萬(wàn)家使用WordPress服務(wù)的博客網(wǎng)站受到影響，受到影響的網(wǎng)頁(yè)瀏覽數(shù)量高達(dá)550萬(wàn)個(gè)。WordPress創(chuàng)始人馬特•穆倫維格(MattMullenweg)在該公司官方博客中表示，故障原因是由于WordPress數(shù)據(jù)中心服務(wù)商對(duì)一臺(tái)主要路由器參數(shù)進(jìn)行了調(diào)整。
穆倫維格當(dāng)時(shí)還表示，希望下次WordPress發(fā)生大規(guī)模服務(wù)故障的時(shí)間至少也在“四年之后”。但出乎穆倫維格意料的是，僅僅不到四個(gè)月之后，WordPress再次發(fā)生大規(guī)模服務(wù)故障。在6月10日晚（美國(guó)當(dāng)?shù)貢r(shí)間）發(fā)生的那次故障，導(dǎo)致超過(guò)1000萬(wàn)家使用WordPress服務(wù)的博客受到影響，其中包括知名科技博客TechCrunch、GigaOm等網(wǎng)站一度無(wú)法正常訪問(wèn)。穆倫維格表示導(dǎo)致此次故障的原因是：WordPress對(duì)一部分所托管博客網(wǎng)站的代碼進(jìn)行了調(diào)整。
早在2000年，亞馬遜公司也曾發(fā)生過(guò)軟件故障引起的宕機(jī)事故，那年的感恩節(jié)前后的兩周，亞馬遜網(wǎng)站在不到兩周時(shí)間里出現(xiàn)第三次癱瘓，對(duì)此，亞馬遜表示出現(xiàn)故障的原因是網(wǎng)站的內(nèi)部軟件有問(wèn)題。亞馬遜發(fā)言人表示：“我們?cè)谕粫r(shí)間運(yùn)行了兩個(gè)軟件，結(jié)果證明這兩個(gè)軟件無(wú)法兼容，于是導(dǎo)致網(wǎng)站出現(xiàn)癱瘓，現(xiàn)在我們已對(duì)這一問(wèn)題進(jìn)行了確認(rèn)和分析，而且已排除了故障。”
原因四：“鴨梨”過(guò)大 消化不了
相比其它原因，網(wǎng)站服務(wù)器宕機(jī)事故是較為常見(jiàn)的原因是流量負(fù)載過(guò)大。就好比春運(yùn)一樣，短時(shí)間內(nèi)大量人員的流動(dòng)導(dǎo)致了鐵路部門的緊張，而突發(fā)性高并發(fā)量訪問(wèn)則使得系統(tǒng)服務(wù)器癱瘓宕機(jī)。
流量過(guò)大，往往在網(wǎng)游中會(huì)出現(xiàn)，魔獸世界在中國(guó)的代理商由九城變更為網(wǎng)易，與九城服務(wù)器經(jīng)常宕機(jī)不無(wú)關(guān)系，但是換作網(wǎng)易后服務(wù)器也是經(jīng)常宕機(jī)。
天極網(wǎng)