三個名單遏制垃圾郵件
博文 譯 2006/07/11
垃圾郵件已成為一個日益嚴重的問題。為了打贏這場與垃圾郵件的戰(zhàn)爭,我們用上十八般武器,其中的黑名單、白名單和灰名單應該算是這場反垃圾郵件戰(zhàn)中最基本的工具,本文將詳細闡述企業(yè)應該怎樣有效地利用它們。
正如郵資成本在不停地上升,電子郵件的復雜性日益增加是必然趨勢。在垃圾郵件泛濫以前,互聯(lián)網(wǎng)很平靜,基于簡單電子郵件傳輸協(xié)議(SMTP)連接的郵件系統(tǒng)運轉得很好,郵件過濾器只是那些專門的郵件服務提供商才會使用。然而現(xiàn)在,郵件過濾器幾乎成了很多部門的必需品。
那究竟該選什么樣的過濾器呢?如果你的企業(yè)每天收到電子郵件數(shù)量特別巨大,大多數(shù)情況下使用黑名單和白名單過濾垃圾效果不會太好,他們通常只能解燃眉之急。訂閱類似Postini這樣的服務可以從郵件接收的角度來緩解這個問題,但這也僅僅完成了反垃圾郵件戰(zhàn)的一半。
免費的域名服務器黑名單(blacklist)——如Spamhaus.org、Spamcop.net等網(wǎng)站有這項服務,提供了一個交互式的服務;谶@項服務,通過簡單的DNS查詢,接受郵件的服務器可以把發(fā)送郵件服務器的IP地址與一個已知的垃圾郵件服務器名單進行比較。如果IP地址在此名單中,這封郵件就會被拒絕。
很多組織也依賴于白名單(white-list),這是一個可以接受它們發(fā)出郵件的域、IP地址以及SMTP轉發(fā)IP地址的簡單列表。在大多數(shù)網(wǎng)絡中,這是一個與公司關系緊密的合作伙伴的域以及補充的IP地址,或者會被垃圾郵件過濾器捕獲而實際上應該有效的域的名單。
另有一種基于名單的保護方式是灰名單(greylist);颐麊谓橛诤诿麊魏桶酌麊蝺烧咧g,它用解釋型的后臺程序和SMTP狀態(tài)標記來動態(tài)創(chuàng)建黑名單和白名單。
所有這三種方法在現(xiàn)代企業(yè)反垃圾郵件戰(zhàn)中都有它自己的位置,但是必須仔細規(guī)劃,特別是使用黑名單時,一定要小心,以免傷及無辜。
把好黑名單第一關
盡管DNS黑名單有很多人在用,但是對于它們的使用一直存在爭議。如果這個黑名單太大的話,將會使郵件服務器根本沒有辦法工作,好在目前還沒有出現(xiàn)這種情況,而且DNS黑名單所列出的垃圾郵件服務器還很少發(fā)現(xiàn)“誤判”的情況。
正常的郵件服務器是有可能被列入黑名單的,造成這種情況的原因有很多: 直接將垃圾郵件發(fā)送者的IP地址上報可能導致不僅僅是這個IP地址,甚至是這個IP地址所在的整個網(wǎng)段都被列入DNS黑名單。那些共享主機的用戶很容易成為受害者,由于使用的是同一個IP地址,因此如果一個用戶違規(guī)就會造成使用這個IP地址的所有網(wǎng)站受到影響; 另外一種情況就是ISP的終端用戶可能將合法的郵件發(fā)送清單中的郵件標記為垃圾郵件,而不是取消自己的訂閱服務。這樣這臺服務器可能就會被列入黑名單,至少那個ISP會被列入黑名單。
不同的服務提供商提供的名單本身在側重點和范圍上都各不相同。最大的sorbs.net、spamhaus.org和spamcop.net 這3個網(wǎng)站使用通用的垃圾郵件指南來確定一個服務器的狀態(tài)。而Rfc-igno-rant.org則更進一步,它把違反RFC 821和2821條款的郵件服務器列入黑名單中(RFC 821和2821是SMTP通信的主要規(guī)范)。不幸的是,有相當多合法的郵件服務器由于設計不好或者實現(xiàn)不正確而違反了這些規(guī)范。凡是使用了這些郵件服務器的用戶都可能被rfc-ignorant.org列入黑名單,即使他們并不是垃圾郵件發(fā)送者。盡管這些網(wǎng)站應該使用符合規(guī)范的服務器,但是它們被列入DNS黑名單可能會妨礙與其他合法的交流。
盡管如此,不可否認的是,在過去幾年里最流行的DNS黑名單已經(jīng)有了很大的改進,給用戶提供了比以前更準確的結果。事實上,spamhaus.org和sorbs.net等免費提供的黑名單中不僅僅列出了人們常見的垃圾郵件服務器所在的網(wǎng)段,也列出了通過家用寬帶連接的垃圾郵件發(fā)送者的動態(tài)IP網(wǎng)址以及被黑客們控制來發(fā)送垃圾郵件的僵尸網(wǎng)絡和僵尸機。
這些黑名單到底有多流行呢?據(jù)在spamhaus.org工作的Steve Linford估計, spamhaus網(wǎng)絡每秒收到8萬到10萬條搜索請求。這還不包括那些沒有使用公共服務器的大型組織的成員單位,這些大型組織按照計劃定期從公共服務器上獲得DNS黑名單,然而放到自己網(wǎng)絡中供下級成員使用,這樣大大地減少了用戶對公共服務器的請求數(shù)量。
黑名單的誤判
但是誤判率怎么樣?一位用戶的話很有代表性,他說: “直到昨天晚上,由于害怕誤判我們一直沒有用DNS黑名單。然而,在過去的幾個月里,我們收到的垃圾郵件數(shù)量增加很快。不得已,我最終決定將njabl.org的黑名單用于我們的郵件過濾器里。在剛過去的15小時里我們已經(jīng)阻止了3100多個連接!
如果DNS黑名單流行,誤判就永遠客觀存在,但是由于使用黑名單的好處遠遠大于壞處,這種擔心相對于不斷增長的垃圾郵件問題也不算什么了。
當一個服務器被列入黑名單后,網(wǎng)站管理人員通常不知道,直到大量被拒絕的郵件退回到用戶手中。大多數(shù)情況下,返回的信息包括郵件為什么被阻止、被誰阻止等信息。警告信中通常包括了URL,用來指導管理人員如何申請將自己的郵件服務器從黑名單中去除。據(jù)估計,spamhaus.org每天有50萬個服務器被列入黑名單。
每個DNS黑名單在收集和維護其數(shù)據(jù)庫方面都有它自己獨特的方法。很多使用蜜網(wǎng)技術(Honeynet)自動對來自僵尸網(wǎng)絡的攻擊進行分類,如果發(fā)現(xiàn)了僵尸網(wǎng)絡,它們就會將源IP地址添加到數(shù)據(jù)庫中?斩薙MTP服務器(Dead-end SMTP)技術也經(jīng)常被用到,它們沒有真正的郵箱,但是會收取那些發(fā)送給根本不存在的用戶的郵件來鑒別垃圾網(wǎng)站和系統(tǒng)。
盡管在今天的互聯(lián)網(wǎng)上,開放式轉發(fā)(Open relay)的威脅已經(jīng)遠不比過去了,但是它仍然存在。有幾個提供DNS黑名單的機構會主動搜索開放式轉發(fā),一旦發(fā)現(xiàn),就把它們列入黑名單。
不久前,在許多銷售的商業(yè)SMTP服務器中,開放式轉發(fā)還是默認的設置。但今天已不再用它了。然而,Sun公司首批員工之一、EFF的Cygnus方案的創(chuàng)始人及UseNet alt新聞組之父John Gilmore還堅持保留受限的開放式轉發(fā)功能。對他來說,這是一個言論自由問題。但對于我們來說,它并不是一個好做法,會使電子郵件基本上無效。
灰名單開始流行
灰名單可以機智地阻截大多數(shù)垃圾郵件。它的主要功能基于SMTP錯碼(error-code),這個代碼的意思是要發(fā)送方在把剛才發(fā)送的電子郵件重新發(fā)送一次之前先等幾分鐘。
通常這個代碼在接受郵件服務器收到的請求太多而來不及處理時才會發(fā)出;颐麊位谶@樣一個事實,就是大多數(shù)的垃圾郵件服務器和僵尸網(wǎng)絡的郵件只發(fā)送一次,而會忽略要求它們在一定的時間間隔后再次發(fā)送的請求。因為對它們來說,重發(fā)每封郵件會大大減少他們總的業(yè)務量。
最初被郵件服務器拒絕接收、并被要求“稍后重發(fā)”的所有郵件都會進入灰名單過濾器。如果在10分鐘左右,遠程服務器再次發(fā)送了這封郵件,它則會毫無障礙地被通過,而且以后與這封郵件頭一致的郵件也會順利通過。
近來灰名單越來越流行。這種方法能夠大大地減少垃圾郵件數(shù)量,但是它因為要求服務器再次發(fā)送郵件也延遲了郵件的接收。不過,這種延誤對于區(qū)分是否是垃圾郵件是必要的。
盡管如此,灰名單加上一個和多個的DNS黑名單、再加上垃圾和病毒過濾器可以給我們提供一個相對清潔的郵件系統(tǒng),今天,它們已經(jīng)成為SMTP服務器防治垃圾郵件和病毒的必不可少的標準方法。盡管丟失郵件的機會還是存在的,但并不是致命的問題。
垃圾郵件的最終解決
要真正解決垃圾郵件對我們的困擾,還需要一些真正突破性的技術。一種可能真正應對垃圾郵件的技術就是SPF(Sender Policy Framework)。SPF本質上就是對接收的每一封郵件進行逆向確認。
正如每個互聯(lián)網(wǎng)郵件服務器都需要一份接收郵件的MX DNS記錄,SPF要求每個服務器必須有一個發(fā)送MX的記錄。也就是在一個域的DNS記錄中有一條記錄可以用來證實某個服務器負責發(fā)送某個郵件。如果使用SPF的一個郵件服務器發(fā)現(xiàn)某個發(fā)送郵件的服務器在域的DNS中沒有記錄,它發(fā)送的郵件就會被退回,或者會被標記為疑似垃圾郵件。例如,服務器收到一封聲稱是來自aol.com的郵件,但SPF在aol.com中根本找不到這個郵件服務器, 那么這封郵件很有可能是偽造的。
這種解決方案有利也有弊。比如說,MTA(Mail Transfer Agent,郵件傳輸代理)轉發(fā)郵件失敗,使用SPF過濾器這時候會要求服務器重新發(fā)送郵件,而不是再次轉發(fā)。對于這點有待相關技術來解決,這些技術現(xiàn)在仍處于發(fā)展過程中。
另一個選擇就是用x.509證書來保護SMTP。這種方法要求互聯(lián)網(wǎng)上的每一個有效的SMTP服務器都有一個對應的身份證書。只有具備有效證書的服務器才允許發(fā)送郵件到另一個服務器。這種解決方案需要大多數(shù)目前運行的郵件服務器都有證書,否則不允許發(fā)送或者被列入待查的行列。
盡管SPF最近變得越來越流行,但是真正完善的解決方案不太可能會很快出現(xiàn)。除非幾個主要的開源和商業(yè)的MTA產(chǎn)品提供商在共同的標準上開始合作,否則,基于黑名單的郵件接收系統(tǒng)仍然將是一種主要的方法。(譯自美國《Inforworld雜志》)
鏈接:魔道斗法
盡管主要的DNS黑名單網(wǎng)站免費向大多數(shù)用戶提供他們的服務,但是這些服務是需要成本的。隨著DNS黑名單越來越流行、越有效,它對那些大規(guī)模發(fā)送垃圾郵件者及其客戶的利益造成很大威脅。因此,DNS黑名單的提供者發(fā)現(xiàn)他們自己已經(jīng)卷入一場與垃圾郵件發(fā)送者的戰(zhàn)斗,但并不是如何對付垃圾郵件。
Sorb.net的一位工作人員說: “這的確是一場戰(zhàn)爭,而且正在升級。我們積極地試圖發(fā)現(xiàn)并且阻止垃圾郵件的制造者,而他們也在想盡辦法來破壞我們!彼e例說,“比如,我們會對由惡意軟件產(chǎn)生的開放式轉發(fā)(open relay)進行掃描,一些惡意軟件的程序員就通過回復無效的信息來迷惑我們的掃描程序,從而導致重復掃描。這樣就降低了掃描的有效性,我們只好對掃描程序進行修改以避免這種問題!
這場戰(zhàn)爭中也不乏間諜和雙重間諜的故事。這位Sorb.net的工作人員還回憶起一件事,曾經(jīng)有人給Sorb.net發(fā)了一封匿名信,信中說如果發(fā)送某個特定的24個字節(jié)的數(shù)據(jù)到TCP端口,這臺電腦上的一些Windows惡意軟件將自動卸載。收到這個消息后,Sorb.net對掃描程序進行了修改,添加上了這個序列,后來果然發(fā)現(xiàn)有成千上萬被感染的計算機上的病毒得到了清除。
盡管DNS黑名單使用各種各樣的方法來編譯他們的數(shù)據(jù)庫,但垃圾郵件發(fā)送者仍然能識別出來并設法逃避。比如,垃圾郵件的制造者會專門開發(fā)一些惡意軟件來阻止來自知名的DNS黑名單的連接以避免被掃描。其他的技術包括DNS黑名單的“反黑名單”,即垃圾郵件的制造者整理出DNS黑名單服務的提供方常用來掃描的服務器地址名單,這樣他們就可以有針對性地預防。
DNS黑名單與垃圾郵件發(fā)送者之間除了進行貓捉老鼠的游戲之外,垃圾郵件發(fā)送者還通過DDoS來攻擊一些較大的DNS黑名單。前不久spamhaus.org就深受其害,最后被迫采取反DDoS來維持它的服務。
現(xiàn)在的局面就是躲避與攻擊、躲避與迂回行進,一方千方百計想勝過另一方。如果Windows XP SP2和即將推出的Vista安全性更高些,也許垃圾郵件制造者們的詭計就不會那么容易得成,然而這終究只是“如果”。目前看來,雙方的斗爭還將繼續(xù)下去。
計算機世界網(wǎng)(www.ccw.com.cn)
相關鏈接: