垃圾郵件(未經(jīng)許可的商業(yè)郵件或不受歡迎的非法郵件)成為1990年以來一直困擾著互聯(lián)網(wǎng)的問題。那時，互聯(lián)網(wǎng)越來越商業(yè)化，越來越接近消費(fèi)者。一開始只是感覺到少數(shù)人制造一些電子廣告，而現(xiàn)在垃圾郵件占用了目前大部分的郵件空間。垃圾郵件造成惡性商業(yè)形象，損害了郵件使用者的利益，占用，而且它對公司的網(wǎng)絡(luò)系統(tǒng)和網(wǎng)絡(luò)可信度，效率和安全性造成嚴(yán)重的威脅。

垃圾郵件不是科技發(fā)展的結(jié)果

大多數(shù)關(guān)于垃圾郵件的討論圍繞在技術(shù)層面。然而，驅(qū)使垃圾郵件不斷增加的卻是經(jīng)濟(jì)原因，要求發(fā)送者的商業(yè)公司為發(fā)送垃圾郵件支付的巨額費(fèi)用。

Ferris市場調(diào)查公司在2004年的研究表明，美國的公司每年被大量的垃圾郵件消耗掉100億美元。同時，對于公司和消費(fèi)者來說，相比動輒數(shù)百萬的廣告費(fèi)來說，垃圾郵件的花費(fèi)是最少的。發(fā)送數(shù)百萬封垃圾郵件的費(fèi)用，也許通過少量生意就可以賺回來。這樣，即使垃圾郵件的回應(yīng)率極端的低(舉例來說，一千萬封電子郵件廣告之后可能只產(chǎn)生100個銷售量)，但是與傳統(tǒng)合法的廣告媒體相比，，它仍然有利可圖。因而垃圾郵件在很長一段時間會存在，反垃圾郵件是一項長期而艱巨的工作。

信息產(chǎn)業(yè)緩慢回應(yīng)

從1990年開始，垃圾郵件就成為網(wǎng)絡(luò)服務(wù)商(ISPs)和企業(yè)的頭號難題。ISPs和企業(yè)不得不采取行動來遏制對郵件服務(wù)器和網(wǎng)絡(luò)造成威脅的垃圾郵件。

盡管這個問題廣泛的被信息行業(yè)所承認(rèn)，但之前卻鮮有反垃圾郵件的工具和技術(shù)。信息行業(yè)，包括郵件服務(wù)商和相關(guān)產(chǎn)品，以及行業(yè)標(biāo)準(zhǔn)，對于垃圾郵件問題都反應(yīng)頗慢——最初都低估了垃圾郵件的數(shù)量和技術(shù)復(fù)雜性。

從反垃圾郵件的歷史

第一代反垃圾郵件技術(shù)

很難明顯的區(qū)分在大多數(shù)MTA上已經(jīng)具有的反垃圾郵件功能和第一代反垃圾郵件產(chǎn)品功能，因為這些已經(jīng)存在的反垃圾郵件功能加上新開發(fā)的功能在很大程度上幫助解決了垃圾郵件問題。 標(biāo)題和信頭測試，和簡單的測試一樣,主要是由于需要抵制垃圾郵件來推動的.

基礎(chǔ)MTA控制

MTA協(xié)議應(yīng)該能控制基于每個域名的通訊連接，比如，防止“開放轉(zhuǎn)發(fā)”并不能當(dāng)作一種獨(dú)立的反垃圾郵件技術(shù)。因為協(xié)議是在早期還沒有產(chǎn)生垃圾郵件問題時被提出的，并沒有預(yù)見到會有這些基本的安全隱患。

以梭子魚垃圾郵件防火墻為例，(下稱“梭子魚”)，其包含的拒絕服務(wù)攻擊防護(hù)和速率控制技術(shù)，屬于MTA控制的范疇。拒絕服務(wù)攻擊防護(hù)是指對于IP連接數(shù)量的限制，當(dāng)一個IP連接數(shù)過多的時侯，會禁止其連接，以免服務(wù)器資源被過度消耗，另外，對連接的時間也有限制。在郵件協(xié)議上，用戶可以自定義超時設(shè)置。此外，梭子魚內(nèi)置的并發(fā)連接數(shù)控制都對這類攻擊有明顯的抑制。

梭子魚通過專利認(rèn)證的十層過濾中第三層“速率控制”能夠扼制海量郵件的發(fā)送，拒絕虛假發(fā)件人。直接效果就是釋放了垃圾流量占用的大量帶寬。

白名單和黑名單

黑名單(Black )和白名單(White List)。分別是已知的垃圾郵件發(fā)送者或可信任的發(fā)送者IP地址或者郵件地址。現(xiàn)在有很多組織都在做*bl(block list)，將那些經(jīng)常發(fā)送垃圾郵件的IP地址(甚至IP地址范圍)收集在一起，做成block list。

目前很多端都采用了黑白名單的方式來處理垃圾郵件，包括MUA和MTA，當(dāng)然在MTA中使用得更廣泛，這樣可以有效地減少服務(wù)器的負(fù)擔(dān)。

梭子魚的BL一部分采用國際上共享的列表，公司有專門部門收集整理BL。實(shí)時動態(tài)更新。白名單則與黑名單相反，對于那些信任的郵件地址或者IP就完全接受了，由用戶自定義設(shè)置。

簡單的關(guān)鍵字搜索

簡單的關(guān)鍵字搜索一直是對抗垃圾郵件的基本方法。這一功能存在于垃圾郵件成為互聯(lián)網(wǎng)的主要問題之前，那時作為內(nèi)容過濾的一部分和基于反病毒產(chǎn)品的解決方案和服務(wù)。

因為它沒有文字變化或者上下文對照，所以這種方式只能用作鑒別垃圾郵件的辦法之一，但存在很多錯誤，合法郵件被誤判為垃圾郵件。

梭子魚400型號以上產(chǎn)品具有用戶自定義控制功能，即用戶自行定義關(guān)鍵字，來決定系統(tǒng)對過往郵件的評分。

標(biāo)題過濾和頭測試

信頭測試意味著郵件已通過SMTP協(xié)議。例如信件的寄件人和收件人，如果不合法的信息被傳輸?shù)臅r候,...將遞送一個通告并拒絕遞送該信息。信頭測試是從收件人，發(fā)件人和日期中測試有問題的郵件，如果包含錯誤形式或者信息便予以阻止。

這些能力用于刪除垃圾郵件是非常有效的，他們最后保證郵件是被正確的傳送，不管是不是垃圾發(fā)送者發(fā)出的信件，只要其中包含了垃圾郵件的信息就會被攔截，否則就說明郵件的轉(zhuǎn)發(fā)者沒有安裝反垃圾郵件設(shè)備。

梭子魚所有型號都可以設(shè)置或者用戶自定義設(shè)置標(biāo)題，信頭黑白名單，是系統(tǒng)對郵件的評分標(biāo)準(zhǔn)之一。

簡單的DNS測試

使用SMTP協(xié)議交換發(fā)送者信息的時候查詢發(fā)送者的互聯(lián)網(wǎng)域名可以驗證這些信息是否準(zhǔn)確。比如，查詢發(fā)送者的域或者發(fā)送郵件的主機(jī)名是否存在(通過查詢發(fā)送者域的IP地址和主機(jī)名是否對應(yīng))

簡單的DNS測試幫助防治“電子欺騙”(當(dāng)一臺機(jī)器使用虛假用戶名的時候).盡管簡單的DNS測試是阻斷垃圾郵件的重要工具，他們只根據(jù)發(fā)送者的用戶名和地址進(jìn)行阻斷，不論寄件人是一個垃圾郵件發(fā)送者或者信件本身是一封垃圾郵件，因此不是一個反垃圾郵件技術(shù)。簡單的DNS是一項比較弱的技術(shù)，因為無法指示出郵件是垃圾郵件的必然原因。

梭子魚的Dns反查系統(tǒng)，新型反向查找技術(shù)是簡單DNS測試的綜合應(yīng)用。

第二代反垃圾郵件技術(shù)

即時黑名單和電子簽名是第二代反垃圾郵件技術(shù)，因為他們不是為了反垃圾郵件而把現(xiàn)有的MTA技術(shù)簡單的重復(fù)或者延伸。第二代反垃圾郵件技術(shù)的存在完全為了制止垃圾郵件和對先前的技術(shù)進(jìn)行改良。

實(shí)時黑名單

盡管在基于網(wǎng)址和域名上它是一個DNS測試， RBLs是真實(shí)的反垃圾郵件技術(shù)，在RBLs之后的概念是簡單的維護(hù)一個發(fā)送垃圾郵件的網(wǎng)址，以阻止垃圾郵件的繼續(xù)發(fā)送。

這種技術(shù)會有一定的效果，但容易被繞過。比如，改變IP地址，或者利用第三方的服務(wù)器來發(fā)送垃圾郵件。同樣地，域名很容易被獲得，并被垃圾郵件發(fā)送者利用，因而不能完全依賴它來判別垃圾郵件。

也被稱為DNSRBLs, 梭子魚檢查所有收到郵件的IP地址，與在RBL中的IP地址核對來阻斷垃圾郵件。

電子簽名

這是對于垃圾郵件防御有重大意義的一項技術(shù)。電子簽名技術(shù)就是,如果垃圾郵件以大量的相同信息發(fā)送，可以用電子簽名技術(shù)產(chǎn)生一個唯一的電子簽名來收集和辨別垃圾郵件。如果能夠獲得充足的垃圾郵件樣本，對于降低垃圾郵件的比率有重要意義。但是這種技術(shù)需要及時操作才能達(dá)成效果。

例如梭子魚先設(shè)置蜜罐(誘騙郵件地址)，是用于收集大量的垃圾郵件。采集完成后，指紋識別技術(shù)就處理垃圾郵件，生成一個已知垃圾郵件數(shù)據(jù)庫。這就是梭子魚的指紋識別技術(shù)。

第三代反垃圾郵件技術(shù)

用鑒別垃圾郵件(簽名)和即時黑名單(RBLs)的方法來抵御垃圾郵件注定失敗。垃圾郵件發(fā)送者能夠輕易的繞過即時黑名單，最好的電子簽名技術(shù)也無法達(dá)到百分之百的正確率。大約在2002年，在互聯(lián)網(wǎng)和軟件行業(yè)中有一項全新的技術(shù)。

貝葉斯過濾

貝葉斯過濾，利用統(tǒng)計學(xué)的方法檢測垃圾郵件，基于垃圾郵件中單個詞語的出現(xiàn)概率來判定，這是反垃圾郵件技術(shù)上的第一個突破，貝葉斯過濾技術(shù)的發(fā)展從根本上把反垃圾郵件的重點(diǎn)從網(wǎng)絡(luò)和協(xié)議改變?yōu)猷]件內(nèi)容。

簡單的貝葉斯過濾，對大多數(shù)的垃圾郵件是有效的，容易被繞過。這種技術(shù)是用已經(jīng)收到的垃圾郵件來培訓(xùn)系統(tǒng)，從而產(chǎn)生一個基于規(guī)則評分的系統(tǒng)，來為每封郵件評分。

垃圾郵件發(fā)送者會不斷的改變郵件的內(nèi)容，通常是增加詞匯或變種詞匯(例如，用印刷體字母取代數(shù)字，O取代0)。不斷變化中性詞語和其他郵件內(nèi)容以及創(chuàng)造變種詞匯，使得位于反垃圾郵件系統(tǒng)最后一個步驟的貝葉斯過濾常被繞過。

梭子魚的貝葉斯規(guī)則庫在出廠之前都經(jīng)過近萬封郵件的培訓(xùn)，到達(dá)用戶之后，用戶繼續(xù)對其進(jìn)行培訓(xùn)，被“有效培訓(xùn)”以后，過濾垃圾郵件的準(zhǔn)確率達(dá)到99% 。

人工智能和機(jī)器語言學(xué)習(xí)

經(jīng)過貝葉斯過濾技術(shù)改進(jìn)發(fā)展而來，目前將被廣泛的應(yīng)用。

2003年左右，由于新的需求，專門的反垃圾郵件技術(shù)開始分離出來，并和一些高科技結(jié)合，不斷的發(fā)展起來。

基本上，這些技術(shù)執(zhí)行文件分級使用“非貝葉斯過濾技術(shù)”。根據(jù)垃圾郵件的變化進(jìn)行自我更新，目前這一技術(shù)正將被廣泛使用。

梭子魚的基于規(guī)則的評分系統(tǒng)，是一個人工智能(AI)系統(tǒng) ，對發(fā)現(xiàn)的每一個關(guān)鍵詞賦予分?jǐn)?shù) 。分?jǐn)?shù)越高，該郵件是垃圾郵件的可能性就越高 ;得分超過一定值時，該郵件將被分類為垃圾郵件。這種方式可以清除90%的垃圾郵件。為使評分有效，規(guī)則必須經(jīng)常更新 。

第四代反垃圾郵件技術(shù)

垃圾郵件的存在原因還有一部分是因為，在SMTP創(chuàng)造之初，只是用于學(xué)校，政府和軍隊，因為是一個封閉的系統(tǒng)，所以不存在非法使用和電子郵件的濫用。1990年起，互聯(lián)網(wǎng)廣泛的應(yīng)用于商業(yè)，但是之前的技術(shù)隱患仍然存在。垃圾郵件和反垃圾郵件活動必將長期存在，經(jīng)過了十幾年的發(fā)展，新興的反垃圾郵件技術(shù)也層出不窮。但無論哪一種技術(shù)，都無法完全應(yīng)對多變的垃圾郵件。

例如:簡單的關(guān)鍵字搜索，會產(chǎn)生較多誤報。貝葉斯過濾需要經(jīng)常培訓(xùn)才能適應(yīng)不斷變化的垃圾郵件形式，達(dá)到較好的效果。黑名單/白名單因為是絕對性攔截/通過，使用的時候要非常謹(jǐn)慎。實(shí)時黑名單(RBLs)缺點(diǎn)是它們可能產(chǎn)生誤報，因為一些RBLs是具有激進(jìn)性質(zhì)。故應(yīng)謹(jǐn)慎選擇訂閱服務(wù)。對于DNS測試來說，很多反向DNS目錄未被有效建立 ，或無法正常建立，這些域發(fā)送的郵件將被阻斷，造成不可接受的高誤報告率。

以上諸多舉例可以說明，任何一種垃圾郵件阻斷技術(shù)都有優(yōu)點(diǎn)和缺點(diǎn)及限制，而垃圾郵件發(fā)送者一直試圖通過變化的發(fā)送技術(shù)繞過反垃圾郵件技術(shù)。因此，第四代反垃圾郵件技術(shù)偏向于采用一個全面包含最有效垃圾郵件阻斷技術(shù)的整體解決方案。

第四代反垃圾郵件技術(shù)的典型代表:梭子魚垃圾郵件防火墻

十大技術(shù)、十層過濾的純凈水式過濾模式

梭子魚采用十層過濾，逐層攔截垃圾郵件，該技術(shù)獲得了美國專利認(rèn)證

■ 拒絕服務(wù)攻擊及安全防護(hù)層

■ IP實(shí)時黑名單

■ 速率控制

■ 第一層病毒檢查

■ 第二層病毒檢查

■ 用戶自定義規(guī)則

■ 垃圾郵件指紋檢查

■ 郵件意圖分析

■ 貝葉斯分析

■ 基于規(guī)則的評分系統(tǒng)

其檢測過程符合四條法則:

1 垃圾郵件終止法則:若某一層過濾判定該郵件不合法或為垃圾，則立即阻斷該郵件，結(jié)束進(jìn)程，后面的各層檢查不再進(jìn)行。

2 按序檢查法則:一個完整的垃圾郵件發(fā)送從“helo”命令(握手命令)開始，因此從該進(jìn)程的第一條命令開始依次進(jìn)行檢查。如發(fā)現(xiàn)為垃圾郵件，其余數(shù)據(jù)將不再接收。

3 低消耗優(yōu)先法則:占用系統(tǒng)資源較少的過濾層優(yōu)先，耗費(fèi)系統(tǒng)資源大的過濾層靠后。這樣，系統(tǒng)能以最少的消耗處理最大量的郵件。

4 安全優(yōu)先法則，涉及到系統(tǒng)重要安全的檢查先進(jìn)行。

經(jīng)過這樣的優(yōu)化，產(chǎn)品具有了強(qiáng)大的處理能力，日處理郵件量可達(dá)千萬封。

這種喇叭性的過濾機(jī)制，過濾流量最大的判別技術(shù)安置在最前面，人工職能和機(jī)器語言的過濾安排在最后。這樣能夠節(jié)省網(wǎng)絡(luò)資源，最大限度的保持準(zhǔn)確性，降低誤判率。

早期的基礎(chǔ)技術(shù)在目前的應(yīng)用環(huán)境中需要進(jìn)行重組，市場的需求也召喚更多的新技術(shù)，最終引導(dǎo)反垃圾郵件事業(yè)的良性發(fā)展。