從最初很小的市場規模到今天被市場廣泛接受，重復數據刪除技術的成長由不斷增長的供應商所印證，這些供應商已經有標準的重復數據刪除產品，或在其備份產品中整合了這部分功能。本篇回顧了重復數據刪除技術的各項優勢，并進一步分析了這些優勢在具體應用環境中如何發揮其作用。

　　文件、數據塊和長度可變的數據段的重復數據刪除技術

　　基于所采用的不同技術，數據是否重復可以有不同的檢測方式。舉例來講，文件級的重復數據刪除(亦稱為實例存儲，SIS)可以識別完全一樣的文件，將其僅保存一次，并將后續完全一致的拷貝替代為指向該文件的一個指針。基于文件級別的重復數據刪除技術有Novell公司的GroupWise和Microsoft公司的Exchange郵件系統(雖然在Exchange 2010中并不支持SIS)。EMC公司同樣在其存儲陣列上提供文件級別的重復數據刪除，包括Clariion、Celerra和其最新的VNX系列。

　　文件級別的重復數據刪除技術的劣勢在于精細度不夠，并且不能提供次文件級別的重復數據刪除功能。這意味著一個文件中即便有很小的一處改動也會被認為是一個全新的文件而另外儲存。文件級別的重復數據刪除一般用于郵件環境，這其中同樣的附件會被同時發送給諸多參與者，或者是非結構化的數據存儲環境中，這種環境下變化率很低。不過，文件級別的重復數據刪除并不適用于結構化數據環境中，這種環境下諸如數據庫等會持續變化。

　　為了解決文件級別的重復數據刪除技術缺乏精細度的特點，各廠商將數據分割成更小的“數據塊”，以固定或變化的長度。只存儲唯一性的數據段并將識別出重復的其它數據段的用指針方式代替，這樣就能夠實現更高的數據刪除率。CommVault系統公司、FalconStor軟件公司和NetApp公司都是采用塊級別重復數據刪除技術的廠商;而相對的，EMC的Data Domain、Avamar和Sepaton公司的產品都是基于長度變化的數據段的。這和數據塊級別重復數據刪除技術的不同之處在于，數據塊的方式下，一個數據塊的變化會引起整個數據集中所有數據塊都被作為新的數據塊存儲，因為整個數據集變了。在長度變化的數據段的重復數據刪除技術下這種情況會好些，不過這種技術更為復雜并消耗很多資源。次文件重復數據刪除技術(塊級別或長度變化方式)在備份環境中經常使用，這種環境下多個文件備份版本通常僅包含很小的改動。

　　帶內 VS.帶外重復數據刪除技術

　　重復數據刪除技術可分為在線(或稱帶內)方式，即數據在寫入存儲介質時分析是否有重復，以及相應的，后處理(或稱帶外)方式則在數據寫入磁盤后再進行重復數據刪除操作。帶外的重復數據刪除技術的優勢在于其不會影響寫入性能，不過這樣就要求有足夠的磁盤空間來存儲所有數據，直到業務非高峰時刻時進行的重復數據刪除操作。另一方面，帶內的重復數據刪除技術可以在第一時間減少空間占用，不過其更耗資源，這有可能會影響寫入的性能。采用何種技術是對于實時數據減少和性能之間的權衡，不過隨著技術的進步，性能減少的影響將更容易被接受。帶內的重復數據刪除產品包括FalconStor的產品，以及EMC的Data Domain和Sepaton，IBM公司的ProtecTier(之前的Diligent產品);而NetApp則提供帶外的重復數據刪除技術。

　　源端 VS.目標端重復數據刪除

　　基于所采用的技術，重復數據刪除可以在源端(數據發出端)或者目標端(數據接受端)進行。區別在于所針對的備份環境，備份環境通常基于客戶端/服務器模式(或稱為發送端/接收端模式)。源端重復數據刪除在備份客戶端上安裝軟件，客戶端和備份服務器都必須支持重復數據刪除。這意味著在現有的備份環境中可能需要進行修改。而另一方面，目標重復數據刪除通常不需要更改環境，支持重復數據刪除的目標設備會被備份服務器認為另一臺磁盤陣列或虛擬磁帶庫。源端重復數據刪除適用于降低所要通過網絡傳輸的數據，比如從遠程辦公環境中備份至中心節點。決定時權衡點在于源端的重復數據刪除會影響客戶端的性能，并從而波及到整個備份環境，并且重復數據刪除僅限于客戶端級別的數據，而不會考慮多個備份客戶端可能有相同的數據。

　　設備方式 VS.軟件方式

　　另一項考慮因素是選擇設備方式還是軟件方式的重復數據刪除。設備方式的重復數據刪除通常可以和現有環境無縫整合，無需太多變動。舉例來說可以配置一臺備份服務器將數據寫入支持重復數據刪除的磁盤陣列(比如EMC的Data Domain)。另一方面，重復數據刪除軟件通常需要改變你的現有環境，尤其是從基礎備份軟件遷移到支持重復數據刪除的備份軟件時。

　　競爭友商可能會宣稱設備方式的重復數據刪除會讓硬件廠商鎖定用戶，使得用戶必須使用某種存儲或設備。不過基于軟件的重復數據刪除同樣有廠商鎖定的風險，重復數據刪除功能也會被限定在某種特定軟件平臺上。

　　諸如IBM和NetApp等供應商提供網關設備，可以提供重復數據刪除數據存儲在第三方存儲上。不過從各種角度看，不論硬件還是軟件方式的重復數據刪除都是私有化的技術。

　　重復數據刪除可以為用戶帶來諸多利益，不過如何選擇合適的重復數據刪除方式需要仔細地考量你的備份環境。

原文地址：http://www.searchstorage.com.cn/showcontent_52111.htm