在互聯(lián)網(wǎng)如此發(fā)達的今天，同一資料會(huì )在多個(gè)網(wǎng)站發(fā)布，同一新聞會(huì )被大部分媒體網(wǎng)站報道，再加上小站長(cháng)和SEO人員孜孜不倦的網(wǎng)絡(luò )采集，造成了網(wǎng)絡(luò )上擁有大量的重讀信息。然而當用戶(hù)搜索某個(gè)關(guān)鍵詞時(shí)，搜索引擎必定不想呈獻給用戶(hù)的搜索結果都是相同的內容。抓取這些重復的網(wǎng)頁(yè)，在一定意義上就是對搜索引擎自身資源的浪費，因此去除重復內容的網(wǎng)頁(yè)也成了搜索引擎所面臨的一大問(wèn)題。

在一般的搜索引擎架構中，網(wǎng)頁(yè)去重一般在spider抓取部分就存在了，“去重”步驟在整個(gè)搜索引擎架構中實(shí)施的越早，越可以節約后續處理系統的資源使用。搜索引擎一般會(huì )對已經(jīng)抓取過(guò)的重復頁(yè)面進(jìn)行歸類(lèi)處理，比如，判斷某個(gè)站點(diǎn)是否包含大量的重復頁(yè)面，或者該站點(diǎn)是否完全采集其他站點(diǎn)的內容等，以決定以后對該站點(diǎn)的抓取情況或是否直接屏蔽抓取。

去重的工作一般會(huì )在分詞之后和索引之前進(jìn)行，搜索引擎會(huì )在頁(yè)面已經(jīng)分出的關(guān)鍵詞中，提取部分具有代表性的關(guān)鍵詞，然后計算這些關(guān)鍵詞的“指紋”。每一個(gè)網(wǎng)頁(yè)都會(huì )有個(gè)這樣的特征指紋，當新抓取的網(wǎng)頁(yè)的王建辭職文和已索引網(wǎng)頁(yè)的關(guān)鍵詞指紋有重合時(shí)，那么該網(wǎng)頁(yè)就可能會(huì )被搜索引擎視為重復內容而放棄索引。

實(shí)際工作中的搜索引擎，不僅僅使用分詞步驟所分出的有意義的關(guān)鍵詞，還會(huì )使用連續切割的方式提取關(guān)鍵詞，并進(jìn)行指紋計算。連續切割就是以單個(gè)字向后移動(dòng)的方式進(jìn)行切詞，比如，“百度開(kāi)始打擊買(mǎi)賣(mài)鏈接”會(huì )被切成“百度開(kāi)”“度開(kāi)始”“開(kāi)始打”“始打擊”“打擊買(mǎi)”“擊買(mǎi)賣(mài)”“買(mǎi)鏈接”“賣(mài)鏈接”。然后從這些詞中提取部分關(guān)鍵詞進(jìn)行指紋計算，參與是否重復內容的對比，具體的可以參考搜索引擎原理之中文分詞技術(shù)這篇文章，這只是搜索引擎識別重復網(wǎng)頁(yè)的基本算法，還有很多其他對付重復網(wǎng)頁(yè)的算法。

因此網(wǎng)絡(luò )上流星的大部分偽原創(chuàng )工具，不是不能欺騙搜索引擎，就是把內容做的鬼都讀不通，所以理論上使用普通偽原創(chuàng )工具不能得到搜索引擎的正常收錄和排名。但是由于搜索百度并不是對所有的重復頁(yè)面都直接拋棄不索引，而是會(huì )根據重復網(wǎng)頁(yè)所在網(wǎng)站的權重適當放寬索引標準，這樣使得部分作弊者有機可乘，利用網(wǎng)站的高權重，大量采集其他站點(diǎn)的內容獲取搜索流量。不過(guò)經(jīng)過(guò)百度搜索多次升級算法，對采集重復信息，垃圾頁(yè)面進(jìn)行了多次重量級打擊。

所以SEO在面對網(wǎng)站內容時(shí)，不應該再以偽原創(chuàng )的角度去建設，而需要以對用戶(hù)游泳的角度去建設，雖然后者的內容不一定全是原創(chuàng )，一般如果網(wǎng)站權重沒(méi)有大問(wèn)題，都會(huì )得到健康的發(fā)展。

另外，不僅僅是搜索引擎需要“網(wǎng)頁(yè)去重”，自己做網(wǎng)站也需要對站內頁(yè)面進(jìn)行去重。比如分類(lèi)信息、B2B平臺等UGC類(lèi)的網(wǎng)站，如果不加以限制，用戶(hù)所發(fā)布的信息必然會(huì )有大量的重復，這樣不僅在SEO方面表現不好，站內用戶(hù)體驗也會(huì )降很多。

又如SEOer在設計流量產(chǎn)品大批量產(chǎn)生頁(yè)面時(shí)，也需要做一個(gè)重復過(guò)濾，否則就會(huì )大大降低產(chǎn)品質(zhì)量。seoer所設計的流量產(chǎn)品常見(jiàn)的一般以“聚合”為基礎的索引頁(yè)、專(zhuān)題頁(yè)或目錄頁(yè)，“聚合”就必須有核心詞，不加以過(guò)濾，海量核心詞所擴展出來(lái)的頁(yè)面就可能會(huì )有大量重復，從而導致該產(chǎn)品效果不佳，甚至會(huì )因此被搜索引擎降權。