注明：來(lái)之痞子瑞《SEO深度解析》書(shū)本知識，非常感謝作者給我們寫(xiě)了這么好SEO知識。

在一般的搜索引擎架構中，網(wǎng)頁(yè)去重一般在Spider抓取部分就存在了，“去重”步驟在整個(gè)搜索引擎架構中實(shí)施得越早，越可以節約后續處理系統的資源使用。搜索引擎一般會(huì )對已經(jīng)抓取過(guò)的重復頁(yè)面進(jìn)行歸類(lèi)處理，比如，判斷某個(gè)站點(diǎn)是否包含大量的重復頁(yè)面，或者該站點(diǎn)是否完全采集其他站點(diǎn)的內容等，以決定以后對該站點(diǎn)的抓取情況或是否直接屏蔽抓取。

去重的工作一般會(huì )在分詞之后和索引之前進(jìn)行（也有可能在分詞之前），搜索引擎會(huì )在頁(yè)面已經(jīng)分出的關(guān)鍵詞中，提取部分具有代表性的關(guān)鍵詞，然后計算這些關(guān)鍵詞的“指紋”。每一個(gè)網(wǎng)頁(yè)都會(huì )有個(gè)這樣的特征指紋，當新抓取的網(wǎng)頁(yè)的關(guān)鍵詞指紋和已索引網(wǎng)頁(yè)的關(guān)鍵詞指紋有重合時(shí)，那么該新網(wǎng)頁(yè)就可能會(huì )被搜索引擎視為重復內容而放棄索引。

實(shí)際工作中的搜索引擎，不僅僅使用分詞步驟所分出的有意義的關(guān)鍵詞，還會(huì )使用連續切割的方式提取關(guān)鍵詞，并進(jìn)行指紋計算。連續切割的方式提取關(guān)鍵詞，并進(jìn)行指紋計算，連切割就是以單個(gè)字向后移動(dòng)的方式進(jìn)行切割就是單個(gè)字向后移動(dòng)的方式進(jìn)行切詞，比如，“百度開(kāi)始打擊買(mǎi)賣(mài)鏈接”會(huì )被切成“百度開(kāi)”“度開(kāi)始”“開(kāi)始打”“始打擊”“打擊買(mǎi)”“擊買(mǎi)賣(mài)”“買(mǎi)賣(mài)鏈”“賣(mài)鏈接”。然后從這些詞中提取部分關(guān)鍵詞進(jìn)行指紋計算，參與是否重復內容的對比。這只是搜索引擎識別重復網(wǎng)頁(yè)的基本算法，還有很多其他對付重復網(wǎng)頁(yè)的算法。

因此網(wǎng)絡(luò )上流行的大部分偽原創(chuàng )工具，不是不能欺騙搜索引擎，就是把內容做的鬼都讀不通，所以理論上使用普通偽原創(chuàng )工具不能得到搜索引擎的正常收錄和排名。但是由于百度并不是對所有的重復頁(yè)面都直接拋棄不索引，而是會(huì )根據重復網(wǎng)頁(yè)所在網(wǎng)站的權重適當放寬索引標準，這樣使得部分作弊者有機可乘，利用網(wǎng)站的高權重，大量采集其他站點(diǎn)的內容獲取搜索流量。不過(guò)自2012年6月份以來(lái)，百度搜索多次升級算法，對采集重復信息、垃圾頁(yè)面進(jìn)行了多次重復級的打擊。所以SEO在面對網(wǎng)站內容時(shí)，不應該再以偽原創(chuàng )的角度去建設，而需要以對用戶(hù)有用的角度去建設，雖然后者的內容不一定全部是原創(chuàng )，一般如果網(wǎng)站權重沒(méi)有大問(wèn)題，都會(huì )得到健康的發(fā)展。關(guān)于原創(chuàng )問(wèn)題，本書(shū)后續會(huì )在第12章進(jìn)行詳細討論。

另外，不僅僅是搜索引擎需要“網(wǎng)頁(yè)去重”，自己做網(wǎng)站也需要對站內頁(yè)面進(jìn)行去重。比如分類(lèi)信息、B2B平臺等UGC類(lèi)的網(wǎng)站，如果不加以限制，用戶(hù)所發(fā)布的信息必然會(huì )有大量的重復，這樣不僅在SEO方面表現不好，站內用戶(hù)體驗也會(huì )降低很多。有如SEO人員在設計流量產(chǎn)品常見(jiàn)的一般為以“聚合”為基礎的索引頁(yè)、專(zhuān)題頁(yè)或目錄頁(yè)，“聚合”就必須有核心詞，不加以過(guò)濾，海量核心詞所擴展出來(lái)的頁(yè)面就可能會(huì )有大量重復，從而導致該產(chǎn)品效果不佳，甚至會(huì )因此被搜索引擎降權。

“去重”算法的大概原理一般就是如上所述，有興趣的朋友可以了解一下I-Match、Shingle、SimHash及余弦去重具體算法。搜索引擎在做“網(wǎng)頁(yè)去重”工作之前首先要分析網(wǎng)頁(yè)，內容周?chē)?ldquo;噪聲”對去重結果多少會(huì )有影響，做這部分工作時(shí)只對內容部分操作就可以了，相對來(lái)說(shuō)會(huì )簡(jiǎn)單很多，并且可以很有效地輔助產(chǎn)出高質(zhì)量的“SEO產(chǎn)品”。作為SEO人員只要了解實(shí)現原理就可以了，具體在產(chǎn)品中的應用，需要技術(shù)人員來(lái)實(shí)現。此外還涉及效率、資源需求等問(wèn)題，并且根據實(shí)際情況“去重”工作也可以在多個(gè)環(huán)節進(jìn)行（比如對核心詞的分詞環(huán)節），SEO人員只要稍微了解一些原理，能夠為技術(shù)人員建議幾個(gè)方向就很不錯了（技術(shù)人員并不是萬(wàn)能的，也有不熟悉、不擅長(cháng)的領(lǐng)域，在特定時(shí)刻也需要別人提供思路）。如果SEO人員能在這些方面和技術(shù)人員進(jìn)行深入的交流，技術(shù)人員也會(huì )對SEO另眼相看，至少不會(huì )再認為“SEO人員就只會(huì )修改標題、改鏈接、改文字之類(lèi)‘無(wú)聊’的需求”了。

總結：在次感謝痞子瑞的怎么好的書(shū)本，妮子在SEO思維中，找到新的知識，去重，指紋原理。希望兄弟姐妹們可以去看看這本書(shū)，今天給大家分享一部分吧！往后的日子，看到好的知識點(diǎn)，會(huì )繼續和大家分享了。