大量死鏈對搜索引擎來(lái)講，有什么影響?

1、幾乎很多站都避免不了存在死鏈接，但死鏈率過(guò)高，會(huì )影響搜索引擎對網(wǎng)站的評分。

2、搜索引擎對每個(gè)網(wǎng)站每天抓取的頻次是限額的，若網(wǎng)站存在大量死鏈，會(huì )浪費掉抓取配額并影響正常頁(yè)面的抓取。

3、過(guò)多死鏈對網(wǎng)站用戶(hù)來(lái)講也是體驗不好的表現。

百度站長(cháng)工具中有一個(gè)抓取異常，那么這個(gè)工具里面的異常數據是如何產(chǎn)生的呢?

1、網(wǎng)站內部添加了錯誤的內部鏈接：編輯失誤或者程序員大意讓頁(yè)面產(chǎn)生了不存在頁(yè)面的URL。

2、原來(lái)正常頁(yè)面因為程序或頁(yè)面調整或改版無(wú)法打開(kāi)：因為程序的一個(gè)改動(dòng)，導致了某些正常頁(yè)面無(wú)法打開(kāi)。

3、網(wǎng)站短暫無(wú)法訪(fǎng)問(wèn)：因為服務(wù)器、空間或程序問(wèn)題導致網(wǎng)站無(wú)法訪(fǎng)問(wèn)，抓取異常中會(huì )出現大量的500錯誤頁(yè)面。

4、外部鏈接錯誤：用戶(hù)或者站長(cháng)在站外發(fā)布了錯誤URL，蜘蛛爬取后產(chǎn)生錯誤頁(yè)面;別的網(wǎng)站復制或采集了你們含有錯誤鏈接的頁(yè)面;有些垃圾網(wǎng)站自動(dòng)生成的靜態(tài)搜索結果頁(yè)，如 www。8875。org/desc/3715714444.html 這個(gè)頁(yè)面中出現的很多鏈接在html前面有“...”。

5、爬蟲(chóng)提取了不完整的URL：個(gè)別爬蟲(chóng)在提取頁(yè)面URL的時(shí)候，只提取部分URL或者把正常的URL后面的文字或字符也提取進(jìn)去了。

6、網(wǎng)站改版或管理員刪除頁(yè)面：網(wǎng)站改版過(guò)程中處理不當導致部分老頁(yè)面無(wú)法訪(fǎng)問(wèn)，或者網(wǎng)站管理員刪除被黑、廣告、過(guò)時(shí)、被灌水頁(yè)面。

出現了了上述情況，我們該如何去解決

1、修復錯誤頁(yè)面：抓取異常中的很多錯誤頁(yè)面是因為程序員大意或者我們程序問(wèn)題導致的，本應該是正常頁(yè)面，因為失誤導致無(wú)法訪(fǎng)問(wèn)，對于此類(lèi)頁(yè)面，第一時(shí)間進(jìn)行修復。

2、提交死鏈接：但必定很多錯誤頁(yè)面是本不應該存在的，那么我們要想辦法獲取此類(lèi)頁(yè)面URL，獲取方式主要有三種：

① 百度站長(cháng)工具--抓取異常--找不到的頁(yè)面--復制數據;

② 下載一個(gè)日志分析系統（如愛(ài)站、金花等），分析最近幾日的網(wǎng)站日志，在百度蜘蛛抓取一覽表中獲取返回碼是404的頁(yè)面;

③ 管理員在刪除頁(yè)面的時(shí)候手動(dòng)或者程序自動(dòng)保存被刪頁(yè)面URL;

④ 使用相關(guān)爬蟲(chóng)軟件，爬取整站獲取死鏈如死鏈檢測工具Xenu。

然后將上述數據合并并刪除重復項(excel表格中能實(shí)現刪重，wps表格更容易操作)，然后再復制所有URL通過(guò)HTTP狀態(tài)批量查詢(xún)工具查詢(xún)下，剔除掉非404返回碼頁(yè)面。

然后整理上面處理好的數據粘貼到網(wǎng)站根目錄中的一個(gè)文檔中，再把文檔地址提交到 百度站長(cháng)工具--網(wǎng)頁(yè)抓取--死鏈提交--添加新數據--填寫(xiě)死鏈文件地址。

3、在robots中屏蔽抓取

若大量的錯誤URL存在一定的規律，可以在robots文件中寫(xiě)一個(gè)規則禁止蜘蛛程序抓取此類(lèi)鏈接，但前提一定要照顧好正常頁(yè)面，避免屏蔽規則誤傷正常頁(yè)面，比如你的網(wǎng)站全部是靜態(tài)URL，那么如果錯誤鏈接中含有?的話(huà)，規則寫(xiě)成Disallow:/*?*，如果錯誤鏈接中有/id...html 的話(huà)，規則寫(xiě)成Disallow:/*...* 。

robots文件添加完規則后，一定要去百度站長(cháng)的 robots工具 進(jìn)行校驗，將指定的錯誤頁(yè)面放進(jìn)去，看看是否封禁成功，再把正常的頁(yè)面放進(jìn)去看看是否被誤封。

相關(guān)注意事項：

1、在百度站長(cháng)工具中提交死鏈前，一定要確保提交的死鏈數據不存在活鏈接，或者存在HTTP狀態(tài)碼非404頁(yè)面。一旦存在活鏈，會(huì )顯示提交失敗導致無(wú)法刪除。

2、由于很多網(wǎng)站程序問(wèn)題，很多打不開(kāi)的頁(yè)面返回碼并非404，這是一個(gè)大問(wèn)題，比如明明是打不開(kāi)的頁(yè)面返回碼是301、200、500，如果是200的話(huà)，會(huì )導致網(wǎng)站中出現不同URL獲取相同內容。比如我的一個(gè)站，社區的帖子刪除后，返回碼卻是500，后期發(fā)現了，立馬進(jìn)行了處理。大家盡量找出所有錯誤URL格式，.并設置打開(kāi)后HTTP狀態(tài)碼為404。不知道什么是http狀態(tài)碼及其含義的站長(cháng)請查看：各種http狀態(tài)碼的含義 。

3、把所有的錯誤頁(yè)面找到后，一定要尋找此類(lèi)頁(yè)面URL相同特征，并且和正常頁(yè)面的特征有區分，寫(xiě)對應規則到robots文件中，禁止蜘蛛抓取，就算你已經(jīng)在站長(cháng)工具中提交了死鏈，也建議robots封禁抓取。

4、robots只能解決蜘蛛不再抓取此類(lèi)頁(yè)面，但解決不了已經(jīng)抓取頁(yè)面的快照的刪除問(wèn)題，若你的網(wǎng)站被黑，刪除了被黑頁(yè)面，除了robots封禁被黑頁(yè)面外，還應該將這些頁(yè)面提交死鏈。提交死鏈是刪除被黑頁(yè)面快照的最快辦法。