網(wǎng)站建設初期，頁(yè)面數量有限，團隊人數有限，網(wǎng)站各類(lèi)頁(yè)面元素變動(dòng)不大。但到了網(wǎng)站建設中期，網(wǎng)站需求方需求變多，網(wǎng)站更改相比于之前更加頻繁，XX部門(mén)提的XX需求可能會(huì )影響SEO流量，若未及時(shí)發(fā)現，時(shí)間拉長(cháng)，可能造成較為嚴重，甚至不可逆轉的后果。這個(gè)鍋，誰(shuí)來(lái)背呢?

這點(diǎn)可以通過(guò)完善需求上線(xiàn)流程來(lái)解決一部分，比如：任何涉及頁(yè)面變動(dòng)的需求(新增頁(yè)面 & 已有頁(yè)面元素更改)在提交RD前，需求評審階段均需要SEO部門(mén)介入，確認該需求對SEO渠道的用戶(hù)拉新無(wú)影響后，在正式提交RD。

尷尬的是，有相當比例的公司，SEO因為歷史效果種種不可控，或者 SEO并非用戶(hù)拉新的主要渠道，SEO較難搞定在PM和RD面前話(huà)語(yǔ)權的問(wèn)題，他們可能不怎么care，老忘記評審的時(shí)候叫上SEO一起玩耍。這種情況需要具有八卦特征的SEO，沒(méi)事跟RD、PM扯扯皮，問(wèn)問(wèn)最近上了什么新需求…

但是，即便在流程上能夠搞定，也是會(huì )出現頁(yè)面元素的改動(dòng)，卻未及時(shí)通知到SEO的情況，比如新入職的產(chǎn)品提需求，不知道有這個(gè)流程。

此外，由于SEO部門(mén)人事變動(dòng)，出現老員工離職、新員工入職的情況。新入職的SEO不能快速了解網(wǎng)站歷史背景，老員工與新員工交接，很多細節會(huì )遺漏，導致新入職的SEO，日后會(huì )踩到本可避免的一些坑。

一些基層SEO針對爬蟲(chóng)日志，也沒(méi)有足夠的分析能力，或者需要每天手動(dòng)拿軟件或shell等分析一次數據，然后在執行的SEO動(dòng)作，操作復雜且效率低下。

為解決以上兩點(diǎn)問(wèn)題，需要有一套“及時(shí)止損機制”，用于及時(shí)發(fā)現潛在風(fēng)險，并提高日常SEO效率。

“及時(shí)止損機制”，需要人工設定N個(gè)會(huì )影響SEO的特征，程序24小時(shí)監控這些特征，如出現符合特征的元素，則及時(shí)通知SEO，并提示相應建議，程序每次檢查都做一次數據備份。并根據網(wǎng)站發(fā)展情況，不斷添加、刪除監控特征。

我把“及時(shí)止損機制”分為兩部分：“爬蟲(chóng)日志監控”和“頁(yè)面特征監控”

爬蟲(chóng)IP的黑白名單

根據UA為baiduspider的爬蟲(chóng)，檢測IP是否為真實(shí)的Baiduspider，若為假spider，則加入黑名單，若為真spider，則加入baiduspider的白名單。

其他主流搜索引擎，則將出現的ip統統加到對應的白名單，后期根據ip段進(jìn)行排除。

收集白名單IP，可作為日后SEO之用，比如某個(gè)SEO的小需求產(chǎn)品不讓上，SEO退而求其次，只針對白名單的IP顯示該元素，對正常用戶(hù)訪(fǎng)問(wèn)不顯示等。

提前整理站內已知頁(yè)面

提前統計站內所有URL類(lèi)型，并整理對應URL類(lèi)型的正則表達式，這些正則均是統計站內已知頁(yè)面的爬蟲(chóng)情況。

因為大部分SEO包括產(chǎn)品經(jīng)理，可能都不清除站內到底有多少套URL，所以也有必要通過(guò)日志，找到未知的URL，并進(jìn)行相應的SEO動(dòng)作。

返回內容大小字段統計

為啥要統計“$body_bytes_sent(發(fā)給來(lái)訪(fǎng)者的文件大小)”這個(gè)字段呢?

因為之前經(jīng)歷過(guò)幾次類(lèi)似情況：某類(lèi)頁(yè)面流量逐減少，經(jīng)排查爬蟲(chóng)日志，360Spider訪(fǎng)問(wèn)部分該頁(yè)面，返回的文件大小為54k，并不是該頁(yè)面html文件的正常大小，詢(xún)問(wèn)技術(shù)，發(fā)現不久上線(xiàn)的新反爬蟲(chóng)策略，未把360Spider加入白名單，導致觸發(fā)反爬蟲(chóng)策略，返回空白頁(yè)面。