站長(cháng)之家（Chinaz.com）2月6日消息 近日，國外SEO從業(yè)者Eli Schwartz分享了他使用Splunk的幾個(gè)心得。以下為Eli Schwarz（下文中的我）分享的經(jīng)驗：

想必每個(gè)對SEO技術(shù)感興趣的站長(cháng)都希望能夠從更深層次了解網(wǎng)站架構、以及谷歌搜索引擎的排名規則等。從我這些年研究SEO技術(shù)的經(jīng)驗來(lái)看，深入分析網(wǎng)站訪(fǎng)問(wèn)日志能夠讓我更了解搜索引擎是如何看待網(wǎng)站的，而在眾多網(wǎng)站分析工具中，Splunk無(wú)疑是最讓我放心、也是最實(shí)用的一款。

注：Splunk是機器數據的引擎?？捎糜谑占?、索引和利用所有應用程序、服務(wù)器和設備(物理、虛擬和云中)生成的快速移動(dòng)型計算機數據 。

1、監測網(wǎng)站URL是否已被谷歌爬蟲(chóng)抓?。ò俣戎┲?、雅虎爬蟲(chóng)亦可監測）

當網(wǎng)站生成了一個(gè)新的頁(yè)面，站長(cháng)們最關(guān)心的自然是頁(yè)面的收錄問(wèn)題。如果以快照作為指標，或許得在谷歌爬蟲(chóng)抓取后的幾天（甚至幾個(gè)星期）才能確定是否已被收錄。要快點(diǎn)兒的話(huà)，可以直接在搜索引擎中搜索相關(guān)頁(yè)面的標題。

而最行之有效的便是查看網(wǎng)站日志，便可確定網(wǎng)頁(yè)是否已被谷歌爬蟲(chóng)抓取。這就該用到Splunk了。

具體步驟：

1、首先選擇要查詢(xún)的時(shí)間段。時(shí)間段越短，響應速度自然越快，所以盡可能縮短查詢(xún)的時(shí)間差。

2、在查詢(xún)框中輸入以下查詢(xún)語(yǔ)句：

Index = {the name of your index} url stub AND googlebot

比如：如果你索引名是，URL是“free-trial.html，則查詢(xún)語(yǔ)句為：

Index=primary free-trial.html AND googlebot

1、查看日志

2、查找404頁(yè)面

404頁(yè)面是一種很招人煩的東西，98%的訪(fǎng)客在看到404頁(yè)面時(shí)，往往都會(huì )直接關(guān)閉頁(yè)面。這樣一來(lái)，你的網(wǎng)站不僅損失了一次展示內容或產(chǎn)品的幾乎，用戶(hù)還默默的在心里給了你個(gè)差評。你：以后還來(lái)我們網(wǎng)站嗎？用戶(hù)：呵呵。

對于404頁(yè)面，你可以選擇使用ScreamingFrog之類(lèi)的工具來(lái)查找修復。但是在失效頁(yè)面數量太多的情況下，你就該事實(shí)日志解析了。通過(guò)日志解析，你可以找出那些最多人訪(fǎng)問(wèn)的404頁(yè)面，有選擇的來(lái)修復頁(yè)面、或是做跳轉。

設置Splunk來(lái)查找404頁(yè)面：

1、首先選擇查找時(shí)間差，我通常將其設為30天，你們可以按需隨意設置。

2、在查詢(xún)框中輸入以下查詢(xún)語(yǔ)句：

Index = {the name of your index} status = 404 | top limit = 50 uri

限制數量可自行確定，我比較喜歡定為50條URL。查詢(xún)語(yǔ)句執行完成后，點(diǎn)擊Statistics選項，便可在列表中找出訪(fǎng)客最多的404頁(yè)面們。

2、查找404頁(yè)面

3、查找設置過(guò)302跳轉的頁(yè)面

不同于301跳轉，302跳轉屬于暫時(shí)重定向。不過(guò)在很多鏈接價(jià)值測試中，302都能通過(guò)測試，而且也有排名。但由于前些年，不少黑帽SEO通過(guò)這項技術(shù)來(lái)獲取排名，如今很多搜索引擎都加大了對其的打擊力度。因而302跳轉只能用于那些只需做暫時(shí)跳轉的頁(yè)面。

通過(guò)Splunk查找302跳轉頁(yè)面的步驟：

1、同樣也是先選擇查找時(shí)間段，可按需設置，我喜歡將其設為30天。

2、輸入如下查詢(xún)語(yǔ)句：

Index = {the name of your index} status = 302 | top limit = 50 uri

跟查找404頁(yè)面一樣，可按需設置。

3、查找302跳轉頁(yè)面

4、統計每天被谷歌搜索引擎抓取的頁(yè)面

如果你有用過(guò)谷歌管理員工具，那么你對谷歌抓取URL的展示頁(yè)面一定不陌生。但這些數據是否準確，你得查看網(wǎng)站日志才能確定。

使用Splunk查詢(xún)每日抓取的URL步驟：

1、同樣也是選取時(shí)間，我還是喜歡設為30天（如果數據較多可以7天為單位）。

2、輸入查詢(xún)語(yǔ)句：

index ={name of your index} googlebot | timechart count by day

查詢(xún)語(yǔ)句執行完后，點(diǎn)擊Statistics選項，則會(huì )看到谷歌爬蟲(chóng)每天抓取的頁(yè)面數據。也可點(diǎn)擊選項查看變化詳情。

4、谷歌爬蟲(chóng)每日抓取頁(yè)面

[page]

5、統計谷歌移動(dòng)端爬蟲(chóng)每日抓取頁(yè)面

隨著(zhù)移動(dòng)互聯(lián)網(wǎng)的發(fā)展，移動(dòng)搜索也愈發(fā)重要。如果想知道谷歌移動(dòng)爬蟲(chóng)每天抓取的URL數量，就無(wú)法使用谷歌管理員工具了。那么，就只能通過(guò)網(wǎng)站訪(fǎng)問(wèn)日志來(lái)查看該數據。

下面以iPhone為例，使用Splunk查詢(xún)：

1、同樣也是選取時(shí)間，我還是喜歡設為30天（如果數據較多可以7天為單位）。

2、輸入以下查詢(xún)語(yǔ)句：

index ={name of your index} googlebot AND iphone | timechart count by day

語(yǔ)句執行完畢后，點(diǎn)擊Statistics選項，便可得出所需數據，與PC端一樣，也可以在visualizatio選項中查看更多詳情。

5、谷歌移動(dòng)爬蟲(chóng)每日抓取頁(yè)面

6、找出浪費爬蟲(chóng)抓取量的垃圾頁(yè)面

站長(cháng)們都知道，搜索引擎對每個(gè)網(wǎng)站的抓取數量都有一定的限制，網(wǎng)站的PR或權重不同，抓取“限額也各異。所以，如果網(wǎng)站中的垃圾頁(yè)面被抓取，那么高質(zhì)頁(yè)面則可能會(huì )失去被抓取的機會(huì )。

如果不清楚谷歌爬蟲(chóng)的爬行路徑，則無(wú)法知曉谷歌抓取限額的利用率。這時(shí)候，就需要使用Splunk來(lái)檢測了。

步驟如下：

1、選擇時(shí)間段，可隨意選取，最好選擇多個(gè)進(jìn)行對比。

2、輸入以下查詢(xún)語(yǔ)句：

index={name of your index} googlebot uri_stem=”*”| top limit=20 uri

限制數量可隨意選取，但20條是比較好管理的。與之前一樣，執行完語(yǔ)句后，點(diǎn)擊statistic選項，而后便可在列表中找出你覺(jué)得應該移除的頁(yè)面，在robots.txt文件中將其屏蔽。

6、篩選需屏蔽頁(yè)面

7、500錯誤頁(yè)面

當服務(wù)器無(wú)法完成HTTP請求時(shí)，則會(huì )返回500錯誤頁(yè)面。很多時(shí)候，500錯誤對SEO工作都存在一定的負面影響。其實(shí)，在500錯誤影響到搜索排名時(shí)，谷歌便會(huì )通過(guò)管理員工具向站長(cháng)發(fā)送請求中斷信息，不過(guò)這類(lèi)信息通常要24小時(shí)后才能接收到。

除了影響搜索引擎排名外，500錯誤頁(yè)面也會(huì )降低網(wǎng)站的用戶(hù)體驗度。而加入Splunk工具的Enterprise計劃則可實(shí)時(shí)監控500錯誤。

步驟如下：

1、搜索如下查詢(xún)語(yǔ)句：

index={name of your index} AND “status=5*”

2、點(diǎn)擊Save As”然后在下拉菜單中選擇。

3、命名Alert。

4、將Alert的狀態(tài)改為Real Time”。

5、點(diǎn)擊Next。

6、在下個(gè)頁(yè)面，會(huì )出現Send Email選項。

7、在輸入框中輸入郵件，然后點(diǎn)擊Save。

7、實(shí)時(shí)監控500頁(yè)面

總結

Splunk可以用于多種SEO工作，可以給工作帶來(lái)很大的便利性。如果還沒(méi)用過(guò)的站長(cháng)們，不妨嘗試下哦！