詳細羅列出各個搜索引擎蜘蛛日志及服務器常見
導讀:2SEO優化IIS日志的用途就是能夠觀察搜索引擎的蜘蛛來我們網站的爬取情況,可以更近距離的分析和接觸蜘蛛。爬取次數,爬取時間點,爬取高峰期,爬取反應出來的HTTP狀態碼,為seo網站優化培訓網站推廣優化seo。
其實我們做seo網站優化的一般來說都是一個全知全能的職位,因為做優化做排名影響的因素太多了,就比如我們今天要講的課題,日志的分析如果不會分析看不懂蜘蛛的爬行軌跡,那么在優化的過程中出現問題,就很有可能思路是錯的而不自知。
IIS日志的用途就是能夠觀察搜索引擎的蜘蛛來我們網站的爬取情況,可以更近距離的分析和接觸蜘蛛。爬取次數,爬取時間點,爬取高峰期,爬取反應出來的HTTP狀態碼,為我們帶來清晰的分析便利。
一、各大搜索引擎的蜘蛛名稱:
百度(Baidu)爬蟲名稱(Baiduspider)
谷歌(Google)爬蟲名稱(Googlebot)
雅虎(Yahoo)爬蟲名稱(YahooSlurp)
有道(Yodao)蜘蛛名稱(YodaoBot)
搜狗(sogou)蜘蛛名稱(sogouspider)
MSN的蜘蛛名稱:msnbot
二、IIS分析:
案例日志:61.135.168.22--[11/Jan/2009:04:02:45+0800]"GET/thread-7303-1-1.htmlHTTP/1.1"2008450"-"&qu高端網站建設ot;Baiduspider(+http:-www-baidu-com/search/spider.htm)"
分析:
1、61.135.168.22是訪問了是服務器IP為這個的網站.
2、11/Jan/2009:04:02:45表示蜘蛛爬行時間
3、GET/thread-7303-1-1.htmlHTTP,表示蜘蛛抓取了這個頁面。
4、200狀態碼表示蜘蛛抓取頁面成功;404表示蜘蛛抓取頁面失敗。
5、8450表示此次抓取了8450個字節
6、Baiduspider(+http:-www-baidu-com/search/spider.htm)表示百度蜘蛛的名稱
三、基本狀態碼:
200:請求已經完成,蜘蛛訪問頁面正常
301:已經移動,永久重定向
302:臨時重定向
304:蜘蛛爬取后發現,頁面沒有修改
305:使用代理
400:請求錯誤
404:找不到頁面
四、IIS詳細狀態碼含義:
100-表示已收到請求的一部分,正在繼續發送余下部分。
101-切換協議。
2XX-成功服務器成功地接受了客戶端請求。(只要是2XX的狀態,都表示成功)
200-確定。客戶端請求已成功。
201-已創建。
202-已接受。
203-非權威性信息。
204-無內容。
聲明: 本文由我的SEOUC技術文章主頁發布于:2023-05-21 ,文章詳細羅列出各個搜索引擎蜘蛛日志及服務器常見主要講述蜘蛛,含義,服務器網站建設源碼以及服務器配置搭建相關技術文章。轉載請保留鏈接: http://www.bifwcx.com/article/seo_3415.html