導(dǎo)讀:安裝使用安裝使用很多時(shí)候，我們都希望網(wǎng)站被大部分的搜索引擎抓取，以此來(lái)獲取更多流量，實(shí)現(xiàn)價(jià)值，但是不少小型站點(diǎn)因?yàn)椴豢深A(yù)知的原因?qū)е麓罅克阉饕嬷┲氤霭∪ゾW(wǎng)站，勢(shì)必會(huì)暫用很大流seo網(wǎng)站優(yōu)化網(wǎng)站建設(shè)多少錢(qián)。

很多時(shí)候，我們都希望網(wǎng)站被大部分的搜索引擎抓取，以此來(lái)獲取更多流量，實(shí)現(xiàn)價(jià)值，但是不少小型站點(diǎn)因?yàn)椴豢深A(yù)知的原因?qū)е麓罅克阉饕嬷┲氤霭∪ゾW(wǎng)站，勢(shì)必會(huì)暫用很大流量 […]

很多時(shí)候，我們都希望網(wǎng)站被大部分的搜索引擎抓取，以此來(lái)獲取更多流量，實(shí)現(xiàn)價(jià)值，但是不少小型站點(diǎn)因?yàn)椴豢深A(yù)知的原因?qū)е麓罅克阉饕嬷┲氤霭∪ゾW(wǎng)站，勢(shì)必會(huì)暫用很大流量，如下所示：

我們一般可以在網(wǎng)站的訪問(wèn)日志里看到蜘蛛的爬行記錄，如果蜘蛛爬行過(guò)多，會(huì)造成網(wǎng)站服務(wù)器崩潰，影響正常用戶(hù)的體驗(yàn)。于是，我們需要對(duì)一些無(wú)用的搜索引擎蜘蛛進(jìn)行封禁，禁止其爬取我們的網(wǎng)站，余斗一般不建議封禁國(guó)內(nèi)的主流搜索引擎蜘蛛，常見(jiàn)的幾種搜索引擎蜘蛛如下：

google蜘蛛：googlebot

百度蜘蛛：baiduspider

yahoo蜘蛛：slurp

alexa蜘蛛：ia_archiver

msn蜘蛛：msnbot

bing蜘蛛：bingbot

altavista蜘蛛：scooter

lycos蜘蛛：lycos_spider_(t-rex)

alltheweb蜘蛛：fast-webcrawler

inktomi蜘蛛：slurp

有道蜘蛛：YodaoBot和OutfoxBot

熱土蜘蛛：Adminrtspider

搜狗蜘蛛：sogou spider

SOSO蜘蛛：sosospider

360搜蜘蛛：360spider

Linux下 規(guī)則文件.htaccess(手工創(chuàng)建.htaccess文件到站點(diǎn)根目錄)：

<IfModule mod_rewrite.c> RewriteEngine On #Block spider RewriteCond %{HTTP_USER_AGENT} "Webdup|AcoonBot|AhrefsBot|Ezooms|EdisterBot|EC2LinkFinder|jikespider|Purebot|MJ12bot|WangIDSpider|WBSearchBot|Wotbox|xbfMozilla|Yottaa|YandexBot|Jorgee|SWEBot|spbot|TurnitinBot-Agent|mail.RU|curl|perl|Python|Wget|Xenu|ZmEu" [NC] RewriteRule !(^robots\.txt$) - [F] </IfModule>  

windows2003下修改規(guī)則文件httpd.conf（在虛擬主機(jī)控制面板中用“ISAPI篩選器自定義設(shè)置 ” 開(kāi)啟自定義偽靜態(tài) Isapi_Rewite3.1）：

#Block spider RewriteCond %{HTTP_USER_AGENT} (Webdup|AcoonBot|AhrefsBot|Ezooms|EdisterBot|EC2LinkFinder|jikespider|Purebot|MJ12bot|WangIDSpider|WBSearchBot|Wotbox|xbfMozilla|Yottaa|YandexBot|Jorgee|SWEBot|spbot|TurnitinBot-Agent|mail.RU|curl|perl|Python|W網(wǎng)站優(yōu)化seo培訓(xùn)get|Xenu|ZmEu) [NC] RewriteRule !(^/robots.txt$) - [F]  

關(guān)鍵詞標(biāo)簽: 蜘蛛 如何設(shè)置