如何設置規則來攔截蜘蛛抓取（Apache與IIS）安裝
導讀:安裝使用安裝使用很多時候，我們都希望網站被大部分的搜索引擎抓取，以此來獲取更多流量，實現價值，但是不少小型站點因為不可預知的原因導致大量搜索引擎蜘蛛出啊去網站，勢必會暫用很大流seo網站優化網站建設多少錢。
很多時候，我們都希望網站被大部分的搜索引擎抓取，以此來獲取更多流量，實現價值，但是不少小型站點因為不可預知的原因導致大量搜索引擎蜘蛛出啊去網站，勢必會暫用很大流量 […]
很多時候，我們都希望網站被大部分的搜索引擎抓取，以此來獲取更多流量，實現價值，但是不少小型站點因為不可預知的原因導致大量搜索引擎蜘蛛出啊去網站，勢必會暫用很大流量，如下所示：
我們一般可以在網站的訪問日志里看到蜘蛛的爬行記錄，如果蜘蛛爬行過多，會造成網站服務器崩潰，影響正常用戶的體驗。于是，我們需要對一些無用的搜索引擎蜘蛛進行封禁，禁止其爬取我們的網站，余斗一般不建議封禁國內的主流搜索引擎蜘蛛，常見的幾種搜索引擎蜘蛛如下：
google蜘蛛：googlebot
百度蜘蛛：baiduspider
yahoo蜘蛛：slurp
alexa蜘蛛：ia_archiver
msn蜘蛛：msnbot
bing蜘蛛：bingbot
altavista蜘蛛：scooter
lycos蜘蛛：lycos_spider_(t-rex)
alltheweb蜘蛛：fast-webcrawler
inktomi蜘蛛：slurp
有道蜘蛛：YodaoBot和OutfoxBot
熱土蜘蛛：Adminrtspider
搜狗蜘蛛：sogou spider
SOSO蜘蛛：sosospider
360搜蜘蛛：360spider
Linux下 規則文件.htaccess(手工創建.htaccess文件到站點根目錄)：
<IfModule mod_rewrite.c> RewriteEngine On #Block spider RewriteCond %{HTTP_USER_AGENT} "Webdup|AcoonBot|AhrefsBot|Ezooms|EdisterBot|EC2LinkFinder|jikespider|Purebot|MJ12bot|WangIDSpider|WBSearchBot|Wotbox|xbfMozilla|Yottaa|YandexBot|Jorgee|SWEBot|spbot|TurnitinBot-Agent|mail.RU|curl|perl|Python|Wget|Xenu|ZmEu" [NC] RewriteRule !(^robots\.txt$) - [F] </IfModule>windows2003下修改規則文件httpd.conf（在虛擬主機控制面板中用“ISAPI篩選器自定義設置 ” 開啟自定義偽靜態 Isapi_Rewite3.1）：
#Block spider RewriteCond %{HTTP_USER_AGENT} (Webdup|AcoonBot|AhrefsBot|Ezooms|EdisterBot|EC2LinkFinder|jikespider|Purebot|MJ12bot|WangIDSpider|WBSearchBot|Wotbox|xbfMozilla|Yottaa|YandexBot|Jorgee|SWEBot|spbot|TurnitinBot-Agent|mail.RU|curl|perl|Python|W網站優化seo培訓get|Xenu|ZmEu) [NC] RewriteRule !(^/robots.txt$) - [F]聲明: 本文由我的SEOUC技術文章主頁發布于:2023-05-26 ，文章如何設置規則來攔截蜘蛛抓取（Apache與IIS）安裝主要講述蜘蛛,如何設置,如何設置規則來攔截蜘蛛抓取（網站建設源碼以及服務器配置搭建相關技術文章。轉載請保留鏈接: http://www.bifwcx.com/article/web_9888.html
