導(dǎo)讀:建站問題建站問題Robots之所以稱之為協(xié)議就是因?yàn)樗皇?“命令” 而是跟搜索引擎爬蟲間的單方面協(xié)議。因而 robots 中的設(shè)置并不意味著100%的生效，但那些知名君子如 網(wǎng)站建設(shè)網(wǎng)seo優(yōu)化趨勢。

Robots之所以稱之為協(xié)議就是因?yàn)樗皇?“命令” 而是跟搜索引擎爬蟲間的單方面協(xié)議。因而 robots 中的設(shè)置并不意味著100%的生效，但那些知名君子如 Google Yahoo Bing Baidu 網(wǎng)站建設(shè)多少錢等搜索引擎都支持，所謂小人們不管也罷。 Robots 協(xié)議有什么作用呢？ seo網(wǎng)站優(yōu)化軟件robots協(xié)議 […]

Robots之所以稱之為協(xié)議就是因?yàn)樗皇?“命令” 而是跟搜索引擎爬蟲間的單方面協(xié)議。因而 robots 中的設(shè)置并不意味著100%的生效，但那些知名君子如 Google Yahoo Bing Baidu 等搜索引擎都支持，所謂小人們不管也罷。

Robots 協(xié)議有什么作用呢？

robots協(xié)議用來告知搜索引擎哪些頁面能被抓取，哪些頁面不能被抓取；可以屏蔽一些網(wǎng)站中比較大的文件，如：圖片，音樂，視頻等，節(jié)省服務(wù)器帶寬；可以屏蔽站點(diǎn)的一些死鏈接。方便搜索引擎抓取網(wǎng)站網(wǎng)站seo優(yōu)化軟件內(nèi)容；設(shè)置網(wǎng)站地圖連接，方便引導(dǎo)蜘蛛爬取頁面。

讓我們來了解下 Robots 都有哪些寫法

User-agent: * 這里的 * 代表的所有的搜索引擎種類，*是一個通配符 Disallow: /admin/ 這里定義是禁止爬尋admin目錄下面的目錄 Disallow: /cgi-bin/*.htm 禁止訪問/cgi-bin/目錄下的所有以”.htm“為后綴的URL(包含子目錄)。 Disallow: /*?* 禁止訪問網(wǎng)站中所有包含問號 (?) 的網(wǎng)址 Disallow: /.jpg$ 禁止抓取網(wǎng)頁所有的.jpg格式的圖片 Disallow: /ab/adc.html 禁止爬取ab文件夾下面的adc.html文件。 Allow: /cgi-bin/　這里定義是允許爬尋cgi-bin目錄下面的目錄 Allow: /tmp 這里定義是允許爬尋tmp的整個目錄 Allow: .htm$ 僅允許訪問以”.htm”為后綴的URL。 Allow: .gif$ 允許抓取網(wǎng)頁和gif格式圖片 Sitemap: 網(wǎng)站地圖 告訴爬蟲這個頁面是網(wǎng)站地圖 robots.txt文件應(yīng)該放置在網(wǎng)站根目錄下。

當(dāng)搜索引擎的爬蟲們進(jìn)入網(wǎng)站時首先會檢查該網(wǎng)站中是否存在 robots.txt 這個文件，如果爬蟲找到這個文件，它就會根據(jù)這個文件的內(nèi)容，來確定它訪問權(quán)限的范圍。

相關(guān)網(wǎng)站建設(shè)網(wǎng)seo優(yōu)化趨勢。

關(guān)鍵詞標(biāo)簽: 寫法 協(xié)議