導讀:織夢技術織夢技術一個合格的網站，必須在根目錄下包含一下robots.txt文件，這個文件的作用對所有運營網站的朋友來說并不陌生，網上也提供了很多制作robots.txt文件的方手機模板dededede免費模板。

一個合格的網站，必須在根目錄下包含一下robots.txt文件，這個文件的作用對所有運營網站的朋友來說并不陌生，網上也提供了很多制作robots.txt文件的方法和軟件，可謂相當方便。但是，你真的知道網站的robots.txt文件設置是否合理，哪些文件或者目錄需要屏蔽、哪些設置方法對網站運營有好處?

那下面帶著這些疑問，筆者會進行詳細的解答，希望對新手站長朋友們有所幫助，老鳥勿噴。

一、什么是robots.txt

筆者引用百度站長工具中后段話來解釋。搜索引擎使用spider程序自動訪問互聯網上的網頁并獲取網頁信息。spider在訪問一個網站時，會首先會檢查該網站的根域下是否有一個叫做 robots.txt的純文本文件，這個文件用于指定spider在您網站上的抓取范圍。您可以在您的網站中創建一個robots.txt，在文件中聲明 該網站中不想被搜索引擎收錄的部分或者指定搜索引擎只收錄特定的部分。

二、robots.txt文件對網站有什么好處

1、快速增加網站權重和訪問量;

2、禁止某些文件被搜索引擎索引，可以節省服務器帶寬和網站訪問速度;

3、為搜索引擎提供一個簡潔明了的索引環境

三、哪些網站的目錄需要使用robots.txt文件禁止抓取

1)、圖片目錄

圖片是構成網站的主要組成元素。隨著現在建站越來越方便，大量CMS的出現，真正做到了會打字就會建網站，而正是因為如此方便，網上出現了大量的同質化模板網站，被反復使用，這樣的網站搜索引擎是肯定不喜歡的，就算是你的網站被收錄了，那你的效果也是很差的。如果你非要用這種網站的話，建議你應該在robots.txt文件中進行屏蔽，通常的網站圖片目錄是：imags 或者 img;

2)、網站模板目錄

如上面 圖片目錄 中所說，CMS的強大和靈活，也導致了很多同質化的網站模板的出現和濫用，高度的重復性模板在搜索引擎中形成了一種冗余，且模板文件常常與生成文件高度相似，同樣易造成雷同內容的出現。對搜索引擎很不友好，嚴重的直接被搜索引擎打入冷宮，不得翻身，很多CMS有擁有獨立的模板存放目錄，因此，應該進行模板目錄的屏蔽。通常模板目錄的文件目錄是：templets

3)、CSS、JS目錄的屏蔽

CSS目錄文件在搜索引擎的抓取中沒有用處，也無法提供有價值的信息。所以強烈建議站長朋友們在Robots.txt文件中將其進行屏蔽，以提高搜索引擎的索引質量。為搜索引擎提供一個簡潔明了的索引環境更易提升網站友好性。CSS樣式的目錄通常情況下是：CSS 或者 style

關鍵詞標簽: 標簽 屏蔽 織夢