導讀:seo建站技術seo建站技術robots協議是一個網站根目錄下的一個txt文本文件，當搜索引擎蜘蛛在訪問某個網站時，都會檢查這個網站的根域下是否有這么一個文本文件。所以，它同時也是搜索引擎建站技術模板網站怎么搭建。

robots協議是一個網站根目錄下的一個txt文本文件，當搜索織夢模板下載引擎蜘蛛在訪問某個網站時，都會檢查這個網站的根域下是否有這么一個文本文件。所以，它同時也是搜索引擎蜘蛛來到你站點抓取的第一個文件，這個robots文件的作用就是針對蜘蛛讓它對你的站點哪些內容抓取還是不抓取，給搜索引擎的一個協議，它能夠很好的保護用戶信息，網站模板織夢隱私等。

robots規則

User-Agent：? ? ? ?針對某個搜索引擎蜘蛛的規則， Allow：? ? ? ? ? ? ? ? 允許抓取 Disallow：? ? ? ? ? ?不允許抓取 *? ? ? ? ? ? ? ? ? ? ? ? 通配符，所有的 $? ? ? ? ? ? ? ? ? ? ? ? ? ?結束符，以什么什么結尾。 /? ? ? ? ? ? ? ? ? ? ? ? ? ?根目錄

注意：以上都是英文狀態下輸入，包括冒號，空格，冒號之后有一個英文狀態下的空格，首頁要字母大寫，并且寫的都是相手機模板dede對路徑，而不是絕對路徑。

例如：

User-Agent: *? ? ? ? ? ? ? ? ? ? ? ? ? ? ? ? ? ? ? ? ? ? ? ?針對所有搜索引擎的規則 Disallow: /wp-content/? ? ? ? ? ? ? ? ? ? ? ? ? ? ? ? 不允許抓取這個文件夾 Allow: /wp-content/uploads/LOGO.jip? ? ? ? 允許抓取這個文件夾里的這個張圖片 Disallow: /*.js$? ? ? ? ? ? ? ? ? ? ? ? ? ? ? ? ? ? ? ? ? ? ?不允許抓取更目錄下所有以.js結尾的文件

關鍵詞標簽: 建站 div 協議