客服電話:4001-543-345

當前位置:首頁 > 網絡營銷知識 >

robots文件的寫法

作者:Seo168    來源:未知    時間:2014-12-29 20:11
摘要:有時候我們不想網站上的一些頁面被收錄,那么怎么辦呢?可能我們會想到用nofollow標簽,但即使我們在站內不讓搜索引擎跟蹤鏈接,也有可能在其他網站出現導入鏈接,后讓這個頁
      有時候我們不想網站上的一些頁面被收錄,那么怎么辦呢?可能我們會想到用nofollow標簽,但即使我們在站內不讓搜索引擎跟蹤鏈接,也有可能在其他網站出現導入鏈接,后讓這個頁面被收錄。所以有效的方法就是使用robots禁止收錄。
      搜索引擎蜘蛛在訪問網站前會先查看robots文件,看看是否允許對網站進行收錄抓取。一般在robots文件不存在或是空文件時都默認為允許所有搜索引擎抓取所有內容。
      User-agent:*,Disallow:/  表示禁止所有搜索引擎抓取任何內容。其中*代表所有搜索引擎。User-agent:Baiduspider代表適用于百度蜘蛛,User-agent:Googlespider表示適用于谷歌蜘蛛。禁止的目錄或文件必須分開寫,每個一行如:
User-agent:*
Disallow:/abc/
Disallow:/def/
Disallow:/ab/c.html
上面的代碼表示不允許所有搜索引擎蜘蛛抓取/abd/和/def/兩個目錄以及/ab/目錄下的index.html文件。
      User-agent:*
      Disallow:   相當于允許所以搜索引擎抓取任何內容。
      我們也可以把Allow和Disallow一起使用
      User-agent:*
      Disallow:/ab/
      Allow:/ab/cd/
      表示讓蜘蛛不抓取/ab/目錄下的除/cd/目錄下的其他內容。
      使用robots文件將有效的使蜘蛛明確哪些內容是可以抓取的或哪些是不可以的。
      
福建22选5开奖结果今天