客服電話:4001-543-345

當前位置:首頁 > 網絡營銷知識 >

robots.txt是什么意思,如何正確書寫?

作者:admin    來源:未知    時間:2014-08-20 14:06
摘要:一、robots.txt的定義 robots.txt是搜索引擎中訪問網站的時候要查看的個文件。Robots.txt文件告訴蜘蛛程序在服務器上什么文件是可以被查看的。 二、robots.txt的作用 當一個搜索蜘蛛訪問
一、robots.txt的定義
        robots.txt是搜索引擎中訪問網站的時候要查看的個文件。Robots.txt文件告訴蜘蛛程序在服務器上什么文件是可以被查看的。 
 
二、robots.txt的作用
        當一個搜索蜘蛛訪問一個站點時,它會首先檢查該站點根目錄下是否存在robots.txt,如果存在,搜索機器人就會按照該文件中的內容來確定訪問的范圍;如果該文件不存在,所有的搜索蜘蛛將能夠訪問網站上所有沒有被口令保護的頁面。
        主要用于告訴搜索引擎不想被搜索引擎抓取的頁面及文件。或者指出網站地圖的位置。
 
三、robots.txt的寫法
robots.txt必須放置在一個站點的根目錄下,而且文件名必須全部小寫。
User-agent: * 這句的意思是對以下命令有效的蜘蛛或者說是針對的哪個蜘蛛。*代表所有蜘蛛,可以替換為baiduspider,googlebot等.
Disallow: /  這句的意思是禁止收錄根目錄下的所有文件。
Disallow: /help.html   這句的意思是禁止收錄根目錄下的help.html這個文件
Disallow: /help/   這句的意思是禁止收錄根目錄下的help這個文件夾內的所有文件。
Sitemap: http://www.xxx.com/sitemap.xml 
 
四、robots meta的寫法
        Robots META標簽則主要是針對一個個具體的頁面。和其他的META標簽(如使用的語言、頁面的描述、關鍵詞等)一樣,Robots META標簽也是放在頁面的中,專門用來告訴搜索引擎ROBOTS如何抓取該頁的內容。
        Robots META標簽中沒有大小寫之分,name=”Robots”表示所有的搜索引擎,可以針對某個具體搜索引擎寫為name=”BaiduSpider”。content部分有四個指令選項:index、noindex、follow、nofollow,指令間以“,”分隔。
        INDEX 指令告訴搜索機器人抓取該頁面; 
        FOLLOW 指令表示搜索機器人可以沿著該頁面上的鏈接繼續抓取下去; 
        要禁止所有搜索引擎顯示您網站的快照,需要將此元標記置入網頁的 <HEAD> 部分:   
<meta name=“robots” content=“noarchive”>   
        要允許其他搜索引擎顯示快照,但僅防止搜索引擎顯示,使用以下標記:
<meta name="Baiduspider“ content="noarchive">
福建22选5开奖结果今天 wow军团再临赚钱 辽宁十一选五如何选号 开心棋牌官方 河南快赢481软件破解 北京赛车pk10牛人计划 女人现在做什么稳定赚钱 山西十一选五遗漏数据 imoney软件能赚钱吗 天津十一选五胆拖投注表 快递自提小哥赚钱吗 山西十一选五走势图手机版下载 买卖保健品能赚钱吗 河北十一选五基本走势 流量号赚钱的 广西十一选五基本走势图百度彩票 写小说和画漫画哪个赚钱