电子书简介:robots.txt的作用是用来告诉搜索引擎机器人搜索引擎机器人不索引网站的哪些内容。robots.txt文件就是一个普通的文本文件,名称用小写,一般放在网站的根目录下。当一个(有的叫搜索蜘蛛)访问一个站点时,它会首先检查该站点根目录下是否存在robots.txt,如果存在,搜索机器人就会按照该文件中的内容来确定访问的范围;如果该文件不存在,那么搜索机器人就沿着链接抓取。

电子书在线观看:http://doc.zzbaike.com/b/1/robots-related-introduction.pdf

百度文档在线观看:http://wenku.baidu.com/view/db32fc0303d8ce2f006623b9.html

电子书在线下载:http://down.zzbaike.com/ebook/robots-related-introduction-1292.html

, , ,
Trackback

no comment untill now

Sorry, comments closed.

Random Plugin Created By Best Accountant Services