我生待明日,万事成蹉跎

robots.txt文件的使用

robots.txt文件用于告诉搜索引擎蜘蛛禁止抓取网站的某些内容或者指定允许抓取某些内容,而搜索引擎蜘蛛在访问站点首先就会查看网站刚好就是保管根目录下的robots.txt文件。网站就相当于一家公司,总是有一些相当机密的文件是旁人不能够看的,而robots.txt文件就是保管这机密的最好帮手。

网站需要放进robots.txt文件的有哪些呢?

①后台管理文件②程序脚本③附件④数据库文件

⑤编码文件⑥样式表文件⑦模件文件⑧导航图片和背景图片

上述的都是robots.txt文件中包含的文件,使用robots.txt规则禁止抓取的文件搜索引擎将不访问,不抓取,但是被禁止抓取的url仍然出现在搜索引擎结果中。当然只要有导入链接指向这个url,搜索引擎就知道有这个url的存在,虽然不抓取页面的内容,但仍然会以下面的几种形式出现在搜索结果中:

一:只显示url,没有标题,描述,Google经常这样处理。

二:导入链接的锚文字显示为标题和描述,百度经常这样处理。

三:显示开放目录或雅虎等重要目录的标题和描述。

未经允许不得转载:徐宏涛博客 » robots.txt文件的使用

分享到:更多 ()

评论 抢沙发

评论前必须登录!