资源下载 - 从此开始!

下载我_精品源码软件教程资源网

您的位置:首页 > 建站教程 > seo > 正文

蜘蛛池robot写法技巧

2017-12-13 13:23 来源:未知编辑:admin

1、概述

①robots.txt纯文本文件,网站管理员可以在这里声明该网站不想robots访问的部分,所以robots优化直接影响着搜索引擎对网站的收录情况;
②robots.txt必须放置在一个站点的根目录下,并且文件名必须全部小写:e58.vip/robots.txt;
③就算你的网站全部内容都可以被搜索引擎收录,那也要写个空的robots.txt;因为有的服务器的设置会使没有robots.txt的时候返回200状态码和相应的错误信息;

2、robots的写法
# robots.txt file from http://e58.vip
# All robots will spider the domain
User-agent:*
Disallow:
①允许搜索引擎访问所有部分
User-agent:*
Disallow:
②禁止搜索引擎访问任何部分
User-agent:*
Disallow:/
③禁止搜索引擎访问某几个部分
User-agent:*
Disallow:http://e58.vip/123.html
Disallow:http://e58.vip/456.html
Disallow:http://e58.vip/789.html
④允许某个搜索引擎访问
User-agent:Baiduspiter
Disallow:/
⑤禁止所有浏览器访问某几个目录下的内容及文件
User-agent:*
Disallow:/sss/
Disallow:/aaa/
⑥禁止除了百度浏览器以外的所有搜索引擎抓取任何内容:
User-agent:Baiduspiter
Disallow:/
User-agent:*
Disallow:/
⑦$:通配符,匹配url结尾的字符。禁止百度抓取所有.jpg文件
User-agent:Baiduspiter
Disallow:.jpg$

打赏一下,我们会为大家提供更多优质资源!

相关文章,95%的人会看!{有内幕、有真相...}

看过本文的人还看过

关闭

微信扫一扫

站长微信账号