最新消息:点击查看大S的省钱秘笈

二级目录WordPress搜索引擎优化之robots.txt文件

WordPress Slyar 66浏览 0评论

文章作者:姜南(Slyar) 文章来源:Slyar Home (www.slyar.com) 转载请注明,谢谢合作。

1、Google和Baidu等搜素引擎不喜欢重复内容,尤其是重复的页面,如果它收录了你太多重复的页面,它就不爱你了,后果你懂的。

2、为了减少网站内多余的重复页面,我们可以使用robots.txt文件。

3、robots.txt是一个文本文件,放置于网站的根目录下,搜索引擎会定期抓取这个文件,并按照这个文件内指定的规则判断抓取哪些内容,不抓取哪些内容。

4、如果你的博客是WordPress,并且像Slyar这样是建在二级目录/blog下的,你仍旧需要把robots.txt文件放置于网站根目录下,只要在文件内指定二级目录即可。

5、不是所有的搜索引擎都支持allow语句,所以尽量不使用allow语句,全部用disallow代替。

6、搜索引擎会过滤URL中"#"(井号)后面的内容,所以锚点标记的URL你可以忽略。

7、以下是Slyar的robots.txt文件,你可以使用Google网站管理员工具里Google给出的抓取错误信息自己判断哪些URL需要Disallow.

User-agent: *
Disallow: /blog/?
Disallow: /blog/*.php$
Disallow: /blog/index.php?
Disallow: /blog/wp-content/uploads
Disallow: /blog/wp-content/plugins
Disallow: /blog/wp-content/themes
Disallow: /blog/wp-includes
Disallow: /blog/wp-admin
Disallow: /blog/trackback/
Disallow: /blog/*/comment-page-*
Disallow: /blog/feed/
Disallow: /blog/*/feed
Disallow: /blog/*/*/feed
Disallow: /blog/page/
Disallow: /blog/author
Disallow: /blog/*/*/page/

转载请注明:Slyar Home » 二级目录WordPress搜索引擎优化之robots.txt文件

发表我的评论
取消评论

表情

Hi,您需要填写昵称和邮箱!

  • 昵称 (必填)
  • 邮箱 (必填)
  • 网址

网友最新评论 (1)