慎用robots.txt和Dnspod

两天 2013年11月15日22:03:54综合分类3436,7736字数 1237阅读4分7秒阅读模式

今天登陆了下百度站长工具,看到收到一条提醒,打开之后心凉了半截...

慎用robots.txt和Dnspod

隐约记得之前修改过robots ,为什么修改却不记得了, 不知道怎么弄成了禁止蜘蛛读取,唉非常郁闷,所有的收录全没了。。。
罪魁祸首


User-agent: *
Disallow: / 是不是它惹的祸??
User-agent: Googlebot-Image
Allow: /
User-agent: Baiduspider-image
Allow: /
Allow: /html/
Allow: /archivers/
Disallow: /cgi-bin/
Disallow: /index.php
Disallow: /wp-admin
Disallow: /wp-content/plugins
Disallow: /wp-content/themes
Disallow: /wp-includes
Disallow: /l.php?url=*
Sitemap: https://2days.org/sitemap.html
Sitemap: https://2days.org/sitemap_baidu.xml
Sitemap: https://2days.org/google_sitemap.xml.gz
Sitemap: https://2days.org/sitemap.xml

像百度,谷歌有道什么的还能保留个首页,提示
由于此网站的 robots限制,系统无法提供该页面的具体描述。

慎用robots.txt和Dnspod

慎用robots.txt和Dnspod

而soso就直接提示 找不到与 "2days.org" 相符的网页
真是令人纠结...
慎用robots.txt和Dnspod

然后去谷歌分析看了下也是杯具,同时又看到了谷歌的另一个通知:
慎用robots.txt和Dnspod
无法访问的原因大抵是因为使用了Dnspod免费解析的缘故,因为前两天就看到卢松松在博客上写了有关谷歌由于DNS解析问题导致Googlebot蛛蛛无法访问索引。
只好先用域名商自带的解析了。

微博地址 http://weibo.com/1234557003/AiwhmBT4p

现在只能只能修改robots.txt如下,期待百度、谷歌恢复我的收录了。。。

谷歌网站管理员工具支持的编码是ANSI格式

  1. User-Agent: *
  2. Allow: /html/
  3. Allow: /archivers/
  4. Disallow: /cgi-bin/
  5. Disallow: /wp-admin
  6. Disallow: /wp-content/plugins
  7. Disallow: /wp-content/themes
  8. Disallow: /wp-includes
  9. Disallow: /feed
  10. Disallow: /*/feed
  11. Disallow: /comments/feed
  12. Disallow: /trackback/
  13. Sitemap: http://2days.org/sitemap.html
  14. Sitemap: http://2days.org/sitemap_baidu.xml
  15. Sitemap: http://2days.org/google_sitemap.xml

上面robots写错的话,大神们给提个醒啊

相关文章
继续阅读
历史上的今天
11月
15
  • 我的QQ
  • 这是我的qq扫一扫
  • weinxin
  • 我的微信公众号
  • 我的微信公众号扫一扫
  • weinxin
两天
  • 本文由 发表于 2013年11月15日22:03:54
  • 转载请务必保留本文链接:https://2days.org/2482.html
评论  34  访客  22  作者  12
    • chencool
      chencool 2

      图片挂了~

    匿名

    发表评论

    匿名网友 填写信息

    :?: :razz: :sad: :evil: :!: :smile: :oops: :grin: :eek: :shock: :???: :cool: :lol: :mad: :twisted: :roll: :wink: :idea: :arrow: :neutral: :cry: :mrgreen:

    确定