慎用robots.txt和Dnspod

今天登陆了下百度站长工具,看到收到一条提醒,打开之后心凉了半截...

慎用robots.txt

隐约记得之前修改过robots ,为什么修改却不记得了, 不知道怎么弄成了禁止蜘蛛读取,唉非常郁闷,所有的收录全没了。。。
罪魁祸首


User-agent: *
Disallow: / 是不是它惹的祸??
User-agent: Googlebot-Image
Allow: /
User-agent: Baiduspider-image
Allow: /
Allow: /html/
Allow: /archivers/
Disallow: /cgi-bin/
Disallow: /index.php
Disallow: /wp-admin
Disallow: /wp-content/plugins
Disallow: /wp-content/themes
Disallow: /wp-includes
Disallow: /l.php?url=*
Sitemap: http://2days.org/sitemap.html
Sitemap: http://2days.org/sitemap_baidu.xml
Sitemap: http://2days.org/google_sitemap.xml.gz
Sitemap: http://2days.org/sitemap.xml

像百度,谷歌有道什么的还能保留个首页,提示
由于此网站的 robots限制,系统无法提供该页面的具体描述。

百度robot

google robot

而soso就直接提示 找不到与 "2days.org" 相符的网页
真是令人纠结...
搜搜

然后去谷歌分析看了下也是杯具,同时又看到了谷歌的另一个通知:
谷歌的另一个通知
无法访问的原因大抵是因为使用了Dnspod免费解析的缘故,因为前两天就看到卢松松在博客上写了有关谷歌由于DNS解析问题导致Googlebot蛛蛛无法访问索引。
只好先用域名商自带的解析了。

微博地址 http://weibo.com/1234557003/AiwhmBT4p

现在只能只能修改robots.txt如下,期待百度、谷歌恢复我的收录了。。。

谷歌网站管理员工具支持的编码是ANSI格式

  1. User-Agent: *
  2. Allow: /html/
  3. Allow: /archivers/
  4. Disallow: /cgi-bin/
  5. Disallow: /wp-admin
  6. Disallow: /wp-content/plugins
  7. Disallow: /wp-content/themes
  8. Disallow: /wp-includes
  9. Disallow: /feed
  10. Disallow: /*/feed
  11. Disallow: /comments/feed
  12. Disallow: /trackback/
  13. Sitemap: http://2days.org/sitemap.html
  14. Sitemap: http://2days.org/sitemap_baidu.xml
  15. Sitemap: http://2days.org/google_sitemap.xml

上面robots写错的话,大神们给提个醒啊

  • 我的微信
  • 这是我的微信扫一扫
  • weinxin
  • 我的微信公众号
  • 我的微信公众号扫一扫
  • weinxin
avatar
十年·肖申克的救赎影评
命运爱情之六 战友
埃微I5plus
工作两年后感悟的《大话西游》

发表评论

:?: :razz: :sad: :evil: :!: :smile: :oops: :grin: :eek: :shock: :???: :cool: :lol: :mad: :twisted: :roll: :wink: :idea: :arrow: :neutral: :cry: :mrgreen:

目前评论:34   其中:访客  22   博主  12

    • avatar chencool 1

      图片挂了~