慎用robots.txt和Dnspod

两天 综合分类3542.5K7字数 1237阅读4分7秒阅读模式

今天登陆了下百度站长工具,看到收到一条提醒,打开之后心凉了半截...

慎用robots.txt文章源自两天的博客-https://2days.org/2482.html

隐约记得之前修改过robots ,为什么修改却不记得了, 不知道怎么弄成了禁止蜘蛛读取,唉非常郁闷,所有的收录全没了。。。
罪魁祸首文章源自两天的博客-https://2days.org/2482.html


User-agent: *
Disallow: / 是不是它惹的祸??
User-agent: Googlebot-Image
Allow: /
User-agent: Baiduspider-image
Allow: /
Allow: /html/
Allow: /archivers/
Disallow: /cgi-bin/
Disallow: /index.php
Disallow: /wp-admin
Disallow: /wp-content/plugins
Disallow: /wp-content/themes
Disallow: /wp-includes
Disallow: /l.php?url=*
Sitemap: https://2days.org/sitemap.html
Sitemap: https://2days.org/sitemap_baidu.xml
Sitemap: https://2days.org/google_sitemap.xml.gz
Sitemap: https://2days.org/sitemap.xml
文章源自两天的博客-https://2days.org/2482.html

像百度,谷歌有道什么的还能保留个首页,提示
由于此网站的 robots限制,系统无法提供该页面的具体描述。文章源自两天的博客-https://2days.org/2482.html

百度robot文章源自两天的博客-https://2days.org/2482.html

google robot文章源自两天的博客-https://2days.org/2482.html

而soso就直接提示 找不到与 "2days.org" 相符的网页
真是令人纠结...
搜搜文章源自两天的博客-https://2days.org/2482.html

然后去谷歌分析看了下也是杯具,同时又看到了谷歌的另一个通知:
谷歌的另一个通知
无法访问的原因大抵是因为使用了Dnspod免费解析的缘故,因为前两天就看到卢松松在博客上写了有关谷歌由于DNS解析问题导致Googlebot蛛蛛无法访问索引。
只好先用域名商自带的解析了。文章源自两天的博客-https://2days.org/2482.html

微博地址 http://weibo.com/1234557003/AiwhmBT4p文章源自两天的博客-https://2days.org/2482.html

现在只能只能修改robots.txt如下,期待百度、谷歌恢复我的收录了。。。文章源自两天的博客-https://2days.org/2482.html

谷歌网站管理员工具支持的编码是ANSI格式

  1. User-Agent: *
  2. Allow: /html/
  3. Allow: /archivers/
  4. Disallow: /cgi-bin/
  5. Disallow: /wp-admin
  6. Disallow: /wp-content/plugins
  7. Disallow: /wp-content/themes
  8. Disallow: /wp-includes
  9. Disallow: /feed
  10. Disallow: /*/feed
  11. Disallow: /comments/feed
  12. Disallow: /trackback/
  13. Sitemap: http://2days.org/sitemap.html
  14. Sitemap: http://2days.org/sitemap_baidu.xml
  15. Sitemap: http://2days.org/google_sitemap.xml

上面robots写错的话,大神们给提个醒啊

本站文章大部分始于原创,用于个人学习记录,可能对您有所帮助,仅供参考!

weinxin
312379857
←QQ扫一扫添加QQ好友
版权声明:本站原创文章转载请注明文章出处及链接,谢谢合作!
广告也精彩
 最后更新:2015-10-3
  • 收录
  • dnspod
  • robots
评论  35  访客  22  作者  13
    • chencool
      chencool 2

      图片挂了~

        • 两天
          两天

          @ chencool 用的SAE,然后没注意SAE没了 :eek:

      匿名

      发表评论

      匿名网友
      :?: :razz: :sad: :evil: :!: :smile: :oops: :grin: :eek: :shock: :???: :cool: :lol: :mad: :twisted: :roll: :wink: :idea: :arrow: :neutral: :cry: :mrgreen:
      确定

      拖动滑块以完成验证