慎用robots.txt和Dnspod

两天
两天
管理员
739
文章
0
粉丝
综合分类3560,6687字数 433阅读1分26秒阅读模式

今天登陆了下百度站长工具,看到收到一条提醒,打开之后心凉了半截...

慎用robots.txt文章源自两天的博客-https://2days.org/2482.html

隐约记得之前修改过robots ,为什么修改却不记得了, 不知道怎么弄成了禁止蜘蛛读取,唉非常郁闷,所有的收录全没了。。。
罪魁祸首文章源自两天的博客-https://2days.org/2482.html


User-agent: *
Disallow: / 是不是它惹的祸??
User-agent: Googlebot-Image
Allow: /
User-agent: Baiduspider-image
Allow: /
Allow: /html/
Allow: /archivers/
Disallow: /cgi-bin/
Disallow: /index.php
Disallow: /wp-admin
Disallow: /wp-content/plugins
Disallow: /wp-content/themes
Disallow: /wp-includes
Disallow: /l.php?url=*
Sitemap: https://2days.org/sitemap.html
Sitemap: https://2days.org/sitemap_baidu.xml
Sitemap: https://2days.org/google_sitemap.xml.gz
Sitemap: https://2days.org/sitemap.xml
文章源自两天的博客-https://2days.org/2482.html

像百度,谷歌有道什么的还能保留个首页,提示
由于此网站的 robots限制,系统无法提供该页面的具体描述。文章源自两天的博客-https://2days.org/2482.html

百度robot文章源自两天的博客-https://2days.org/2482.html

google robot文章源自两天的博客-https://2days.org/2482.html

而soso就直接提示 找不到与 "2days.org" 相符的网页
真是令人纠结...
搜搜文章源自两天的博客-https://2days.org/2482.html

然后去谷歌分析看了下也是杯具,同时又看到了谷歌的另一个通知:
谷歌的另一个通知
无法访问的原因大抵是因为使用了Dnspod免费解析的缘故,因为前两天就看到卢松松在博客上写了有关谷歌由于DNS解析问题导致Googlebot蛛蛛无法访问索引。
只好先用域名商自带的解析了。文章源自两天的博客-https://2days.org/2482.html

微博地址 http://weibo.com/1234557003/AiwhmBT4p文章源自两天的博客-https://2days.org/2482.html

现在只能只能修改robots.txt如下,期待百度、谷歌恢复我的收录了。。。文章源自两天的博客-https://2days.org/2482.html

谷歌网站管理员工具支持的编码是ANSI格式

  1. User-Agent: *
  2. Allow: /html/
  3. Allow: /archivers/
  4. Disallow: /cgi-bin/
  5. Disallow: /wp-admin
  6. Disallow: /wp-content/plugins
  7. Disallow: /wp-content/themes
  8. Disallow: /wp-includes
  9. Disallow: /feed
  10. Disallow: /*/feed
  11. Disallow: /comments/feed
  12. Disallow: /trackback/
  13. Sitemap: http://2days.org/sitemap.html
  14. Sitemap: http://2days.org/sitemap_baidu.xml
  15. Sitemap: http://2days.org/google_sitemap.xml

上面robots写错的话,大神们给提个醒啊

本站文章大部分始于原创,用于个人学习记录,可能对您有所帮助,仅供参考!

weinxin
312379857
微信号已复制
←QQ扫一扫添加QQ好友
版权声明:本站原创文章转载请注明文章出处及链接,谢谢合作!
广告也精彩
 最后更新:2015-10-3
  • 收录
  • dnspod
  • robots
评论  35  访客  22  作者  13
    • 卢松松博客
      卢松松博客 1

      不错,看完这个收获很大!

      • 咸丰百姓网
        咸丰百姓网 0

        不错,我都没用这个。

        • 姜辰
          姜辰 3

          我就用的dnspod,采用CDN,收录还是好好的~

          • 张戈
            张戈 0

            不明觉厉[挖鼻屎]

            • 笑话大全
              笑话大全 1

              不错不错,来看看。。

              • 慕若曦
                慕若曦 0

                ……突然记起来我上次出于某些原因把一个站点设为禁止抓取了……晚上改robots吧,另外dnspod最近一直被d,各种不稳定

                • 歪妖内涵网
                  歪妖内涵网 2

                  不错 学习了!

                  • 爱奇趣分享网
                    爱奇趣分享网 2

                    能交换各友情链接吗?我的网站是 爱奇趣 http://www.iqiqu.net/?

                    • 最励志官网
                      最励志官网 2

                      很不错的网站,交换友情链接不,最励志网:http://www.zuilizhi.net/?

                      • Sawyer
                        Sawyer 0

                        百度这废品禁就禁掉了吧

                        • 让心情去旅行
                          让心情去旅行 1

                          dnspod速度还是很快的,干嘛把问题归结到dns上面

                          • Tokin
                            Tokin 1

                            没事写这玩意儿干嘛,我都不写,随便抓。。。

                            • tomato
                              tomato 2

                              人才。。你 自己禁止收录的啊。。。

                                • 两天
                                  两天

                                  @ tomato comment” /> 不小心弄错了

                                • 木篱笆
                                  木篱笆 2

                                  这个。。有点悲剧~

                                  • 楚狂人
                                    楚狂人 2

                                    呵呵,这个确实要注意点~

                                      • 两天
                                        两天

                                        @ 楚狂人 嗯啊 否则后果很严重啊 ,我的被全部搜索引擎K了 comment” />

                                      • AiJava
                                        AiJava 1

                                        过来看看速度的。

                                        • 燕尾蝶
                                          燕尾蝶 1

                                          -_-! 这就是英语没学好的后果

                                            • 两天
                                              两天

                                              @ 燕尾蝶 comment” /> 啥意思

                                                • 燕尾蝶
                                                  燕尾蝶 1

                                                  @ 两天 就是如果你知道disallow这个单词是“不允许”的意思就不会加进这条规则了……

                                                    • 两天
                                                      两天

                                                      @ 燕尾蝶 comment” /> 我知道这是啥意思 但是我不懂这个robots comment” />

                                                • Maro
                                                  Maro 0

                                                  feed也不给抓取了啊

                                                    • 两天
                                                      两天

                                                      @ Maro comment” /> 不让抓了….之前记得都是feed,正文都不抓取了

                                                    • 清风千年
                                                      清风千年 1

                                                      comment” />

                                                      • 老鱼
                                                        老鱼 9

                                                        我只是来留个槽的。

                                                      匿名

                                                      发表评论

                                                      匿名网友
                                                      :?: :razz: :sad: :evil: :!: :smile: :oops: :grin: :eek: :shock: :???: :cool: :lol: :mad: :twisted: :roll: :wink: :idea: :arrow: :neutral: :cry: :mrgreen:
                                                      确定

                                                      拖动滑块以完成验证
                                                      加载失败