今天登陆了下百度站长工具,看到收到一条提醒,打开之后心凉了半截...
文章源自两天的博客-https://2days.org/2482.html
隐约记得之前修改过robots ,为什么修改却不记得了, 不知道怎么弄成了禁止蜘蛛读取,唉非常郁闷,所有的收录全没了。。。
罪魁祸首文章源自两天的博客-https://2days.org/2482.html
文章源自两天的博客-https://2days.org/2482.html
User-agent: *
Disallow: / 是不是它惹的祸??
User-agent: Googlebot-Image
Allow: /
User-agent: Baiduspider-image
Allow: /
Allow: /html/
Allow: /archivers/
Disallow: /cgi-bin/
Disallow: /index.php
Disallow: /wp-admin
Disallow: /wp-content/plugins
Disallow: /wp-content/themes
Disallow: /wp-includes
Disallow: /l.php?url=*
Sitemap: https://2days.org/sitemap.html
Sitemap: https://2days.org/sitemap_baidu.xml
Sitemap: https://2days.org/google_sitemap.xml.gz
Sitemap: https://2days.org/sitemap.xml
像百度,谷歌有道什么的还能保留个首页,提示
由于此网站的 robots限制,系统无法提供该页面的具体描述。。文章源自两天的博客-https://2days.org/2482.html
文章源自两天的博客-https://2days.org/2482.html
文章源自两天的博客-https://2days.org/2482.html
而soso就直接提示 找不到与 "2days.org" 相符的网页
真是令人纠结...
文章源自两天的博客-https://2days.org/2482.html
然后去谷歌分析看了下也是杯具,同时又看到了谷歌的另一个通知:
无法访问的原因大抵是因为使用了Dnspod免费解析的缘故,因为前两天就看到卢松松在博客上写了有关谷歌由于DNS解析问题导致Googlebot蛛蛛无法访问索引。
只好先用域名商自带的解析了。文章源自两天的博客-https://2days.org/2482.html
微博地址 http://weibo.com/1234557003/AiwhmBT4p文章源自两天的博客-https://2days.org/2482.html
现在只能只能修改robots.txt如下,期待百度、谷歌恢复我的收录了。。。文章源自两天的博客-https://2days.org/2482.html
谷歌网站管理员工具支持的编码是ANSI格式
- User-Agent: *
- Allow: /html/
- Allow: /archivers/
- Disallow: /cgi-bin/
- Disallow: /wp-admin
- Disallow: /wp-content/plugins
- Disallow: /wp-content/themes
- Disallow: /wp-includes
- Disallow: /feed
- Disallow: /*/feed
- Disallow: /comments/feed
- Disallow: /trackback/
- Sitemap: http://2days.org/sitemap.html
- Sitemap: http://2days.org/sitemap_baidu.xml
- Sitemap: http://2days.org/google_sitemap.xml
上面robots写错的话,大神们给提个醒啊
本站文章大部分始于原创,用于个人学习记录,可能对您有所帮助,仅供参考!

重庆市 20F
不错,看完这个收获很大!
上海市 19F
不错,我都没用这个。
新疆昌吉州 18F
我就用的dnspod,采用CDN,收录还是好好的~
广东省深圳市 17F
不明觉厉[挖鼻屎]
山东省 B1
@ 张戈 [黑线]大神你这样不好
江苏省南通市 16F
不错不错,来看看。。
甘肃省张掖市 15F
……突然记起来我上次出于某些原因把一个站点设为禁止抓取了……晚上改robots吧,另外dnspod最近一直被d,各种不稳定
北京市 14F
不错 学习了!
四川省泸州市 13F
能交换各友情链接吗?我的网站是 爱奇趣 http://www.iqiqu.net/?
四川省凉山州 12F
很不错的网站,交换友情链接不,最励志网:http://www.zuilizhi.net/?
湖北省武汉市 11F
百度这废品禁就禁掉了吧
安徽省蚌埠市 10F
dnspod速度还是很快的,干嘛把问题归结到dns上面
山东省 B1
@ 让心情去旅行 dnspod免费版国外解析不行
山东省 9F
没事写这玩意儿干嘛,我都不写,随便抓。。。
山东省 B1
@ Tokin
” />
北京市 8F
人才。。你 自己禁止收录的啊。。。
山东省滨州市 B1
@ tomato
” /> 不小心弄错了
浙江省杭州市 7F
这个。。有点悲剧~
山东省滨州市 B1
@ 木篱笆
” />
山东省 6F
呵呵,这个确实要注意点~
山东省 B1
@ 楚狂人 嗯啊 否则后果很严重啊 ,我的被全部搜索引擎K了
” />
广东省广州市 5F
过来看看速度的。
山东省 B1
@ AiJava
” />
湖北省宜昌市 4F
-_-! 这就是英语没学好的后果
山东省烟台市 B1
@ 燕尾蝶
” /> 啥意思
湖北省宜昌市 B2
@ 两天 就是如果你知道disallow这个单词是“不允许”的意思就不会加进这条规则了……
山东省烟台市 B3
@ 燕尾蝶
” /> 我知道这是啥意思 但是我不懂这个robots 
” />
广东省深圳市 3F
feed也不给抓取了啊
山东省 B1
@ Maro
” /> 不让抓了….之前记得都是feed,正文都不抓取了
安徽省合肥市 2F
山东省滨州市 B1
@ 清风千年
” /> 你笑啥
河南省商丘市 1F
我只是来留个槽的。
山东省滨州市 B1
@ 老鱼
” />