robots.txt的乌龙

robots.txt

维护着几个比较老的Wordpress博客,08年左右建立的,建立之初就在robots.txt中写入了:

Disallow: /200*

随着时间进入201X年,又再robots.txt中加入:

Disallow: /201*

只为不让搜索引擎搜录下面的这类页面:

http://www.example.com/2015
http://www.example.com/2015/01
...

最近,我懒得开始给文章自定义固定连接,统一采用日期格式发布新文章,诸如:

http://www.example.com/2015-06-10.html

好嘛,这下问题就来了,一个多月过去了,发现搜索引擎不收录新发布的文章。查看网站访问日志,蜘蛛根本不访问新文章,百思不得其解,最初还以为只是时间问题,直到今天偶然去瞄了一眼robots.txt,才恍然大悟,这不是把蜘蛛们拦截了么!!robots.txt这个东西,写好后可能好几年都不会再动,然后被遗忘,直至自摆乌龙,出了问题以后还不容易想起它来。

仅此发文一篇,提醒以后的自己。

Email: i at onepx dot com || QQ: ⑧九零三④幺 || 微信: onepxcom
©2019 一像素 蜀ICP备13026576号-2 技术支持:成都网站建设,Sponsor:生酮减肥