robots.txt的乌龙

维护着几个比较老的Wordpress博客,08年左右建立的,建立之初就在robots.txt中写入了:
Disallow: /200*
随着时间进入201X年,又再robots.txt中加入:
Disallow: /201*
只为不让搜索引擎搜录下面的这类页面:
http://www.example.com/2015
http://www.example.com/2015/01
...
最近,我懒得开始给文章自定义固定连接,统一采用日期格式发布新文章,诸如:
http://www.example.com/2015-06-10.html
好嘛,这下问题就来了,一个多月过去了,发现搜索引擎不收录新发布的文章。查看网站访问日志,蜘蛛根本不访问新文章,百思不得其解,最初还以为只是时间问题,直到今天偶然去瞄了一眼robots.txt,才恍然大悟,这不是把蜘蛛们拦截了么!!robots.txt这个东西,写好后可能好几年都不会再动,然后被遗忘,直至自摆乌龙,出了问题以后还不容易想起它来。
仅此发文一篇,提醒以后的自己。