robots.txt的乌龙

维护着几个比较老的Wordpress博客，08年左右建立的，建立之初就在robots.txt中写入了：

Disallow: /200*

随着时间进入201X年，又再robots.txt中加入：

Disallow: /201*

只为不让搜索引擎搜录下面的这类页面：

http://www.example.com/2015
http://www.example.com/2015/01
...

最近，我懒得开始给文章自定义固定连接，统一采用日期格式发布新文章，诸如：

http://www.example.com/2015-06-10.html

好嘛，这下问题就来了，一个多月过去了，发现搜索引擎不收录新发布的文章。查看网站访问日志，蜘蛛根本不访问新文章，百思不得其解，最初还以为只是时间问题，直到今天偶然去瞄了一眼robots.txt，才恍然大悟，这不是把蜘蛛们拦截了么！！robots.txt这个东西，写好后可能好几年都不会再动，然后被遗忘，直至自摆乌龙，出了问题以后还不容易想起它来。

仅此发文一篇，提醒以后的自己。