一般我们知道搜索引擎蜘蛛来访问一个网站首先要访问的便是robots.txt文件,对于wordpress程序也是如此,因此很多人都想找一适合wordpress程序的robots.txt文件,为此本博客您提供以下代码供您参考
User-agent: *
Disallow: /wp-admin/
Disallow: /wp-content/
Disallow: /wp-includes/
Disallow: /feed/
Disallow: /page/
Disallow: /author
Disallow: /*?*
Disallow: /?s=*
Disallow: /*.php$
Disallow: /*.css$
Disallow: /*.js$
Disallow: /date
当然你也可以根据自己的情况进行适当的增加或者修改。你只需要将上面的代码复制到记事本并命名为:robots.txt并上传到网站根目录即可。