修改 robots.txt 让 WordPress 更适合移动设备

在近期,Google 将网站在移动设备上的体验作为一个考量指标引入了搜索结果排名算法,这意味着要想自己的网站在 Google 上获得一个更好的排名,不能仅仅考虑网站在 PC 端浏览器中的表现了,应该着手优化网站在移动设备上的显示效果了。

大多数基于 wordpress 程序的网站都使用自适应主题,即当网站在移动设备上被访问时会自动适配移动设备的屏幕大小,将显示效果调整至最优,而任一网页的 URL 地址并不会发生改变,这对于 SEO 来说也是相当不错的。但是我们要做的不仅仅是将网站调整得用肉眼看来适合移动设备,我们需要让搜索引擎同样认为我们的网站适合移动设备。这里就需要修改传统的 wordpress 网站使用的 robots.txt 文件了。

传统的 robots.txt 文件写法一般如下:

User-agent: *
Disallow: /cgi-bin
Disallow: /wp-admin
Disallow: /wp-includes
Disallow: /wp-content/plugins
Disallow: /wp-content/cache
Disallow: /wp-content/themes
Disallow: /trackback
Disallow: /feed
Disallow: /comments
Disallow: /author/*
Disallow: */trackback
Disallow: */feed
Disallow: */comments
Disallow: /*?*
Disallow: /*?

如果使用以上的 robots.txt 写法,那么 Google 将无法抓取到一些用于适配移动设备的 javascript 文件以及 css 文件,那么 Google 就会认为该网站是不适合移动设备的,那么这个网站的排名必然会受到这方面的影响。我们需要在以上的文件中删除一些内容:

首先是 Disallow: /wp-content/plugins 这行内容,我们不再需要禁止 Google 抓取插件目录下的文件了,因为插件目录有可能输出一些用于优化移动页面的 javascript 或者 css 文件。第四行 Disallow: /wp-includes 同样也应当删除,我们不再应该禁止搜索引擎抓取该文件夹下的内容,因为这可能会使得搜索引擎对网站对移动设备的适应性做出不符合事实的判断。

可以通过 Google 移动设备适合性测试来测试你的网站是否适合移动设备,访问该网页输入你网站的 URL 即可检测,下面是我的网站在移动设备适合性测试中的预览效果:

hi9 移动设备适合性

对于这个效果,Google 移动设备适合性测试给出的结论是:该网页适合移动设备,可见经过 robots.txt 优化之后网站的移动设备适合性得到提升,网站至少不会因为移动设备适合性问题影响到自身在 Google 的排名了。

移动设备适合性测试

下面是我的网站当前使用的 robots.txt ,大家可以参考:

User-agent: *
Disallow: /cgi-bin
Disallow: /wp-admin
Disallow: /feed/
Disallow: /comments/feed
Disallow: /trackback
Disallow: /comments
Disallow: /?s=
Disallow: /page/
Disallow: /*/page/
Disallow: /category/*/page/
Disallow: /tag/*/page/
Sitemap: http://hinine.com/sitemap.xml

发表评论

电子邮件地址不会被公开。 必填项已用*标注