适合WordPress网站SEO优化的最佳ROBOTS写法

2018-10-1222:45:08 发表评论 123
摘要

robots.txt文件对于一个网站的重要性是SEOer必须知道的,robots协议是规范搜索引擎抓取的一种单方面协议,从某种意义来说搜索引擎可以不遵循这个协议

搜索引擎蜘蛛

robots.txt文件对于一个网站的重要性是SEOer必须知道的,robots协议是规范搜索引擎抓取的一种单方面协议,从某种意义来说搜索引擎可以不遵循这个协议,但是从目前来看,robots协议的有效性还是很大的。今天针对wordpress程序搭建的网站来说明一下利于seo优化的robots.txt的最佳写法。

WordPress

下面详细的解释一下每一条robots协议的意思:

【User-agent: *】开始配置 所有引擎

【Disallow: /wp-admin/】用于告诉搜索引擎不要抓取后台程序文件页面。

【Disallow: /wp-includes/】用于告诉搜索引擎不要抓取后台程序文件页面。

【Disallow: /wp-content/plugins】用于告诉搜索引擎不要抓取后台程序插件文件页面。

【Disallow: /wp-content/themes】用于告诉搜索引擎不要抓取后台程序模版文件页面。

【Disallow: /*?*】禁止搜索引擎抓取动态链接

【Disallow: /*/comment-page-*】禁止搜索引擎抓取评论分页等相关链接。

【Disallow: /*?replytocom=*】禁止搜索引擎抓取评论分页等相关链接。

【Disallow: /category/*/page/】禁止搜索引擎抓取收录分类和标签的分页。

【Disallow: /tag/*/page/】禁止搜索引擎抓取收录分类和标签的分页。

【Disallow: /*/trackback】禁止搜索引擎抓取收录trackback等垃圾信息

【Disallow: /feed】禁止搜索引擎抓取收录feed链接,feed只用于订阅本站,与搜索引擎无关。

【Disallow: /*/feed】禁止搜索引擎抓取收录feed链接,feed只用于订阅本站,与搜索引擎无关。

【Disallow: /comments/feed】禁止搜索引擎抓取收录feed链接,feed只用于订阅本站,与搜索引擎无关。

【Disallow: /?s=*】禁止搜索引擎抓取站内搜索结果

【Disallow: /*/?s=*\】禁止搜索引擎抓取站内搜索结果

【Disallow: /attachment/】禁止搜索引擎抓取附件页面,比如毫无意义的图片附件页面。

搜索引擎蜘蛛

当然,完美的robots.txt的写法格式当中还要有Sitemap(网站地图)的地址,这份协议或许并不适合所有的wordpress程序的网站,seo高手朋友都会根据自己的习惯进行robots细节上面的修改,对于seo基础还不是很扎实的朋友来说,可以参考一下这份robots.txt文件的写法。

avatar

发表评论

:?: :razz: :sad: :evil: :!: :smile: :oops: :grin: :eek: :shock: :???: :cool: :lol: :mad: :twisted: :roll: :wink: :idea: :arrow: :neutral: :cry: :mrgreen: