优化WordPress网站robots协议,并通过Rank Math添加管理

Robots协议就是搜索引擎爬取网站要遵守的协议和标准,也叫做爬虫协议、机器人协议等。有了robots协议,就可以让搜索引擎派出的爬虫机器人知道,我们的网站中哪些网页内容可以抓取,哪些网页内容是不能抓取。设置好robots协议不仅有利于网站SEO,也可以通过协议有效避免不必要的抓取从而减轻服务器的负担。我们通常通过在网站根目录添加robots.txt文件来存放爬虫协议。本文主要分享下如何通过Rank Math这个SEO优化插件来优化并添加robots协议。

1.WordPress默认robots协议

wordpress默认的规则协议比较简陋,规则有些少,很多内容我们是不建议搜索引擎搜索的,比如后台wp-admin等

User-agent: *
Disallow: /wp-admin/
Disallow: /wp-includes/
Allow: /wp-admin/admin-ajax.php

2.优化后的robots协议

以下是网上各位大神总结优化后的robots协议,可以直接添加使用。其中红色部分要修改为你网站的sitemap地址。

User-agent: *
Allow: /wp-content/uploads/
Allow: /*.html$
Allow: /*.png$
Allow: /*.jpg$
Allow: /*.jepg$
Allow: /*.gif$
Allow: /*.bmp$
Disallow: /wp-admin/
Disallow: /wp-login.php
Disallow: /wp-includes/
Disallow: /wp-content/plugins
Disallow: /wp-content/themes
Disallow: /wp-config-sample.php
Disallow: /refer/
Disallow: /search/
Disallow: /trackback/
Disallow: /comments/
Disallow: /attachment/
Disallow: /comments/feed
Disallow: /feed
Disallow: /*/feed
Disallow: /*/comment-page-*
Disallow: /*?replytocom=*
Disallow: /*/trackback
Disallow: /?s=*
Disallow: /*/?s=*\
Disallow: /wp-*.php
Disallow: /go.php?url=*

Sitemap:https://yourdomain.com/sitemap_index.xml
Sitemap:https://yourdomain.com/post-sitemap.xml
Sitemap:https://yourdomain.com/page-sitemap.xml
Sitemap:https://yourdomain.com/product-sitemap.xml
Sitemap:https://yourdomain.com/category-sitemap.xml

3.Rank Math添加设置robots协议

登录WordPress网站后台》点击Rank Math》General Settings》Edit robots.txt

在设置窗口直接复制粘贴上面优化的robots协议,sitemap地址记得改成你自己的网站地图

最后点击【Save changes】即可

Rank Math添加robots协议

4.查看网站robots协议

在浏览器窗口输入https://yourdomain.com/robots.text即可以看到网站的robots协议

网站robots协议查看

最后总结

网站robots协议对于我们网站SEO优化还是非常重要的,值得重视,特别是很多新手站长往往忽视这个文件。如果你没有安装Rank Math这款SEO插件,也可以自己创建一个robots.txt的文件,粘贴好上面的robots协议规则,然后上传到网站根目录即可。当然其他类似的SEO插件,比如Yoast SEO插件基本也提供robots管理功能。方法是一样的。

本文作者:自由超
本文标题:《优化WordPress网站robots协议,并通过Rank Math添加管理》
本文链接:https://zyc420.com/3787.html
发布日期:2022年03月31日 21:41:04
更新日期:2024年03月06日 20:23:05
版权声明:除特殊注明,均为作者原创内容,遵守CC-BY-NC 4.0版权协议,转发请保留原文链接!
免责声明:文中如涉及第三方资源,均来自互联网,仅供学习研究,禁止商业使用,如有侵权,联系我们24小时内删除!
分享给更多人