搜索引擎优化机器人
最近，我们的一位读者向我们询问如何优化 robots.txt 文件以改进 SEO。 Robots.txt 文件告诉搜索引擎如何抓取您的网站，这使其成为一个非常强大的 SEO 工具。在本文中，我们将向您展示如何为 SEO 创建完美的 robots.txt 文件。
最近，我们的一位读者向我们询问如何优化 robots.txt 文件以改进 SEO。 Robots.txt 文件告诉搜索引擎如何抓取您的网站，使其成为强大的 SEO 工具。在本文中，我们将向您展示如何为 SEO 创建完美的 robots.txt 文件。
什么是robots.txt文件？ （What is robots.txt file?）
Robots.txt 是网站所有者可以创建的文本文件，用于告诉搜索引擎机器人如何抓取其网站上的页面并为其建立索引。
Robots.txt 是网站所有者可以创建的文本文件，用于告诉搜索引擎机器人如何抓取其网站上的页面并为其建立索引。
它通常存储在根目录中，也称为网站的主文件夹。 robots.txt 文件的基本格式如下所示：
它通常存储在根目录（也称为网站的主文件夹）中。 robots.txt文件的基本格式如下：
User-agent: [user-agent name]
Disallow: [URL string not to be crawled]
User-agent: [user-agent name]
Allow: [URL string to be crawled]
Sitemap: [URL of your XML Sitemap]
您可以使用多行指令来允许或禁止特定 URL 并添加多个站点地图。如果您不禁止某个 URL，那么搜索引擎机器人就会假定它们可以抓取该 URL。
您可以使用多行指令来允许或禁止特定 URL 并添加多个站点地图。如果您不禁用某个 URL，搜索引擎机器人将假定它们可以抓取该 URL。
robots.txt 示例文件如下所示：
示例 robots.txt 文件如下所示：
User-Agent: *
Allow: /wp-content/uploads/
Disallow: /wp-content/plugins/
Disallow: /wp-admin/
Sitemap: https://example.com/sitemap_index.xml
在上面的 robots.txt 示例中，我们允许搜索引擎抓取 WordPress 上传文件夹中的文件并为其建立索引。
在上面的 robots.txt 示例中，我们允许搜索引擎抓取 WordPress 上传文件夹中的文件并为其建立索引。
之后，我们禁止搜索机器人抓取和索引插件以及 WordPress 管理文件夹。
之后，我们禁用搜索机器人抓取和索引插件以及 WordPress 管理文件夹。
最后，我们提供了 XML 站点地图的 URL。
最后，我们提供 XML 站点地图的 URL。
您是否需要WordPress网站的Robots.txt文件？ （Do You Need a Robots.txt File for Your WordPress Site?）
如果您没有 robots.txt 文件，搜索引擎仍会抓取您的网站并为其建立索引。但是，您将无法告诉搜索引擎它们不应抓取哪些页面或文件夹。
如果您没有 robots.txt 文件，搜索引擎仍会抓取您的网站并为其编制索引。但是，您将无法告诉搜索引擎它们不应该抓取哪些页面或文件夹。
This will not have much of an impact when you’re first 开始写博客 and do not have a lot of content.
当您第一次创建博客且内容不多时，这不会产生太大影响。
然而，随着您的网站不断发展并且内容越来越多，您可能希望更好地控制网站的抓取和索引方式。
但是，随着您的网站不断发展且内容变得更加丰富，您可能希望更好地控制网站的爬网和索引方式。
这就是原因。
这就是为什么。
搜索机器人对每个网站都有抓取配额。
搜索机器人对每个网站都有抓取配额。
这意味着他们在抓取会话期间抓取一定数量的页面。如果他们没有完成对您网站上所有页面的抓取，那么他们将返回并在下一个会话中继续抓取。
这意味着他们在抓取会话期间抓取一定数量的页面。如果他们尚未完成对您网站上所有页面的抓取，他们将返回并在下一个会话中继续抓取。
这可能会降低您网站的索引速度。
这可能会降低您网站的索引率。
您可以通过禁止搜索机器人尝试抓取不必要的页面（例如 WordPress 管理页面、插件文件和主题文件夹）来解决此问题。
您可以通过禁止搜索机器人尝试抓取不必要的页面（例如 WordPress 管理页面、插件文件和主题文件夹）来解决此问题。
通过禁止不必要的页面，您可以节省抓取配额。这有助于搜索引擎抓取您网站上的更多页面并尽快将其编入索引。
通过禁止不必要的页面，您可以节省抓取配额。这有助于搜索引擎抓取您网站上的更多页面并将其编入索引。
Another good reason to use robots.txt file is when you want to 阻止搜索引擎对帖子或页面建立索引 on your website.
使用robots.txt文件的另一个很好的理由是，当您要停止搜索引擎将网站上当帖子或页面被索引时 。
这不是向公众隐藏内容的最安全方法，但它将帮助您防止它们出现在搜索结果中。
这不是向公众隐藏内容的最安全方法，但它将帮助您防止您的内容显示在搜索结果中。
理想的Robots.txt文件应该是什么样的？ （What Does an Ideal Robots.txt File Should Look Like?）
许多流行的博客都使用非常简单的 robots.txt 文件。它们的内容可能会有所不同，具体取决于特定站点的需求：
许多流行的博客都使用非常简单的 robots.txt 文件。它们的内容可能会根据特定站点的需求而有所不同：
User-agent: *
Disallow:
Sitemap: http://www.example.com/post-sitemap.xml
Sitemap: http://www.example.com/page-sitemap.xml
This robots.txt file allows all bots to index all content and provides them a link to the website’s XML 站点地图.
该robots.txt文件允许所有漫游器将所有内容编入索引，并为它们提供网站XML站点地图的链接。
对于 WordPress 网站，我们建议在 robots.txt 文件中遵循以下规则：
对于 WordPress 网站，我们建议在 robots.txt 文件中使用以下规则：
User-Agent: *
Allow: /wp-content/uploads/
Disallow: /wp-content/plugins/
Disallow: /wp-admin/
Disallow: /readme.html
Disallow: /refer/
Sitemap: http://www.example.com/post-sitemap.xml
Sitemap: http://www.example.com/page-sitemap.xml
这告诉搜索机器人索引所有 WordPress 图像和文件。它禁止搜索机器人对 WordPress 插件文件、WordPress 管理区域、WordPress 自述文件和附属链接进行索引。
告诉搜索引擎索引所有 WordPress 图像和文件。它不允许搜索引擎索引 WordPress 插件文件、WordPress 管理区域、WordPress 自述文件和附属链接。
通过将站点地图添加到 robots.txt 文件，您可以让 Google 机器人轻松找到您网站上的所有页面。
通过将站点地图添加到 robots.txt 文件，您可以让 Google 机器人轻松找到您网站上的所有页面。
现在您已经知道理想的 robots.txt 文件是什么样子了，让我们看看如何在 WordPress 中创建 robots.txt 文件。
现在您已经知道理想的 robots.txt 文件是什么样子了，让我们看看如何在 WordPress 中创建 robots.txt 文件。
如何在WordPress中创建Robots.txt文件？ （How to Create a Robots.txt File in WordPress?）
在 WordPress 中创建 robots.txt 文件有两种方法。您可以选择最适合您的方法。
在 WordPress 中创建 robots.txt 文件有两种方法。您可以选择最适合您的方法。
方法1：使用Yoast SEO编辑Robots.txt文件
方法 1：使用 Yoast SEO 编辑 Robots.txt 文件
If you are using the 优斯特搜索引擎优化 plugin, then it comes with a robots.txt file generator.
如果您使用的是优斯特搜索引擎优化插件，则它带有robots.txt文件生成器。
您可以使用它直接从 WordPress 管理区域创建和编辑 robots.txt 文件。
您可以使用它直接在 WordPress 管理区域中创建和编辑 robots.txt 文件。
Simply go to 搜索引擎优化 » 工具 page in your WordPress admin and click on the File Editor link.
只需转到WordPress管理员中的搜索引擎优化 » 工具页面，然后单击文件编辑器链接。
在下一页上，Yoast SEO 页面将显示您现有的 robots.txt 文件。
在下一页上，Yoast SEO 页面将显示您现有的 robots.txt 文件。
如果您没有 robots.txt 文件，那么 Yoast SEO 将为您生成一个 robots.txt 文件。
如果您没有 robots.txt 文件，Yoast SEO 将为您生成一个 robots.txt 文件。
默认情况下，Yoast SEO 的 robots.txt 文件生成器会将以下规则添加到您的 robots.txt 文件中：
默认情况下，Yoast SEO 的 robots.txt 文件生成器会将以下规则添加到您的 robots.txt 文件中：
User-agent: *
Disallow: /
It is 重要的 that you delete this text because it blocks all search engines from crawling your website.
删除此文本很重要的 ，因为它会阻止所有搜索引擎爬网您的网站。
删除默认文本后，您可以继续添加自己的 robots.txt 规则。我们建议使用上面分享的理想 robots.txt 格式。
删除默认文本后，您可以继续添加自己的 robots.txt 规则。我们建议使用上面分享的理想 robots.txt 格式。
完成后，不要忘记单击“保存 robots.txt 文件”按钮来存储您的更改。
完成后，不要忘记单击“保存 robots.txt 文件”按钮来存储您的更改。
方法 2. 使用 FTP 手动编辑 Robots.txt 文件
方法 2. 使用 FTP 手动编辑 Robots.txt 文件
For this method, you will need to 使用 FTP 客户端 to edit robots.txt file.
对于这种方法，您将需要使用 FTP 客户端来编辑robots.txt文件。
Simply connect to your WordPress 托管 account using an FTP client.
只需使用FTP客户端连接到您的WordPress 托管帐户即可。
进入后，您将能够在网站的根文件夹中看到 robots.txt 文件。
进入后，您将能够在网站的根文件夹中看到 robots.txt 文件。
如果您没有看到，那么您可能没有 robots.txt 文件。在这种情况下，您可以继续创建一个。
如果您看不到它，则可能没有 robots.txt 文件。在这种情况下，您可以继续创建一个。
Robots.txt 是一个纯文本文件，这意味着您可以将其下载到计算机上并使用记事本或 TextEdit 等任何纯文本编辑器进行编辑。
Robots.txt 是一个纯文本文件，这意味着您可以将其下载到计算机上并使用任何纯文本编辑器（例如记事本或 TextEdit）进行编辑。
保存更改后，您可以将其上传回网站的根文件夹。
保存更改后，您可以将它们上传回网站的根文件夹。
如何测试您的Robots.txt文件？ （How to Test Your Robots.txt File?）
创建 robots.txt 文件后，最好使用 robots.txt 测试工具对其进行测试。
创建 robots.txt 文件后，最好使用 robots.txt 测试工具对其进行测试。
There are many robots.txt tester tools out there, but we recommend using the one inside 谷歌搜索控制台.
那里有很多robots.txt测试仪工具，但我们建议您使用谷歌搜索控制台的一个。
只需登录您的 Google Search Console 帐户，然后切换到旧的 Google Search Console 网站即可。
只需登录您的 Google Search Console 帐户并切换到旧的 Google Search Console 网站即可。
这将带您进入旧的 Google Search Console 界面。从这里，您需要启动位于“爬行”菜单下的 robots.txt 测试工具。
这将带您进入旧的 Google Search Console 界面。从这里，您需要启动“爬网”菜单下的 robots.txt 测试工具。
该工具将自动获取您网站的 robots.txt 文件，并突出显示错误和警告（如果发现）。
该工具将自动获取您网站的 robots.txt 文件，并突出显示发现的错误和警告。
最后的想法 （Final Thoughts）
优化 robots.txt 文件的目的是防止搜索引擎抓取非公开的页面。例如，wp-plugins 文件夹中的页面或 WordPress 管理文件夹中的页面。
优化robots.txt文件的目的是防止搜索引擎抓取未列出的页面。例如，wp-plugins 文件夹中的页面或 WordPress admin 文件夹中的页面。
SEO 专家的一个常见误区是，阻止 WordPress 类别、标签和存档页面将提高抓取速度，并导致更快的索引和更高的排名。
SEO 专家的一个常见误区是，阻止 WordPress 类别、标签和存档页面将提高抓取速度，并导致更快的索引和更高的排名。
这不是真的。这也违反了谷歌的网站管理员指南。
这不是真的。这也违反了 Google 网站管理员指南。
我们建议您按照上述 robots.txt 格式为您的网站创建 robots.txt 文件。
我们建议您为您的网站创建一个遵循上述 robots.txt 格式的 robots.txt 文件。
We hope this article helped you learn how to optimize your WordPress robots.txt file for SEO. You may also want to see our WordPress SEO 终极指南 and the 最好的 WordPress SEO 工具 to grow your website.
我们希望本文能帮助您学习如何针对SEO优化WordPress robots.txt文件。 您可能还想查看我们的WordPress SEO 终极指南和最好的 WordPress SEO 工具，以发展您的网站。
If you liked this article, then please subscribe to our YouTube 频道 for WordPress video tutorials. You can also find us on 推特 and Facebook.
如果您喜欢这篇文章，请订阅我们的YouTube 频道 WordPress视频教程。 您也可以在推特和Facebook上找到我们。
翻译自: https://www.wpbeginner.com/wp-tutorials/how-to-optimize-your-wordpress-robots-txt-for-seo/
搜索引擎优化机器人