搜索爬行原理
最近，我们的一位用户问我们如何阻止搜索引擎抓取和索引他们的 WordPress 网站？在很多情况下，您都希望阻止搜索引擎抓取您的网站或将其列在搜索结果中。在本文中，我们将向您展示如何阻止搜索引擎抓取 WordPress 网站。
最近，我们的一位用户问我们如何阻止搜索引擎抓取和索引 WordPress 网站？在许多情况下，您希望阻止搜索引擎抓取您的网站或将其列在搜索结果中。在本文中，我们将向您展示如何阻止搜索引擎抓取您的 WordPress 网站。
为什么和谁想要停止搜索引擎 （Why and Who Would Want to Stop Search Engines）
对于大多数网站来说，搜索引擎是最大的流量来源。您可能会问，为什么有人想要阻止搜索引擎？
对于大多数网站来说，搜索引擎是最大的流量来源。您可能会问，为什么有人会屏蔽搜索引擎？
When starting out, a lot of people don’t know how to create a 本地开发环境 or 暂存站点. If you’re developing your website live on a publicly accessible 域名, then you likely don’t want Google to index your under construction or maintenance mode page.
刚开始时，很多人都不知道如何创建本地开发环境或暂存地点 。 如果您要使用公开的域名来开发网站，那么您可能不希望Google为您的在建或维护模式页面编制索引。
There are also many people who use WordPress to create 私人博客, and they don’t want those indexed in search results because they’re private.
也有许多人使用WordPress创建私人博客 ，并且他们不希望将它们编入搜索结果中，因为它们是私人博客 。
Also some people use WordPress for 项目管理 or 内联网, and you wouldn’t want your internal documents being publicly accessible.
还有一些人使用WordPress进行项目管理或内联网 ，并且您不希望内部文档可以公开访问。
在上述所有情况下，您可能不希望搜索引擎索引您的网站。
在上述所有情况下，您可能不希望搜索引擎对您的网站建立索引。
一个常见的误解是，如果我没有指向我的域的链接，那么搜索引擎可能永远不会找到我的网站。这并不完全正确。
一个常见的误解是，如果我没有指向我的域的链接，搜索引擎可能永远找不到我的网站。这并不完全正确。
搜索引擎可以通过多种方式找到链接到其他地方的网站。例如：
搜索引擎可以通过多种方式找到链接到其他地方的网站。例如：
- Your domain name could have been previously owned by someone else, and they still have some links pointing to your website now. 您的域名以前可能是其他人拥有的，但他们现在仍有一些指向您网站的链接。
- Some domain search site’s results could get indexed with your link on them. 某些域搜索网站的结果可能会在您的链接上被索引。
- There are literally thousands of pages with just list of domain names, your site can appear on one of those. 实际上，有数千个页面仅列出了域名列表，您的网站可以显示在其中之一上。
网络上发生了很多事情，其中大多数都不受您的控制。但是，您的网站仍然在您的控制之下，您可以指示搜索引擎不索引或关注您的网站。
网络上发生了很多事情，其中大部分都超出了您的控制范围。但是，您的网站仍然在您的控制之下，您可以指示搜索引擎不要索引或关注您的网站。
影片教学 （Video Tutorial）
如果您不喜欢该视频或需要更多说明，请继续阅读。
如果您不喜欢该视频或需要更多说明，请继续阅读。
阻止搜索引擎爬行和索引您的WordPress网站 （Blocking Search Engines from Crawling and Indexing Your WordPress Site）
WordPress comes with a built-in feature that allows you to instruct search engines not to index your site. All you need to do is visit 设置 » 阅读 and check the box next to Search Engine Visibility option.
WordPress具有内置功能，可让您指示搜索引擎不要为您的网站编制索引。 您所需要做的就是访问“设置»阅读”，然后选中“搜索引擎可见性”选项旁边的框。
选中此框后，WordPress 会将此行添加到您网站的标题中：
选中此框后，WordPress 会将此行添加到您的网站标题中：
<meta name='robots' content='noindex,follow' />
WordPress also modifies your site’s 机器人.txt file and add these lines to it:
WordPress还修改了您网站的机器人.txt文件，并在其中添加了以下一些行：
User-agent: *
Disallow: /
这些行要求机器人（网络爬虫）不要为您的页面建立索引。然而，搜索引擎是否接受此请求或忽略它完全取决于搜索引擎。尽管大多数搜索引擎都尊重这一点，但您网站上的某些页面或随机图像可能会被编入索引。
这些行要求机器人（网络爬虫）不要为您的页面建立索引。然而，是否接受这个请求完全由搜索引擎决定。尽管大多数搜索引擎都尊重这一点，但您网站上的某些页面或随机图像仍可能被编入索引。
如何确保您的网站没有出现在搜索结果中？ （How to Make Sure Your Site Doesn’t Appear in Search Results?）
默认的 WordPress 可见性设置指示搜索引擎不要为您的网站建立索引。但是，搜索引擎最终可能仍会从您的网站抓取页面、文件或图像并为其编制索引。
默认 WordPress 可见性设置指示搜索引擎不要为您的网站建立索引。但是，搜索引擎最终可能仍会对您网站上的页面、文件或图像进行爬网和索引。
确保搜索引擎根本不会索引或抓取您的网站的唯一方法是在服务器级别使用密码保护您的整个 WordPress 网站。
确保搜索引擎根本不会索引或抓取您的网站的唯一方法是在服务器级别对整个 WordPress 网站进行密码保护。
这意味着当任何人尝试访问您的网站时，甚至在访问 WordPress 之前都会要求他们提供用户名和密码。这也包括搜索引擎。登录失败后，他们会显示 401 错误，并且机器人会转身离开。以下是如何使用密码保护整个 WordPress 网站。
这意味着当任何人尝试访问您的网站时，他们在访问 WordPress 之前都会被要求输入用户名和密码。这也包括搜索引擎。登录失败后，将显示 401 错误并且机器人将关闭。这是用密码保护整个 WordPress 网站的方法。
方法1：使用cPanel密码保护整个站点 （Method 1: Password Protecting an Entire Site using cPanel）
If your WordPress 托管提供商 offers cPanel access to manage your hosting account, then you can protect your entire site using cPanel. All you have to do is log in to your cPanel dashboard and then click on ‘Password Protect Directories’ icon under the ‘Security’ section.
如果您的WordPress 托管提供商提供cPanel访问权限来管理您的托管帐户，那么您可以使用cPanel保护整个网站。 您要做的就是登录cPanel仪表板，然后单击“安全性”部分下的“密码保护目录”图标。
接下来，您需要选择安装 WordPress 的文件夹。通常，它是 public_html 文件夹。
接下来，您需要选择安装 WordPress 的文件夹。通常，它是 public_html 文件夹。
如果您在 public_html 目录下安装了多个 WordPress 站点，那么您需要单击文件夹图标来浏览并选择您想要密码保护的网站的文件夹。
如果您在 public_html 目录下安装了多个 WordPress 站点，则需要单击文件夹图标来浏览并选择要使用密码保护的站点的文件夹。
在下一个屏幕上，您需要输入受保护目录的名称，然后单击“保存”按钮。
在下一个屏幕上，您需要输入受保护目录的名称，然后单击“保存”按钮。
您的信息将被保存，cPanel 将重新加载页面。之后，您需要通过输入用户名和密码来添加授权用户。
您的信息将被保存，cPanel 将重新加载页面。之后，您需要输入用户名和密码来添加授权用户。
就这样，您已经成功为您的 WordPress 网站添加了密码保护。
就这样，您已经成功为您的 WordPress 网站添加了密码保护。
现在，每当用户或搜索引擎访问您的网站时，系统都会提示他们输入您之前创建的用户名和密码来查看该网站。
现在，每当用户或搜索引擎访问您的网站时，系统都会提示他们输入您之前创建的用户名和密码来查看该网站。
方法2：使用插件对WordPress进行密码保护 （Method 2: Password Protecting WordPress with a Plugin）
If you are using a WordPress 托管 solution, sometimes you don’t have access to cPanel.
如果您使用的是WordPress 托管解决方案，则有时您无权访问cPanel。
在这种情况下，您可以选择使用不同的 WordPress 插件来密码保护您的网站。以下是两种最流行的解决方案：
在这种情况下，您可以选择使用其他 WordPress 插件来密码保护您的网站。以下是两个最流行的解决方案：
- 种子产品 – it’s the #1 coming soon and maintenance mode plugin for WordPress, used on over 800,000+ websites. It comes with complete access control and permissions features that you can use to hide your website from everyone including search engines. We have a step by step SeedProd 操作指南.
- 种子产品 –这是即将推出的＃1和WordPress维护模式插件，已在超过80万个网站上使用。 它具有完整的访问控制和权限功能，可用于对所有人(包括搜索引擎)隐藏您的网站。 我们对于种子产品提供了逐步指导 。
- 密码保护密码保护如何使用密码保护 WordPress 网站.如何使用密码保护 WordPress 网站步指南。
We hope this article helped you stop search engines from crawling or indexing your WordPress site. You may also want to see our ultimate step by step WordPress 安全指南 for beginners.
我们希望本文能帮助您阻止搜索引擎抓取或索引WordPress网站。 您可能还想看看我们针对初学者的终极逐步WordPress 安全指南 。
If you liked this article, then please subscribe to our YouTube 频道 for WordPress video tutorials. You can also find us on 推特 and Facebook.
如果您喜欢这篇文章，请订阅我们的YouTube 频道 WordPress视频教程。 您也可以在推特和Facebook上找到我们。
搜索爬行原理