最近，我们的一位用户问我们如何阻止搜索引擎抓取和索引他们的 WordPress 网站？在许多情况下，您希望阻止搜索引擎抓取您的网站或将其列在搜索结果中。在本文中，我们将向您展示如何阻止搜索引擎抓取 WordPress 网站。
为什么以及谁想要停止搜索引擎
对于大多数网站来说，搜索引擎是最大的流量来源。你可能会问，为什么有人要屏蔽搜索引擎？
刚开始时，很多人不知道如何创建本地开发环境或临时站点。如果您在可公开访问的域名上实时开发您的网站，那么您可能不希望 Google 将您的建设中或维护模式页面编入索引。
也有很多人使用 WordPress 创建私人博客，他们不希望那些在搜索结果中被索引，因为它们是私人的。
还有一些人使用 WordPress 进行项目管理或Intranet，您不希望您的内部文档可以公开访问。
在上述所有情况下，您可能不希望搜索引擎为您的网站编制索引。
一个常见的误解是，如果我没有指向我的域的链接，那么搜索引擎可能永远找不到我的网站。这并不完全正确。
搜索引擎可以通过多种方式找到链接到其他地方的网站。例如：
您的域名以前可能为其他人所有，但他们现在仍有一些链接指向您的网站。
某些域搜索站点的结果可能会通过您的链接被编入索引。
实际上有数千个页面只有域名列表，您的网站可以出现在其中之一上。
网络上发生了很多事情，其中大部分都不受您的控制。但是，您的网站仍然在您的控制之下，您可以指示搜索引擎不要索引或关注您的网站。
视频教程
订阅 WPBeginner
如果您不喜欢该视频或需要更多说明，请继续阅读。
阻止搜索引擎抓取和索引您的 WordPress 网站
WordPress 带有一个内置功能，可让您指示搜索引擎不要索引您的网站。您需要做的就是访问设置»阅读并选中搜索引擎可见性选项旁边的框。
选中此框后，WordPress 会将此行添加到您网站的标题中：
WordPress 还会修改您网站的robots.txt文件并将以下行添加到其中：
User-agent: *Disallow: /
这些行要求机器人（网络爬虫）不要索引您的页面。但是，完全取决于搜索引擎接受或忽略此请求。尽管大多数搜索引擎都尊重这一点，但您网站中的某些页面或随机图像可能会被编入索引。
如何确保您的网站不出现在搜索结果中？
默认的 WordPress 可见性设置指示搜索引擎不要索引您的网站。但是，搜索引擎最终可能仍会从您的网站抓取页面、文件或图像并将其编入索引。
确保搜索引擎根本不索引或抓取您的网站的唯一方法是通过密码在服务器级别保护您的整个 WordPress 网站。
这意味着当任何人试图访问您的网站时，他们甚至在访问 WordPress 之前都会被要求提供用户名和密码。这也包括搜索引擎。登录失败后，它们会显示 401 错误并且机器人会转身离开。以下是如何使用密码保护整个 WordPress 网站。
方法 1：使用 cPanel 密码保护整个站点
如果您的WordPress 托管服务提供商提供 cPanel 访问权限来管理您的托管帐户，那么您可以使用 cPanel 保护您的整个网站。您所要做的就是登录到您的 cPanel 仪表板，然后单击“安全”部分下的“密码保护目录”图标。
接下来，您需要选择安装 WordPress 的文件夹。通常，它是 public_html 文件夹。
如果您在 public_html 目录下安装了多个 WordPress 站点，则需要单击文件夹图标来浏览并选择要密码保护的网站的文件夹。
在下一个屏幕上，您需要输入受保护目录的名称，然后单击“保存”按钮。
您的信息将被保存，cPanel 将重新加载页面。之后，您需要通过输入用户名和密码来添加授权用户。
就是这样，您已经成功地为您的 WordPress 网站添加了密码保护。
现在，每当用户或搜索引擎访问您的网站时，系统都会提示他们输入您之前创建的用户名和密码以查看该网站。
方法2：使用插件密码保护WordPress
如果您使用托管 WordPress 托管解决方案，有时您无法访问 cPanel。
在这种情况下，您可以选择使用不同的 WordPress 插件来密码保护您的网站。以下是两个最流行的解决方案：
SeedProd – 这是即将推出的排名第一的 WordPress 维护模式插件，已在超过 800,000 个网站上使用。它具有完整的访问控制和权限功能，您可以使用这些功能对包括搜索引擎在内的所有人隐藏您的网站。我们有 SeedProd 的分步操作指南。
密码保护– 这是一种非常简单的密码保护您的 WordPress 网站的方法，只需一个密码（无需创建用户）。请参阅我们的分步指南，了解如何使用密码保护 WordPress 网站。
我们希望这篇文章能帮助您阻止搜索引擎抓取或索引您的 WordPress 网站。您可能还想查看我们针对初学者的最终一步一步的WordPress 安全指南。