WordPress 网站禁止搜索引擎收录

创建 robots.txt 文件,加入如下内容即可:

User-agent: *
Disallow: /
ShellScript

如果是想禁止百度收录,那么只需要按照如下设置即可:

User-agent: Baiduspider
Disallow: /
ShellScript

WordPress的设置——阅读中可以在 对搜索引擎的可见性 这里勾选上,不过这也只是建议搜索引擎不要收录,至于到底收录与否,还要看搜索引擎是否愿意接受这个建议。

最后,附上 robots.txt 的指令语法:每条记录均由 字段: 值 组成

  • User-agent:用于指定指令所作用于的目标抓取工具(网络蜘蛛),后接抓取工具名称;
  • Disallow:指定不允许抓取的目录或网页,后面为空则表示允许抓取一切页面;
  • Allow:指定允许抓取的目录或网页;
  • Sitemap:站点地图的位置,必须是绝对路径;
  • *:表示通配符;
  • $:表示网址结束;
  • /:匹配根目录以及任何下级网址。
点赞

发表回复

电子邮件地址不会被公开。必填项已用 * 标注