创建 robots.txt 文件,加入如下内容即可:
User-agent: *
Disallow: /
ShellScript如果是想禁止百度收录,那么只需要按照如下设置即可:
User-agent: Baiduspider
Disallow: /
ShellScriptWordPress的设置——阅读中可以在 对搜索引擎的可见性 这里勾选上,不过这也只是建议搜索引擎不要收录,至于到底收录与否,还要看搜索引擎是否愿意接受这个建议。
最后,附上 robots.txt 的指令语法:每条记录均由 字段: 值
组成
User-agent
:用于指定指令所作用于的目标抓取工具(网络蜘蛛),后接抓取工具名称;Disallow
:指定不允许抓取的目录或网页,后面为空则表示允许抓取一切页面;Allow
:指定允许抓取的目录或网页;Sitemap
:站点地图的位置,必须是绝对路径;*
:表示通配符;$
:表示网址结束;/
:匹配根目录以及任何下级网址。
更多精彩内容:各种技能学习课程、黑科技软件、网站小程序源码、副业小项目、电商课程、推广引流课程等,尽在 天边资源网 。