广东涉外经济职业技术学院_网站还没准备好如何让它暂时不要被

作者: seo 分类: 黑帽seo 发布时间: 2019-07-05 19:54

  什么情况下,不想让网站被百度收录?显然是网站还没准备好。很多时候,我们做网站喜欢在线做。在线做的好处就是客户可以随时看到我们做网站的进度。坏处就是在还没有做好的时候,就被百度索引了。一旦被索引,更新索引就需要一段时间。

  在WordPress后台,有个设置(settings),里面有个阅读,勾选“建议搜索引擎不索引本站点”。

  一个robots.txt文件是由搜索引擎蜘蛛阅读并遵循严格的语法的文本文件。这些蜘蛛也被称为机器人 - 正如其名 - 文件的语法是严格的,因为它必须是计算机可读的。这意味着这里没有错误的余地 - 有些是1或0。

  该robots.txt文件也称为“机器人排除协议”,是早期搜索引擎蜘蛛开发者达成共识的结果。它不是任何标准组织设定的官方标准,但所有主要搜索引擎都遵守它。

  搜索引擎通过抓取页面,从站点A到站点B到站点C的链接来索引Web,以此类推。在搜索引擎抓取该网站之前会先读robots.txt文件,该文件告诉搜索引擎允许该站点上的哪些URL可以索引。搜索引擎会缓存内容robots.txt,但通常会每天刷新几次,因此更改会很快反映出来。

  该文件存放在网站根目录下,也就是说你必须可以使用 你的域名/robots.txt 可以在浏览器打开。

  User-agent可以指定搜索引擎的蜘蛛名称。如果*,则表示针对所有搜索引擎的。Disallow是指不允许抓取的目录。斜杠表示从根目录就不允许抓取。

如果觉得我的文章对您有用,请随意打赏。您的支持将鼓励我继续创作!