学做网站培训课程介绍

当前位置：

如何屏蔽搜索引擎抓取网站内容

问题：

我们网站内容不想让百度抓取，我们可以通过设置我们网站的robots.txt文件，这个文件内容该怎么写呢？

答案： 
robots.txt文件是一个网站权限文件，它可以告诉搜索引擎哪个文件可以抓取，哪个不可以抓取。
如果不想让搜索引擎抓取你的网站，可以在robots.txt文件里这样写：
User-agent: *
Disallow:/

更多robots.txt文件写法：http://www.xuewangzhan.net/zichu/483.html

回答后可见正确答案！立即回答

《“如何屏蔽搜索引擎抓取网站内容”》 有 3 条评论

  1. 学习建网站学员 张晓斌说道：
    2019年7月2日 下午12:55

    忘记了

    回复
  2. 学习建网站学员 小萍说道：
    2021年3月4日 下午2:54

    不知道

    回复
  3. 学习建网站学员 北京王克迪说道：
    2021年5月25日 下午11:19

    忘记了

    回复

发表评论

您的电子邮箱地址不会被公开。 必填项已用*标注

相关教程

  • Wordpress 垃圾留言屏蔽插件Akismet (19516 次浏览)
    我在本地搭建了个一WP网站，启用Akismet 这个插件的时候，说要注册一个Akismet API Key 我进去以后发现全是英文，我也看不懂，谁有教程呀。然后安装百
  • 如何在自己网站设置屏蔽右键防复制 图文教程 (19268 次浏览)
    很多网站原创的内容会被恶意复制，或者自己有版权的东西不希望被别人转载，可以在自己做网站时可以增加防复制，禁止右键的功能，也可以达到网站文章复
  • 各大搜索引擎收录提交入口（不断收集中……） (123817 次浏览)
    (特别全)网站收录提交链接及各大搜索引擎站长工具百度网站收录提交http://www.baidu.com/search/url_submit.html百度自动提交百
  • 以图搜图---3大相似图片搜索引擎 (122328 次浏览)
    以图搜图，顾名思义就是上传一张图片，网站搜索并显示与之类似的图片。对于我们草根站长来说，特别实用，怎么利用好它，就需要发挥你的想象力。1、T
  • 如何屏蔽搜索引擎抓取网站内容 (17370 次浏览)
    我们网站内容不想让百度抓取，我们可以通过设置我们网站的robots.txt文件，这个文件内容该怎么写呢？
  • ZBLOG实现指定分类下文章蜘蛛抓取正常用户404 (13256 次浏览)
    ZBLOG实现指定分类下文章蜘蛛抓取正常用户404，就是指定某个栏目下的文章，搜索蜘蛛抓取时是正常的，但普通用户浏览是404。可以通过判断代码来实现。
  • 如何将自己网站内容同步更新到微博 图文教程 (125315 次浏览)
    各类微博的流量很大，如果自己网站内容能够同步更新到自己的微博上，可以让更多的人看到自己网站上的内容了。如何将自己网站内容同步更新到微
  • wordpress网站实现游客隐藏、会员可见全部内容 图文教程 (117435 次浏览)
    提高网站的“回头客”，我们需要给注册会员提供一些特权，而对游客隐藏部分wordpress文章，因为有很多自己做网站vip学员问到，网站怎么实现游客隐藏、会

最新教程

热门教程