零基础建站培训介绍

当前位置:

网站ROBOTS文件怎么写

作用:告诉搜索引擎蜘蛛,哪些页面是可以爬行的,哪些是不可以爬行的。

写法

允许抓取所有页面


User-agent: *
Disallow:

不允许抓取所有页面


User-agent: *
Disallow:/

不允许抓取动态页面 不允许抓取某个目录


User-agent: *
Disallow:/*?*
Disallow:/vip/
上一课: 下一课:

发表回复

您的电子邮箱地址不会被公开。 必填项已用 * 标注

相关教程

  • 学做网站论坛承接全国各地网站制作。 学做网站论坛官网承接各类个人,企业,公司,集团,政府用户网站制作,价格公道,品质保证。
  • 有些刚刚创业的客户在资金或者还没有准备充足营业执照还没办下来的情况下是否可以做网站呢?小编告诉您做网站有没有营业执照都不会有什么影响的,
  • 问题:我想去弄个自己网站,怎么弄简单又快速?其实我做的也比较简单,就想像下面这样的网站就行,自己怎么弄呢?答:耐思尼克-欣为您解
  • 网站ROBOTS文件怎么写 (13895 次浏览)
    作用:告诉搜索引擎蜘蛛,哪些页面是可以爬行的,哪些是不可以爬行的。写法允许抓取所有页面[cce_html]User-agent: *Disallow:[/cce_html]
  • HTML是什么文件?HTML是一种超文本标记语言或超文本链接标示语言,HTML是一种制作万维网页面的标准语言,是万维网浏览器使用的一种语言,它消除了
  • 大家都知道如果黑客入侵我们的网站后,他们是可以肆意的在上面搭载钓鱼页面,传播恶意软件,盗取敏感信息等,这特别不利于我们网站。垃圾内容和黑
  • Z-Blog是由RainbowSoft Studio开发的一款小巧而强大的基于Asp平台的Blog程序。采用模板标签的方式,只要你会HTML+CSS,就可以简单地做出一套主题。如