网站ROBOTS文件怎么写
作用:告诉搜索引擎蜘蛛,哪些页面是可以爬行的,哪些是不可以爬行的。
写法
允许抓取所有页面
User-agent: *
Disallow:
不允许抓取所有页面
User-agent: *
Disallow:/
不允许抓取动态页面 不允许抓取某个目录
User-agent: *
Disallow:/*?*
Disallow:/vip/
作用:告诉搜索引擎蜘蛛,哪些页面是可以爬行的,哪些是不可以爬行的。
写法
允许抓取所有页面
User-agent: *
Disallow:
不允许抓取所有页面
User-agent: *
Disallow:/
不允许抓取动态页面 不允许抓取某个目录
User-agent: *
Disallow:/*?*
Disallow:/vip/