网站robots文件怎么正确书写
本课程视频是VIP会员课程,学习请进入VIP学习区。
老师请教一下,robots文件是什么?网站的robots.txt文件应该怎样写呢?
robots文件简单的来说就是给你的网站做一个权限清单,一般是针对做SEO优化的。在这个文件里面写上哪些文件、哪些形式的链接允许搜索引擎抓取,哪些不允许。(详细见:什么是robots协议)
robots.txt文件写法一般可以这样写:
User-agent: *
Disallow:/*?*
那么网站程序robots.txt文件放在哪个目录呢?
可在先在自己的电脑桌面上新建一个robots.txt,里面放上上面的代码,然后将这个文件上传到自己的空间根目录下即可。