零基础建站培训介绍

当前位置：

htaccess屏蔽垃圾蜘蛛恶意抓取方法（附代码）

网站做成之后，会有很多的蜘蛛爬行和抓取网站内容，其中就有大量垃圾蜘蛛，它们会不停的抓取网站的内容，但不会给我们网站带来任意流量，这时，我们就可以把这些垃圾蜘蛛屏蔽掉。

下面是通过htaccess屏蔽垃圾蜘蛛恶意抓取方法和代码：



RewriteEngine on

RewriteCond %{HTTP_USER_AGENT} "^$|^-$|MSNbot|Webdup|AcoonBot|SemrushBot|CrawlDaddy|DotBot|Applebot|AhrefsBot|Ezooms|EdisterBot|EC2LinkFinder|jikespider|Purebot|MJ12bot|DingTalkBot|DuckDuckBot|WangIDSpider|WBSearchBot|Wotbox|xbfMozilla|Yottaa|YandexBot|Barkrowler|SeznamBot|Jorgee|CCBot|SWEBot|PetalBot|spbot|TurnitinBot-Agent|mail.RU|curl|perl|Python|Wget|Xenu|ZmEu|EasouSpider|YYSpider|python-requests|oBot|MauiBot" [NC]

RewriteRule !(^robots\.txt$) http://en.wikipedia.org/wiki/Robots_exclusion_standard [R=403,L]

将常见的垃圾蜘蛛名称都加进去，然后把这些代码放到htaccess里，就可以屏蔽垃圾蜘蛛的爬行了。

上一课: 下一课:

发表回复

您的电子邮箱地址不会被公开。 必填项已用 * 标注

相关教程

  • htaccess屏蔽垃圾蜘蛛恶意抓取方法（附代码） (111085 次浏览)
    网站做成之后，会有很多的蜘蛛爬行和抓取网站内容，其中就有大量垃圾蜘蛛，它们会不停的抓取网站的内容，但不会给我们网站带来任意流量，这时，我们就
  • 虚拟主机屏蔽IP地址的方法 图文教程 (15891 次浏览)
    学习了零基础建站教程，网站制作好之后，有些人会恶意去攻击我们的网站，特别是个人网站制作，经常受到攻击，致使网站打不开。这时的解决方法就是去屏
  • 百度快照直接跳转网站方法（怎么屏蔽百度快照） 图文教程 (112312 次浏览)
    有时候，因为内容的更改或者隐私问题，我们往往不希望别人通过“百度快照”的方法查看自己网站的某一些网页，这里提供了一段让百度快照失效的代码。
  • PHP如何判断百度、谷歌蜘蛛跳转其它网页 (112513 次浏览)
    网站制作好后，某些特殊原因，我们想让网站的某些页面进行特殊的跳转，例如如果是百度或者谷歌的搜索引擎蜘蛛就进行跳转到指定网页。这种跳转可以通过
  • PHP判断控制搜索引擎蜘蛛与普通用户显示内容不一样 (111298 次浏览)
    PHP判断控制搜索引擎蜘蛛与普通用户看到的内容不一样。如果只想判断百度蜘蛛，就可以使用以下的代码：[cce_php]if (ereg("http://www.baidu.c
  • HTML img图片标签使用方法 图文教程 (116640 次浏览)
    做网站时，避免不了网站上有大量的图片。网站上的图片显示就需要使用img图片标签。HTML img图片标签写法[cce_html]<img src="图片地址" alt=
  • Div标签水平居中与垂直居中方法 图文教程 (116338 次浏览)
    在网站制作过程中经常需要使用到让div进行水平和垂直居中的技术。现在我们就来谈谈如何实现让div水平和垂直居中。Div标签水平居中方法Div
  • HTML 标签：viewport、content、renderer、format-detection使用方法 (14732 次浏览)
    通常所说的META标签，是在HTML网页源代码中一个重要的html标签。META标签用来描述一个HTML网页文档的属性，例如作者、日期和时间、网页描述、关键词、
  • html超链接写法与代码样式 图文教程 (121890 次浏览)
    在前面的HTML入门教程中，我们介绍了什么是超链接。对于建网站新手来说，很多人不知道超链接有很多的写法。以下就是超链接常见的几个写法。显
  • HTML表单的代码写法 (17006 次浏览)
    HTML表单在我们做网站中经常会被用到，如用户注册，网站投稿，评论等都会使用到表单。下面分享一下HTML表单的代码写法。（相关教程：网站Form表单实现
  • 带横向滚动条头部固定表格jQuery代码 图文教程附件下载 (18235 次浏览)
    特效介绍：jQuery带横向滚动条头部固定表格代码是一款jquery easyui实现的自定义表格样式代码。特效截图：特效适用：适用浏览器：IE8

教程目录

网站标签

做网站公司 网站培训 网站建设 网站制作教程 创建网站步骤 北京网站建设培训 广州网站制作培训 合肥建网站培训 微信小程序教程 搭建个人网站 建站培训 网站制作学习 做网站需要学习什么 织梦cms建站教程 PS教程 快速建站教程 企业网站制作教程 论坛制作视频教程 电子商城制作教程 外贸网站制作教程 中英文多语网站制作教程 HTML5 视频教程 CSS3视频教程 网站前端开发教程 网站后台开发教程 wordpress模板主题开发 仿站教程 织梦建站视频教程 如何做网站 怎么创建个人网站 网站建设公司 代建网站