技术频道导航
HTML/CSS
.NET技术
IIS技术
PHP技术
Js/JQuery
服务器技术
操作系统
网站运营

分类目录

热门标签

赞助商

搜索

屏蔽百度蜘蛛或某一爬虫的四种方法

作者:admin    时间:2017-6-10 11:33:14    浏览:

今天看到群里有人说被一俄罗斯爬虫一天内访问网站几千次,想屏蔽它,其实,类似这样的问题解决方案网上有不少文章,屏蔽俄罗斯爬虫跟屏蔽百度蜘蛛的原理是一样的,可以通过如下四种方法来处理。

1、robots.txt屏蔽百度或某一爬虫抓取

打开robots.txt,在开头加入如下语句(以百度蜘蛛为例):

User-agent: baiduspider
Disallow: /

代码分析,首先要知道该爬虫的名称,如百度爬虫是Baiduspider,Google爬虫是Googlebot,360搜索爬虫是360Spider,你可以通过各大搜索引擎蜘蛛爬虫UA汇总来获取爬虫的名称,例如,微软必应的蜘蛛UA是:

"Mozilla/5.0 (compatible; bingbot/2.0; +http://www.bing.com/bingbot.htm)"

我们就可以知道它的爬虫名称为bingbot

2、robots Meta标签屏蔽百度或某一爬虫抓取

如果是针对某一个页面屏蔽百度蜘蛛或某一爬虫抓取,那么可以通过Meta标签来实现。代码如下:

<head> …
<meta name="robots" content="noindex,nofollow" />
</head>

这是屏蔽所有蜘蛛爬虫抓取该页面的写法,如果只屏蔽某个爬虫,可以把"robots"改为特定的爬虫名称,爬虫名称可以通过上面方法1中提及的办法获得。例如想只屏蔽微软必应的蜘蛛抓取该页,则可以写成:

<head> …
<meta name="bingbot" content="noindex,nofollow" />
</head>

3、.htaccess屏蔽百度或某一爬虫抓取

一些可恶的爬虫并不遵循robots规则,那么我们还可以通过.htaccess来屏蔽它,代码如下(以百度蜘蛛为例):

RewriteEngine on
RewriteCond %{HTTP_USER_AGENT} ^Baiduspider [NC]
RewriteRule .* - [F]

或者这样写:

SetEnvIfNoCase User-Agent "^Baiduspider" bad_bot
<Limit GET POST>
Order Allow,Deny
Allow from all
Deny from env=bad_bot
</Limit>

4、通过IP屏蔽百度或某一爬虫抓取

我们还可以通过分析日志,获得爬虫的IP地址,然后从服务器防火墙屏蔽该IP,不过爬虫通常有很多IP,我们可以屏蔽爬虫的IP段。

不过此方法没有前面几个方法实用,较少人这样操作。

Tags: 百度蜘蛛  爬虫