爬虫_网站运营_卡卡网

分类目录

赞助商

热门标签

搜索

    2017年6月17日
    • robots.txt Disallow和Allow上下级目录或文件的写法
    • 我们有时需要在 robots.txt Disallow和Allow某一目录或文件,但是不知道该如何去写。其实,对于有关联的目录来说,我们只需遵循一个原则,就好处理了,那就是:先写Disallow再写Allow。我们看看Google的 robots.txt ,如图看到:先 Disallow /search 这个目录,再 Allow /search/about 这个目录或文件。

    2017年6月17日
    2017年6月10日
    • 屏蔽百度蜘蛛或某一爬虫的四种方法
    • 今天看到群里有人说被一俄罗斯爬虫一天内访问网站几千次,想屏蔽它,其实,类似这样的问题解决方案网上有不少文章,屏蔽俄罗斯爬虫跟屏蔽百度蜘蛛的原理是一样的,可以通过如下四种方法来处理。

    2017年6月10日
分页:«1»