分类目录

赞助商

热门标签

搜索

    2017年6月17日
    • robots.txt Disallow和Allow上下级目录或文件的写法
    • 我们有时需要在 robots.txt Disallow和Allow某一目录或文件,但是不知道该如何去写。其实,对于有关联的目录来说,我们只需遵循一个原则,就好处理了,那就是:先写Disallow再写Allow。我们看看Google的 robots.txt ,如图看到:先 Disallow /search 这个目录,再 Allow /search/about 这个目录或文件。

    2017年6月17日
    2017年6月10日
    • 屏蔽百度蜘蛛或某一爬虫的四种方法
    • 今天看到群里有人说被一俄罗斯爬虫一天内访问网站几千次,想屏蔽它,其实,类似这样的问题解决方案网上有不少文章,屏蔽俄罗斯爬虫跟屏蔽百度蜘蛛的原理是一样的,可以通过如下四种方法来处理。

    2017年6月10日
    2017年5月21日
    • 通过UA或反查IP两种方法识别百度蜘蛛【官方说法】
    • 我们在分析访问日志时,往往要判断各种来路,包括各种搜索引擎来路、真实访客来路、直接输入来路、网页推介来路、各种蜘蛛来路等,而对于蜘蛛来路而言,百度蜘蛛又尤为重要分析的部分。那么我们如何识别百度蜘蛛呢?近日,官方给出了两种说法,一种是通过UA来识别,另一种是通过反查IP来识别。

    2015年6月4日
    • php/asp/asp.net判断百度移动和PC蜘蛛的源代码
    • 我们统计网站流量,遇到百度蜘蛛的时候,为了更好更细的统计,需要把百度蜘蛛的移动端和PC端分别来统计,这对网站分析有着非常重要的意义。本文提供判断百度移动蜘蛛和百度PC蜘蛛的源代码,有php、asp、asp.net三个版本。

分页:«1»