• 资源总数:6659个
  • 评论总数:663次
  • 本月更新:603个
  • 访问总数:1844469次
笑哥
  • 站长:笑哥
  • 89573952
    • 打造专业的干货基地
    • 分享实用的软件技术
    • 资源总数:6659个
    • 评论总数:663次
    • 本月更新:603个
    • 访问总数:1844469次

    当前位置:笑哥共享网 > SEO > SEO技术

    2019年最新出搜索引擎蜘蛛大全记录

    笑哥2019-05-07笑哥共享网



    各大seo搜索引擎的蜘蛛会不断地访问抓取我们站点的内容,也会消耗一定的站点流量;

    有时候就需要屏蔽某些蜘蛛访问我们的站点,文章尾部会讲解决办法;

    了解各大搜索引擎蜘蛛爬虫,对我们进行网站SEO优化起到很大作用;舍力收集了各大搜索引擎的蜘蛛爬虫UA,以便你需要时查阅。

    1、百度蜘蛛:BaiduSpider
    常见的Baiduspider和Baiduspider-image(抓取图片)

    百度公司还有其它几个蜘蛛:Baiduspider-video(抓取视频)、Baiduspider-news(抓取新闻)、Baiduspider-mobile(抓取wap),都不常见

    百度蜘蛛爬虫UA:

    PC端:Mozilla/5.0 (compatible; Baiduspider-render/2.0; +http://www.baidu.com/search/spider.html)

    移动端:Mozilla/5.0 (iPhone; CPU iPhone OS 9_1 like Mac OS X) AppleWebKit/601.1.46 (KHTML, like Gecko) Version/9.0 Mobile/13B143 Safari/601.1 (compatible; Baiduspider-render/2.0; +http://www.baidu.com/search/spider.html)

    图片:“Baiduspider-image+(+http://www.baidu.com/search/spider.htm)”

    2、谷歌蜘蛛:Googlebot
    有人说谷歌蜘蛛是GoogleBot,官方谷歌蜘蛛最新名称为Googlebot,还发现了Googlebot-Mobile,看名字是应该是抓取wap内容的

    谷歌蜘蛛爬虫UA:“Mozilla/5.0 (compatible; Googlebot/2.1; +http://www.google.com/bot.html)”

    图片:“Googlebot-Image/1.0”

    3、360蜘蛛:360Spider
    它是一个十分“勤奋抓爬”的蜘蛛

    360蜘蛛爬虫UA:Mozilla/5.0 (compatible; MSIE 9.0; Windows NT 6.1; Trident/5.0);

    4、搜狗蜘蛛:Sogou News Spider
    搜狗公司还有其它几个蜘蛛:Sogou web spider、Sogou inst spider、Sogou spider2、Sogou blog、Sogou Orion spider,冬镜在日志中只发现了常见的Sogou News Spider。(参考大神百度的robots文件,搜狗蜘蛛名称可以用Sogou概括,但有没有用就不知道了.)

    搜狗蜘蛛爬虫UA:“Sogou web spider/4.0(+http://www.sogou.com/docs/help/webmasters.htm#07)”

    5、必应蜘蛛:bingbot
    必应蜘蛛爬虫UA:“Mozilla/5.0 (compatible; bingbot/2.0; +http://www.bing.com/bingbot.htm)”

    6、SOSO蜘蛛:Sosospider
    腾讯已玩死,交给搜狗公司了

    soso蜘蛛爬虫UA:“Sosospider+(+http://help.soso.com/webspider.htm)”

    7、雅虎蜘蛛:Yahoo! Slurp China(雅虎中国)或Yahoo! Slurp(雅虎英文)
    雅虎蜘蛛爬虫UA:

    雅虎中国:“Mozilla/5.0 (compatible; Yahoo! Slurp China; http://misc.yahoo.com.cn/help.html)”

    雅虎英文:“Mozilla/5.0 (compatible; Yahoo! Slurp; http://help.yahoo.com/help/us/ysearch/slurp)”

    8、MSN蜘蛛:msnbot,msnbot-media
    好像只见到msnbot-media在狂爬……

    MSN蜘蛛爬虫UA:

    *msnbot/1.0 (+http://search.msn.com/msnbot.htm”)

    其它还有 一搜蜘蛛:YisouSpider、Alexa蜘蛛:ia_archiver、宜搜蜘蛛:EasouSpider、即刻蜘蛛:JikeSpider,以及还有YandexBot、AhrefsBot和ezooms.bot等这些蜘蛛,据说这几个国外的蜘蛛都不咋好

    搜索引擎蜘蛛名称

    其实常用的搜索引擎就那么几个,只要在robots.txt文件里把常用的搜索引擎蜘蛛放进来就行,其它的可以统统屏蔽。

    本站所有工具纯属免费共享,请学会感恩作者,无脑喷子永封IP段+删帐号所有评论 不喜欢请右上角X

    下载地址

    快快发表了一针见血的评论,你还等什么?
    用户名:
    验证码:点击我更换图片
    微信关注笑哥返利机器人
    微信号:blm737669552

    把宝贝分享给我(即宝贝链接),我会自动帮你找优惠券和返利的,领券购物立省钱!

    扫码加不上的加微信号blm737669552查看详情