网页资讯视频图片知道文库贴吧地图采购
进入贴吧全吧搜索
robots.txt吧 关注：129贴子：1,253

Bytespider是什么样的爬虫？

只看楼主收藏回复

近日站长检查iis日志时，发现了Bytespider这个新型爬虫。不过，其网上的所谓官网，介绍的是spiderbytes。

从翻译工具来看，对方还真是研究蜘蛛的......？？？、

懂英文的过来看看吧！最后，贴上这一个访问记录：
2019-05-25 00:00:42 我的目录 我的IP GET /kid/read.php id=1109 80 - 220.243.136.2 Mozilla/5.0+(iPhone;+CPU+iPhone+OS+11_0+like+Mac+OS+X)+AppleWebKit/537.36+(KHTML,+like+Gecko)+Chrome/53.0.2404.1317+Mobile+Safari/537.36;+Bytespider - 200 0 0
后面再留意下，看看是啥情况
IP属地:广东1楼2019-05-26 18:30回复
    我的网站也发现这个蜘蛛的爬取，而且每天几千个，不停的抓，有人知道这个蜘蛛是感冒的吗？
    IP属地:河南2楼2019-06-01 23:25
    收起回复
      还有些网友也发现了220.243.136.*的粗暴行为
      IP属地:广东3楼2019-06-04 09:31
      回复
        看来广大网友要积极屏蔽这个ip段才行！

        翻看了网站日志，发现做这个IP段的访问真多！！！

        有些是注明了Bytespider，但有些是没有的！
        IP属地:广东4楼2019-06-04 09:36
        回复
          @dgqjj
          老大，我是站长，最近一直被 bytespider爬虫攻击，搜索看到你的帖子了，想咨询你一下怎么防护的？
          cpu一直跑满
          看来日志好像就是你说的那两个号段ip的最多


          改了nginx.conf 配置文件，还是不行那
          IP属地:山东5楼2019-06-11 12:16
          收起回复
            展示一下屏蔽效果，以下是一段iis日志：
            2019-06-11 00:20:55 W6SVC5506 我的IP GET / - 80 - 220.243.136.68 Mozilla/5.0+(Macintosh;+Intel+Mac+OS+X+10_14_0)+AppleWebKit/537.36+(KHTML,+like+Gecko)+Chrome/41.0.6765.1713+Safari/537.36;+Bytespider - 403 6 0
            没错了，现在返回404状态！么么哒
            IP属地:广东7楼2019-06-11 22:52
            收起回复
              我靠 我今天早上给这个蜘蛛怕了四十多万次 就几个小时的事情 网站卡爆了。不过这个蜘蛛总换IP访问，这要怎么办呢楼主
              9楼2019-06-14 09:57
              收起回复
                怎样屏蔽这个爬虫
                IP属地:广东10楼2019-06-20 10:10
                收起回复

                  大家可以用这种方法来屏蔽，应该可以挡住大部分这个爬虫
                  IP属地:浙江12楼2019-06-25 14:55
                  收起回复
                    如果是nginx 屏蔽掉这几个垃圾蜘蛛吧
                    if ($http_user_agent ~* "(YisouSpider|EasouSpider|EtaoSpider|dotbot|Sougou|Bytespider)") {
                    return 403;
                    }
                    IP属地:四川15楼2019-06-26 14:08
                    收起回复
                      有没有可能找到这些服务器所在的运营商？然后投诉到运营商或者工信部
                      IP属地:四川16楼2019-06-27 09:22
                      收起回复
                        if ($http_user_agent ~* "Go-http-client|MauiBot|serpstatbot|FeedDemon|Bytespider|YisouSpider|GrapeshotCrawler|Seekport Crawler|Indy Library|YandexBot|DotBot|AhrefsBot|CrawlDaddy|CoolpadWebkit|UniversalFeedParser|Swiftbot|ZmEu|oBot|Python-urllib|lightDeckReports Bot|YYSpider|DigExt|HttpClient|MJ12bot|heritrix|EasouSpider|SemrushBot|Ezooms|^$" ) {
                        return 404;
                        }
                        IP属地:江苏17楼2019-06-28 09:50
                        回复
                          fail2ban可以试一波
                          IP属地:青海18楼2019-08-19 22:36
                          回复
                            今日头条家的就是 Bytespider。
                            应用达人
                            应用吧活动,去领取
                            活动截止:2100-01-01
                            去徽章馆》
                            IP属地:甘肃20楼2019-10-26 10:09
                            回复
                              字节跳动开始做搜索了
                              21楼2019-10-26 22:45
                              回复

                                扫二维码下载贴吧客户端

                                下载贴吧APP
                                看高清直播、视频！
                                发表回复
                                发贴请遵守贴吧协议及“七条底线”贴吧投诉
                                内  容:
                                  查看全部
                                发 表
                                保存至快速回贴