robots.txt吧 关注:129贴子:1,254
  • 1回复贴,共1

petalbot 华为搜索Petal Search【蜘蛛IP收集贴】

只看楼主收藏回复

PetalBot is an automatic program of the Petal search engine. The function of PetalBot is to access both PC and mobile websites and establish an index database which enables users to search the content of your site in Petal search engine. You can identify crawling from Petal by analyzing the User-agent field.
【petalbot 华为搜索Petal Search蜘蛛】
百度翻译:PetalBot是Petal搜索引擎的自动程序。PetalBot的功能是访问PC和移动网站,并建立索引数据库,使用户可以在Petal搜索引擎中搜索您网站的内容。通过分析用户代理字段,可以识别Petal中的爬行行为。


IP属地:广东1楼2022-03-30 02:40回复
    早在2020年,就发现了petalbot 的存在,iis日志记录如下:
    (本人的某个移动端)
    2020-11-25 19:29:53 W3SVC139430584 *.*.*.* GET /robots.txt - 80 - 114.119.165.154 Mozilla/5.0+(Linux;+Android+7.0;)+AppleWebKit/537.36+(KHTML,+like+Gecko)+Mobile+Safari/537.36+(compatible;+PetalBot;+https://aspiegel.com/petalbot) 200 0 1236


    IP属地:广东2楼2022-03-30 03:04
    回复