来自分类:黑名单共享计划
进入分类

本站UA黑名单

LINSIR 发表于 2020-12-16 14:12:20
605 0
UA说明
Mozilla/5.0 (compatible; MJ12bot/v1.4.8; http://mj12bot.com/)Majestic-12是一个用于商业SEO建议目的的分布式爬虫
Mozilla/5.0 (compatible; SemrushBot/7~bl; +http://www.semrush.com/bot.html)SEMrush运营的爬虫机器人,该平台提供SEO数据,包括关键字研究和反向链接。
Mozilla/5.0 (compatible; AhrefsBot/6.1; +http://ahrefs.com/robot/)Ahrefs运营的爬虫机器人,Ahrefs是一种营销和SEO工具,主要用作反向链接检查器。
Mozilla/5.0 (Windows NT 6.1; Win64; x64) AppleWebKit/537.36 (KHTML, like Gecko) Chrome/69.0.3497.81 YisouSpider/5.0 Safari/537.36UC收购的一搜,并没有什么用,还密集采集,严重影响性能。
crapy/1.7.3 (+https://scrapy.org)一个开源爬虫工具
Mozilla/5.0 (compatible; DotBot/1.1; http://www.opensiteexplorer.org/dotbot, help@moz.com)一种爬虫程序机器人,可识别电子商务网站,产品名称,价格数据和描述。
Mozilla/5.0 (Windows NT 10.0; Win64; x64) AppleWebKit/537.36 (KHTML, like Gecko) Chrome/84.0.4147.89 Safari/537.36 (compatible; SMTBot/1.0; +http://www.similartech.com/smtbot)SMTBot,该平台提供SEO数据。疯狂爬取

若未特殊声明,本站原创内容则允许引用和转载,但需注明来源:
本站UA黑名单 | LINSIR的博客

暂无评论

您必须登录才能参与评论!
立即登录
暂无评论...