| UA | 说明 |
|---|---|
| Mozilla/5.0 (compatible; MJ12bot/v1.4.8; http://mj12bot.com/) | Majestic-12是一个用于商业SEO建议目的的分布式爬虫 |
| Mozilla/5.0 (compatible; SemrushBot/7~bl; +http://www.semrush.com/bot.html) | 由SEMrush运营的爬虫机器人，该平台提供SEO数据，包括关键字研究和反向链接。 |
| Mozilla/5.0 (compatible; AhrefsBot/6.1; +http://ahrefs.com/robot/) | 由Ahrefs运营的爬虫机器人，Ahrefs是一种营销和SEO工具，主要用作反向链接检查器。 |
| Mozilla/5.0 (Windows NT 6.1; Win64; x64) AppleWebKit/537.36 (KHTML, like Gecko) Chrome/69.0.3497.81 YisouSpider/5.0 Safari/537.36 | UC收购的一搜，并没有什么用，还密集采集，严重影响性能。 |
| crapy/1.7.3 (+https://scrapy.org) | 一个开源爬虫工具 |
| Mozilla/5.0 (compatible; DotBot/1.1; http://www.opensiteexplorer.org/dotbot, help@moz.com) | 一种爬虫程序机器人，可识别电子商务网站，产品名称，价格数据和描述。 |
| Mozilla/5.0 (Windows NT 10.0; Win64; x64) AppleWebKit/537.36 (KHTML, like Gecko) Chrome/84.0.4147.89 Safari/537.36 (compatible; SMTBot/1.0; +http://www.similartech.com/smtbot) | SMTBot，该平台提供SEO数据。疯狂爬取 |
相关文章
暂无评论...
吉公网安备22010602000667号
