一、测试环境
系统:CentOS Linux release 7.9.2009 (Core)语言:Python 3.7gevent==1.1.2数据库:MySQL二、测试对象
九家代理供应商的隧道代理产品:
三、测试网站
以下测试网站除了少部分验证 header 中某些参数以外,没有其他反爬,具体表现是同一个 IP 频繁请求会出现验证码、403、跳转登录、返回 JS 二次设置 Cookie 等情况,测试中已排除其他反爬,保证了测试结果只与 IP 的质量有关: 本文来自zvvq
小红书:社区精选,随机文章详情页:xiaohongshu.com/discove亚马逊:随机商品详情页:amazon.com/product-revi天眼查:随机公司详情页:tianyancha.com/company/58同城:招聘搜索结果页:bd.58.com/job/pn1/?安居客:二手房随机小区:beijing.anjuke.com/comm拼多多:网页端随机商品分类详细信息接口:yangkeduo.com/proxy/api百度贴吧:首页:tieba.baidu.com/四、测试指标
数据量:
主要指标解释: 内容来自samhan
请求成功:指成功请求 URL 并拿到响应,不管是否返回的是反爬内容业务成功:指在请求成功的前提下,拿到正确的数据,连接失败、超时、被反爬均视为失败反爬识别:出现验证码、403、跳转登录等情况请求超时:timeout = 10代理报错:基本上是 502、503、SSLError 报错五、数据分析
总体数据统计
zvvq.cn
由上表可知(排名分先后,从左到右): 内容来自zvvq,别采集哟
请求成功率:1. 小象 2. 海外代理 3. 青果云业务成功率:1. 海外代理 2. 青果云 3. 小象反爬识别率:1. 蜻蜓 2. 阿布云 3. 海外代理请求超时占比:1. 阿布云 2. 海外代理 = 小象 3. 蜻蜓代理报错占比:1. 青果云 2. 海外代理 3. 小象平均响应(s):1. 海外代理 2. 阿布云 3. 青果云六 、总结
内容来自samhan666