
1) 延迟(Latency):以ms为单位测量,从请求到响应的时间,建议目标<100ms为优。
2) 丢包率(Packet Loss):对TCP/ICMP测得,丢包>2%需警戒,会导致重试与业务失败。
3) 可连接率(Connection Success Rate):1小时或24小时内的连接成功率,目标>=99%。
4) 带宽与吞吐(Throughput):上下行带宽与并发连接数,建议每IP至少支持5Mbps吞吐。
5) 地理与ASN一致性:IP应归属越南ISP(如VNPT、Viettel)且路由稳定,避免异地或代理链的误判。
6) 使用场景影响:爬虫、登录、CDN探测等对IP要求不同,需按场景加权评估指标。
1) 主动探测(Active Check):每30s对关键IP发起ICMP+TCP握手并记录RTT与状态。
2) 被动监测(Passive Check):统计真实业务请求的HTTP 2xx/4xx/5xx比率,并纳入健康评分。
3) 多级阈值(Thresholds):延迟>200ms或丢包>3%或连接成功率<95%时标记为不健康。
4) 检测频率:高优先级IP每30s,普通IP每5分钟,流量突发时可动态改为15s。
5) 聚合窗口:采用滑动窗口(例如5分钟)计算平均与峰值,避免短暂抖动造成误判。
6) 与CDN/DDoS防御联动:当IP被DDoS打击,探测显示异常时自动切入防护或下线。
1) 替换策略:按优先级选择备份IP,优先满足低延迟与同ASN同地区条件。
2) 切换机制:使用HAProxy或Nginx upstream动态剔除不健康IP并加入新IP,切换时间控制在秒级。
3) 冷热备份池:维护热池(立即可用)与冷池(需预热认证),热池容量占比建议70%。
4) 回退与重试:替换后继续观测,若新IP失败则回退并记录告警,最多重试3次。
5) 日志与溯源:记录替换时间、触发原因、相关服务器(例如VPS id)以便追踪。
6) 与防火墙/ACL集成:替换时同步更新防火墙白名单与BGP前缀规则。
1) 场景说明:某采集服务每分钟并发请求2000次,目标为越南电子商务站点,使用越南原生代理池。
2) 发现问题:某时窗口内3个代理IP延迟由80ms升至420ms,HTTP 5xx比率上升至6%。
3) 检测与替换:系统30s探测触发阈值策略,自动剔除异常3个IP并从备池加入3个预热IP。
4) 结果数据:替换后2分钟内成功率从94%回升至99.6%,平均延迟降回95ms。
5) 后续处理:对异常IP追踪ASN,发现为临时NAT问题,与供应商协商后标记为不可用。
6) 经验总结:预热、热池容量与快速切换机制是保证采集稳定性的关键。
1) 控制平面(监控服务器):2核CPU、4GB内存、50GB SSD,带宽100Mbps,运行Prometheus+Grafana。
2) 代理网关(中继节点):4核CPU、8GB内存、1Gbps带宽,Ubuntu 22.04,内核tcp_tw_recycle关闭,net.ipv4.tcp_fin_timeout=30。
3) 负载均衡器(HAProxy):8核CPU、16GB内存,配置示例:maxconn 40000, timeout connect 5s, timeout server 30s。
4) 防护节点(DDoS):与CDN联动,使用流量清洗阈值5Gbps,软限速阈值5000 conn/s。
5) 日志与存储:ELK集群2节点,每节点16GB内存,保留日志30天用于回溯分析。
6) 备份策略:代理池数据库每小时快照,配置每分钟心跳与5分钟全量校验。
1) 表格说明:下表为3个越南原生代理IP的实时检测样例数据(单位ms/%/Mbps)。
2) 评估原则:可连接率>=99%、丢包<=1%、延迟<=150ms视为合格。
3) 使用方法:统计窗口为最近5分钟,按优先级排序并加入热池或冷池。
4) 决策示例:IP2因丢包2.5%被标记不健康并替换,IP1与IP3保持在热池。
5) 维护建议:每周做一次完整扫描并与供应商确认IP归属与路由稳定性。
| IP | 延迟(ms) | 丢包(%) | 连接成功率(%) | 带宽(Mbps) | ASN/ISP |
|---|---|---|---|---|---|
| 103.16.12.34 | 92 | 0.4 | 99.9 | 20 | VNPT (AS 55824) |
| 45.119.200.11 | 210 | 2.5 | 94.1 | 8 | Private ISP (AS 45678) |
| 14.160.5.90 | 105 | 0.9 | 99.3 | 15 | Viettel (AS 45899) |