分享一个最近写的 http 代理池工具 proxy_pool

好东西

好像没看见配置检测网址的功能

@xjoker 目前用的是 ip.cip.cc ，这个 url 直接返回客户端 ip，方便比较

是有需求吗？

@endoffight #3 刚好最近在做爬虫类的项目
你这个项目真的很不错

有时候会遇到反爬或者 ip 被封禁，所以我这里都是使用一个自定义的地址来检测代理的可用性

@xjoker

这个问题其实之前考虑过，因为池子可能不是给某一个爬虫使用，所以当时考虑到创建多个池子，然后针对每一个池配置一个检测代理是否可用的规则，所以我在开发的时候预留了 master 和 worker 模式，master 负责爬，每个 work 会维护自己的池子，m 会把采集到的代理分发到所有 w 中。

但是检测一个代理 IP 是否可用，仅仅靠 http code==200 应该是不够的，遇到 API 类型的 url，可能要解析一下，然后判断某个字段是否正确；或者 html 中出现了某个关键字；还可能有更复杂的判断模式，当时想很多东西，撸代码的时候觉得还是先把基本功能实现了再说。

综上，目前这个项目还是属于初级阶段，代理池时作为一个中立的池子。而你说的这个 feature 等有了 M/W 模式后就很好实现了。现阶段想满足你的需求修改 proxy 的 TestProxy 方法为你自己的逻辑即可。