简易高效的代理池,提供如下功能:
- 定时抓取免费代理网站,简易可扩展。
- 使用 Redis 对代理进行存储并对代理可用性进行排序。
- 定时测试和筛选,剔除不可用代理,留下可用代理。
- 提供代理 API,随机取用测试通过的可用代理。
-
配置好redis
-
两种方式运行代理池,一种是 Tester、Getter、Server 全部运行,另一种是按需分别运行。
python run.py
运行之后会启动 Tester、Getter、Server,这时访问 http://localhost:8000/random 即可获取一个随机可用代理。
python run.py --processor getter
python run.py --processor tester
python run.py --processor server
这里 processor 可以指定运行 Tester、Getter 还是 Server。
启动后通过 http://localhost:8000/random 获取一个随机可用代理。