文章浏览阅读4.6k次，点赞6次，收藏52次。代理池介绍由众多ip组成提供多个稳定可用代理IP的ip池。当我们做爬虫时，最常见的反爬手段就是IP反爬，当同一个IP访问网站超出频控限制，将会被限制访问，那么代理IP池应运而生。资金充足的情况下个人建议还是付费ip代理池，比较免费ip时效性低，且难以维护。本文将介绍通过requests库多线程抓取多个免费代理ip网站数据落库mongo后并动态维护保证IP高度可用，以API形式暴露接口获取代理IP的解决方案。爬取流程代理IP采集模块： 采集代理IP -> 检测代理IP ->如果不可用_爬虫代理