特牛生活网

爬虫代理设置--爬取ip池、验证ip是否可用、验证代理ip是否能用_selenium代理ip 不生效-CSDN博客

网友收藏
文章浏览阅读7.9k次,点赞5次,收藏16次。昨天在爬取大众点评的时候,刚开始还好好的,但一会就把我的ip给封啦,所以我就想给自己弄一个ip池,这样我就可以继续爬啦。网上找了一堆代码,发现好多都是python2的,它们请求使用urllib2的库,这个库在python3中合并成urllib,所以很多方法调用都出现错误,所以我还是决定用requests。一、获得代理ipdef get_ip_list(obj): ip_text = obj..._selenium代理ip 不生效