文章浏览阅读885次。对于爬虫工作者而言，爬虫的速度并不是越快越好。因为如果爬虫采集的速度越快，就越容易被发现，也就越容易被封IP。那么该如何合理控制爬虫的爬取速度呢？一般来说可以通过更改抓取延迟的方式来控制速度，将每个页面抓取之间的延迟设置为最大，就不会给服务器造成太大的负担，也不需要担心因频率过高而被封。但使用这种方法会导致爬虫抓取的速度较慢，效率低下，不适用于有大量抓取任务的情况。还有一种方法就是PID控制算法，不用通过计算的方法就可以控制爬虫的速度，简单说就是当爬虫速度过快的时候，就会增加延时的时间。当爬取速度过慢的时候_为了防止爬取速度过快被封ip,可以通过什么方式进行限速