- 链接地址:https://blog.csdn.net/weixin_46491071/article/details/110144326#comments_20942353
- 链接标题:【精选】Python爬虫 | 一博看懂 Scrapy 五大核心组件及其运行机制(spiders、引擎、调度器、下载器、管道)_scrapy不同管道调度-CSDN博客
- 所属网站:blog.csdn.net
- 被收藏次数:3314
文章浏览阅读608次。一、 五大核心组件运行机制本来准备所有流程画到一张图当中,画完了发现这图只能让懂的人看懂,不懂的人还是看不懂,于是将图拆成三个部分。1. 发起请求spider 将请求对象提交给引擎,引擎将请求对象转发给调度器,调度器对请求对象去重,将去重后的请求对象装到队列当中,调度器将请求对象逐一给引擎,引擎将调度对象转发给下载器,下载器拿到请求对象之后,对网站发起请求。2. 解析数据下载器接收到网站返回的response,将response发送给引擎,引擎转发给spider做页面数据的提取xpa._scrapy不同管道调度
版权声明:本文发布于特牛网址导航 内容均来源于互联网 如有侵权联系删除
标签:scrapy不同管道调度