特牛网址导航

Scrapy爬虫框架详解_scrapy爬虫的体系架构-CSDN博客

网友收藏
文章浏览阅读7k次,点赞2次,收藏3次。一、爬虫框架Scrapy的整体架构:Scrapy Engine(引擎):负责Spider、ItemPipeline、Downloader、Scheduler中间的通讯、信号、数据传递等。Spider(爬虫):负责处理所有Responses,从中分析提取数据,获取Item字段需要的数据,并将需要跟进的URL提交给引擎,再次进入Scheduler(调度器)。(DTO 数据传输对象)Scheduler(调度器):它负责接受引擎发送过来的Request请求,并按照一定的方式进行整理排列,入队,当引._scrapy爬虫的体系架构