特牛网址导航

爬虫框架 Scrapy 详解-CSDN博客

网友收藏
文章浏览阅读1.4w次,点赞48次,收藏509次。一、Scrapy 基础知识Scrapy 是适用于 Python 的一个快速、高层次的屏幕抓取和 web 抓取框架,用于抓取 web 站点并从页面中提取结构化的数据。Scrapy 用途广泛,可以用于数据挖掘、监测和自动化测试。Scrapy 是一个框架,可以根据需求进行定制。它也提供了多种类型爬虫的基类,如 BaseSpider、sitemap 爬虫等,最新版本又提供了 web2.0 爬虫的支持。1、Scrapy 基本模块(1) 调度器(Scheduler)调度器,说白了把它假设成为一个URL(抓_scrapy
标签:scrapy