特牛生活网

爬虫框架: Scrapy的使用_爬虫框架scrapy用到哪些算法-CSDN博客

网友收藏
文章浏览阅读382次。一 介绍 Scrapy一个开源和协作的框架,其最初是为了页面抓取 (更确切来说, 网络抓取 )所设计的,使用它可以以快速、简单、可扩展的方式从网站中提取所需的数据。但目前Scrapy的用途十分广泛,可用于如数据挖掘、监测和自动化测试等领域,也可以应用在获取API所返回的数据(例如 Amazon Associates Web Services ) 或者通用的网络爬虫。 Scrap..._爬虫框架scrapy用到哪些算法