文章浏览阅读3.2k次。在上一期，主要讲解了：连接网站与解析 HTML上一期只是一个简单的例子，获取了网站的一小部分内容，本期开始讲解需要获取网站的所有文章列表。在开始以前，还是要提醒大家：在网络爬虫的时候，你必须非常谨慎地考虑需要消耗多少网络流量，还要尽力思考能不能让采集目标的服务器负载更低一点。本次示例采集The ScrapingBee Blog博客的文章。在做数据采集以前，对网站经行分析，看看代码结构。需要采集的部分是一个个的小 card 组成，截图如下：获取所有卡片的父标签之后，循环单个卡片的内_爬虫数据采集