文章浏览阅读2k次。一、需求爬取斗鱼直播网站信息，如直播名字、主播名字、热度、图片和房间网址，将这些数据保存到csv文件中，并单独创建文件夹保存图片。斗鱼直播网址：https://www.douyu.com/g_LOL二、分析url先单击【直播】，然后单击分页，发现分页的时候url没发生变化，基本可以确定是通过异步加载的。现在找到了异步url。此时，可以直接向url发送请求后去数据，还可以使用selenium获取加载之后的网页总数据，提取。三、数据提取有两种办法可以选择：（1）如果使用ajax异步u_斗鱼直播地址解析