爬虫的基本原理：动态渲染页面的爬取_requests如何采集由js渲染网页-CSDN博客

网友收藏2024-01-24 14:30

链接地址：https://blog.csdn.net/m0_43404934/article/details/122274576
链接标题：爬虫的基本原理：动态渲染页面的爬取_requests如何采集由js渲染网页-CSDN博客
所属网站：blog.csdn.net
被收藏次数：3442

文章浏览阅读923次。有时候，在使用urllib或request爬取网页时，得到的源代码实际和浏览器中看到的不一样，这是因为现在越来越多的网页采用了Ajax、前端模块化工具来构建，整个网页可能都是由JavaScript动态渲染出来的，浏览器加载页面时，通过执行JavaScript代码，动态地改变HTML中的节点，向其添加内容，然后渲染出来。因此，使用基本HTTP请求库得到的源代码可能跟浏览器中的页面源代码不太一样，对于这样的情况，我们可以分析其后台Ajax接口，也可使用Selenium、Splash这样的库来实现JavaScr_requests如何采集由js渲染网页

本文地址：https://tebull.com/detail/555285.html

标签：requests如何采集由js渲染网页