特牛网址导航

python 爬虫实战四:用 selenium 爬取知乎某一问题下所有回答_selenium爬取知乎帖子-CSDN博客

网友收藏
文章浏览阅读2.1k次,点赞4次,收藏26次。用 selenium 爬取知乎某一问题下所有回答前言模拟登录动态爬取完整代码效果展示前言最近我又重新拾起了爬虫,想实现一下前几次爬虫所没有涉及到的两个点:模拟登录和动态网页爬取,所采用的方法是利用 selenium 这个库,例子是爬取知乎某一问题下所有回答。模拟登录很多网站,比如知乎、微博、豆瓣,都需要登录之后,才能浏览某些内容。所以想要爬取这类网站,必须先模拟登录。比较简单的方式是利用这个网站的 cookie。cookie 相当于是一个密码箱,里面储存了用户在该网站的基本信息。在一次登录之后,网站_selenium爬取知乎帖子