- 链接地址:https://smartcrane.blog.csdn.net/article/details/106843432#comments_23328646
- 链接标题:【Pyppeteer】如何避开网站的反爬检测_--enable-automation-CSDN博客
- 所属网站:smartcrane.blog.csdn.net
- 被收藏次数:2888
【问题描述】有些网站的反爬机制是很强的,不仅网络请求中的参数经过 JS 加密,甚至还针对一些常用的爬虫工具,如 Selenium 作了屏蔽。比如前段时间我爬取的卫健委官网,反爬机制就相当变态(传送门:Python网络爬虫实战:卫健委官网数据的爬取)。本文教你如何设置 Pyppeteer 来完美地避开这些反爬机制的检测。【解决方法】方法一:在导入 launch 之前 把 --enable-automation 禁用 防止监测webdriverfrom pyppeteer imp._--enable-automation
版权声明:本文发布于特牛网址导航 内容均来源于互联网 如有侵权联系删除