- 链接地址：https://blog.csdn.net/weixin_42812527/article/details/81366397
- 链接标题：scrapy-设置请求头_scrapy设置请求头-CSDN博客
- 所属网站：blog.csdn.net
- 被收藏次数：9396
文章浏览阅读2.4w次，点赞3次，收藏28次。当我们大量使用scrapy 请求一个网站的时候我们知道scrapy默认的请求头是： 可以看到默认的请求头就是scrapy，这样就很容易导致浏览器封掉的可能，这个时候我们就需要给请求加一个请求头来模拟浏览器，一般的可以这样做： 可以直接在spider文件中添加custom_settings 这个设置，代码如下：custom_settings = { 'LOG_LEVEL'..._scrapy设置请求头
版权声明：本文发布于特牛生活网 内容均来源于互联网 如有侵权联系删除
标签：scrapy设置请求头
