文章浏览阅读3k次，点赞2次，收藏4次。网络爬虫在大多数情况中都不违法，其实我们生活中几乎每天都在爬虫应用，如百度，你在百度中搜索到的内容几乎都是爬虫采集下来的(百度自营的产品除外，如百度知道、百科等)，所以网络爬虫作为一门技术，技术本身是不违法的，且在大多数情况下你都可以放心大 胆的使用爬虫技术。当然也有特殊情况，请看下一章节。可以从以下几点进行考虑限制请求/提交次数，比如每分钟最多请求60次，3分钟最多请求100次。如果超..._js判断是否是爬虫访问网页