文章浏览阅读3.7k次，点赞6次，收藏24次。目录爬虫简介 爬虫基本操作 爬虫的作用： 舆情系统： 简单示例：爬虫简介爬虫技术的形成（搜索公司的出现）第一阶段：大黄页（自己建立一个文档，记录域名 和该域名作用）第二阶段：搜索公司出现，收录所有网站的关键字信息 ，别人一搜索关键字，我就把网站跳出来，该阶段依靠网站提供给搜索公司第三阶段：由于网站数量和关键字太多，爬虫的兴起 爬虫第一阶段：弄个机器人对所有的域名和...