文章浏览阅读652次。最近公司工作中接到商品部的需求，进行爬取网站中的所有商品信息进行入库，配合公司市场部商品部进行做市场战略分析，故而使用springboot + htmlunit 进行爬取数据信息，将其入库MySQL进行数据导出，结果因为htmlunit的一个小小配置导致了CPU的消耗高额爆出，同时还导致了GC的一系列的内存溢出等等，坑坏了我一个下午的时间，而且插入数据库的速度超级的慢（数据量才1W+，入库已做批量..._com.gargoylesoftware.htmlunit.webclient 多线程使用下 严重消耗资源