特牛网址导航

es大量数据导入效率优化_es 批量插入百条数据,实际只有39条-CSDN博客

网友收藏
文章浏览阅读1.2k次。项目需求中,简历信息涉及10张表,需要联查获取组装数据,实测,查询一条数据需要5s,大概算了一下总时间的话需要60个小时左右导入完成。优化方法:数据分段+多线程1、10万条数据为例,数据分成10份,每一份10000条;2、每一份数据起一个线程,10个线程,代码大致如下:public Result putAllJobUserInfo() throws ExecutionException, InterruptedException { long l = System.currentT_es 批量插入百条数据,实际只有39条