文章浏览阅读3.5k次。　　最近公司在做一个大数据项目的时候，数据量达到了1000w+的程度，并且还有源源不断的数据从采集上来，并需要和数据库中的数据做一系列的逻辑比对，在此就自己的实践总结下心得，欢迎批评指正。　　需求：将MySQL表中的部分数据(状态为1)的数据和采集上来的新数据(状态为2)的数据根据已经设置好的唯一字段(比对规则)作对比，不重复的数据修改状态，重复数据挪到重复库中待使用，差异数据(唯一..._java大量数据比对数据库