文章浏览阅读685次，点赞2次，收藏5次。一、背景随着公司业务规模的扩大，需求的不断提升，数据量级也在不停的增长，公司其他兄弟部门也需要越来越多的数据需求。为此，我们部门有如下任务需要完成：1.找到客户尽量多的数据，多维度分析客户，为客户建立合理的准确的数据标签2.涉及到合法采集数据的爬虫开发，这个交给算法工程师，用python爬下来，处理一下就行了，并不用我们出马。3.由于爬取数据格式比较混乱，所以这里计划存储到hbase中，后续由应用开发人员自行处理。4.相当一部分业务数据，量级已经超过10亿级别，需要后续计划存储到hbas_hbase rest server