特牛网址导航

Flink流处理查询外部数据源的解决方法_flink处理数据时需要查询数据库-CSDN博客

网友收藏
文章浏览阅读1.7k次。Flink流处理查询外部数据源的解决方法在流处理中,常涉及到与外部数据源的交互。例如在实时数仓的设计中通常是流式采集用户的浏览、下单等行为,但是用户信息,SKU、SPU等信息因为是维度表不适合通过流的方式读取(流中无法进行随意消费),而是存储在外部数据库例如Hbase、ClieckHouse的实时性能比较高的分布式数据库中。但是与外部数据源的查询常常是流式计算的瓶颈,下面给出了两种优化方案:旁路缓存技术和Flink提供的异步查询方式。方案1: 加入旁路缓存模式 (cache-aside-pattern)_flink处理数据时需要查询数据库