文章浏览阅读3.6k次。 问题原因：按照网上的诸多博客等想使用Spark直接读取Hive，但不使用Hivejdbc的方式，在导入两个xml之后只能读取到default这个数据库，按照诸多网上的教程，修改xml还是未能起到作用(hive不能称为一个数据......
admin
文章浏览阅读3k次。问题flink SQL连接hive以及hudi 报错java.lang.NoSuchMethodError: com.google.common.base.Preconditions.checkArgument(ZLjava/lang/String;Ljava/lang/Object;)V，查询资料后发现就是guava版本冲突造成的。hive 3.1.2版本内置的guava是19.0版本的，而ha......
admin
文章浏览阅读1.8k次。package com.ysservice.dataStreamApi.sink;import com.ysservice.dataStreamApi.utils.GreenplumUtil;import com.ysservice.dataStreamApi.utils.RegexUtils;import org.apache.flink.api.common.state.CheckpointListener;import org.apache.flink.api.java.tuple.Tupl_flink.api.common.sta......
admin
文章浏览阅读445次。内容简介一、Spark二次排序的概念二、实现二次排序的详细步骤(Java语言)三、二次排序代码演示1.Java版本2.Scala版本四、总结一、Spark二次排序的概念排序操作是数据处理过程中的常用操作步骤，Spark提供了诸......
admin
文章浏览阅读3.2k次，点赞4次，收藏19次。flink cdc sql 开发模板flink cdc sql 读mysql的binlog日志，实时同步到mysql开发模板使用flink cdc前提条件：读取目标库的用户必须开启binlog权限package com.ysservice; import com.typesafe.config.Config;import com.......
admin
文章浏览阅读3.2k次，点赞4次，收藏19次。flink cdc sql 开发模板flink cdc sql 读mysql的binlog日志，实时同步到mysql开发模板使用flink cdc前提条件：读取目标库的用户必须开启binlog权限package com.ysservice; import com.typesafe.config.Config;import com.......
admin
文章浏览阅读3.2k次，点赞4次，收藏19次。flink cdc sql 开发模板flink cdc sql 读mysql的binlog日志，实时同步到mysql开发模板使用flink cdc前提条件：读取目标库的用户必须开启binlog权限package com.ysservice; import com.typesafe.config.Config;import com.......
admin
文章浏览阅读3.2k次，点赞4次，收藏19次。flink cdc sql 开发模板flink cdc sql 读mysql的binlog日志，实时同步到mysql开发模板使用flink cdc前提条件：读取目标库的用户必须开启binlog权限package com.ysservice; import com.typesafe.config.Config;import com.......
admin
文章浏览阅读410次。需求描述：对文章按国家分组，统计正面，负面，中立态度分别统计select(SELECT cn_name FROM country_info where auto_id= t.country_id) name,t.country_id,sum(case when t.support_level=1 then 1 else 0 end) zheng,sum(case when t.support_level=2 then 1 ......
admin
文章浏览阅读5.2k次，点赞9次，收藏33次。由于数据量巨大，单机无法存储，所以我们需要将用很多台机器存储数据，HDFS(Hadoop Distributed FileSystem)就应用而生，它是专门负责管理这么多台单机之间的数据，你存取数据都是和单机一......
admin
文章浏览阅读2w次，点赞15次，收藏78次。SQL Server2019的安装教程①SQL Server 2019 Developer 下载官网：添加链接描述当前页面选择下面图片的左下角的立即下载：即点击红色框，等待，然后点击“运行”②双击下载的应用程序，然后......
admin
文章浏览阅读2w次，点赞15次，收藏78次。SQL Server2019的安装教程①SQL Server 2019 Developer 下载官网：添加链接描述当前页面选择下面图片的左下角的立即下载：即点击红色框，等待，然后点击“运行”②双击下载的应用程序，然后......
admin
文章浏览阅读631次。用户自定义函数UDF:输入一行返回一行UDTF:输入一行返回多行,类似于flatmapUDAF:输入多行返回一行,类似于聚合函数用户自定义UDF函数UDF案例11.在sql语句中根据ip查询省市地址package com.doit.spark.day11import com.doit.spark.......
admin
文章浏览阅读191次。Spark SQL概述Spark SQL定义Spark SQL是Spark用来处理结构化数据的一个模块什么是DataFrames与RDD类似，DataFrame也是一个分布式数据容器[抽象的]。然而DataFrame更像传统数据库的二维表格，除了数据以外，还记录数据的......
admin
文章浏览阅读2.3k次。在新建查询时，你已经执行了一次，比如建表，然后你选择执行；接着你想插入数据，就在原有的基础上写代码，然后新建查询，你会发现下面提示执行成功但有错误，也没有说几行·受影响。查看数据库第......
admin
文章浏览阅读266次。一、Spark SQL简介1.背景(1)HiveQL是将SQL语句转化为了MapReduce作业来执行，当使用Spark来代替MapReduce计算时，就变成了Hiveon Spark（Shark），实现了将HiveQL翻译成Spark上的RDD操作。(2)Shark一方面提高了SQLon Hadoop的性能......
admin
文章浏览阅读645次。drop table if exists salaries ;CREATE TABLE salaries (emp_no int(11) NOT NULL,salary int(11) NOT NULL,from_date date NOT NULL,to_date date NOT NULL,PRIMARY KEY (emp_no,from_date));INSERT INTO salaries VALUES(10001,88958,‘2002-06-22’,‘9999-01-01’);_tmp.salary...
admin
友情链接申请要求： 不违法不降权 权重相当 请联系QQ：737597453
