使用hive查询从hudi同步的表需要注意的问题

设置 hive.input.format

在hive cli或者beeline执行查询任务时,需要做如下指定:

set hive.input.format = org.apache.hudi.hadoop.hive.HoodieCombineHiveInputFormat;

如果没有做如下指定,有可能会得到错误结果或者执行错误。例如,有100000条数据,用flink查返回正确结果,
但是在hive中,如果不做上述指定,返回了162766的结果,明显这个结果是错误的。

hive中的ro和rt表

在0.9.0版本中,在使用flink将数据写入hudi mor表并同步到hive时,hive中默认情况下会有两张表,一张是rt表,另一张是ro表。
在做count操作时,ro表可以查询到正确结果,rt表目前还不支持此操作。

在同步时候,可以设置hive_sync.skip_ro_suffix参数为true,不生成ro表。

flink写hudi表开启hive同步,隔多久能在hms中看到该表?

checkpoint interval

0 0 投票数
文章评分

本文为从大数据到人工智能博主「xiaozhch5」的原创文章,遵循CC 4.0 BY-SA版权协议,转载请附上原文出处链接及本声明。

原文链接:https://lrting.top/backend/2072/

(1)
上一篇 2021-11-12 21:48
下一篇 2021-11-12 21:58

相关推荐

订阅评论
提醒
guest
0 评论
内联反馈
查看所有评论
0
希望看到您的想法,请您发表评论x