Hudi进阶提升
-
Zeppelin结合Flink查询hudi数据
关于Zeppelin Zeppelin是基于 Web 的notebook，是支持使用 SQL、Scala、Python、R 等进行数据驱动的交互式数据分析和协作的Notebook。…
-
使用prometheus监控hudi相关指标
前提 首先请安装好prometheus、pushgateway以及grafana，如果还没安装请参考： Prometheus与pushGateway安装与使用 Grafana安装指…
-
使用flink SQL Client将mysql数据写入到hudi并同步到hive
测试环境 组件版本 mysql 5.7 hive 3.1.2 flink 1.12.2 hudi 0.9.0 hadoop 3.2.0 首先请确保以下组件正常启动： mysql h…
-
Flink SQL Client实战CDC数据入湖
总览 本文使用datafaker工具生成数据发送到MySQL，通过flink cdc工具将mysql binlog数据发送到kafka，最后再从kafka中读取数据并写入到hudi…
-
spark-shell操作hudi并使用hbase作为索引
前言 接上一篇文章，上篇文章说到hudi适配hbase 2.2.6，这篇文章在spark-shell中操作hudi，并使用hbase作为索引。要完成以下实验，请先确保你已经按照文章…
-
hudi 0.9.0适配hbase 2.2.6
总览 在hudi中，hbase可以作为索引数据的存储，hudi默认使用的hbase版本为1.2.3。 在hbase从1.x升级到2.x之后，其api发生了较大的变化，直接修改hud…
