flink
-
使用flink SQL Client将mysql数据写入到hudi并同步到hive
测试环境 组件版本 mysql 5.7 hive 3.1.2 flink 1.12.2 hudi 0.9.0 hadoop 3.2.0 首先请确保以下组件正常启动： mysql h…
-
Flink SQL Client实战CDC数据入湖
总览 本文使用datafaker工具生成数据发送到MySQL，通过flink cdc工具将mysql binlog数据发送到kafka，最后再从kafka中读取数据并写入到hudi…
-
使用flink插入数据到hudi数据湖初探
环境： hadoop 3.2.0 flink 1.11.4-bin-scala_2.11 hudi 0.8.0 本文基于上述组件版本使用flink插入数据到hudi数据湖中。为了确…
-
Hudi：Apache Hadoop上的增量处理框架
温馨提示本文部分翻译自2017.3.12 Uber Engineering发布文章《Hudi: Uber Engineering’s Incremental Processing …
-
Flink cdc自定义format格式数据源
总览 变更数据捕获 (CDC) 已成为一种流行的模式，用于从数据库捕获已提交的变更并将这些变更传播给下游消费者，例如保持多个数据存储同步并避免常见的陷阱，例如双重写入。 能够轻松地…
-
Flink的类加载器
概览 在运行 Flink 应用程序时，JVM 会随着时间的推移加载各种类。 这些类可以根据它们的来源分为三组： Java Classpath：这是Java的通用类路径，它包括JDK…
-
使用FLINK SQL从savepoint恢复hudi作业 （flink 1.13）
Flink从1.13版本开始支持在SQL Client从savepoint恢复作业。flink-savepoint介绍 接下来我们从Flink SQL Client构建一个mysq…
