Hudi

管梓越，大数据开发工程师， 现就职于字节跳动推荐架构部门。专注于hudi在机器学习场景下的开发与应用。支持抖音，今日头条等产品的机器学习场景下的架构工作。 本次分享会涉及在搜索推荐…

hive从3.0.0开始提供hive metastore单独服务作为像presto、flink、spark等组件的元数据中心。但是默认情况下hive metastore在启动之后是…

背景 OnZoom是Zoom新产品，是基于Zoom Meeting的一个独一无二的在线活动平台和市场。作为Zoom统一通信平台的延伸，OnZoom是一个综合性解决方案，为付费的Zo…

关于流读changelog问题 我们知道hudi可以开启changelog模式，保留消息变更信息（I/+U/-U/D），但是我们在查询变更消息时，需要注意的是需要在sql-clie…

目前市面上流行的三大开源数据湖方案分别为：Delta、Apache Iceberg 和 Apache Hudi。其中，由于 Apache Spark 在商业化上取得巨大成功，所以由…

新增hdp仓库 在项目根目录下的pom文件中新增： <repository> <id>hdp</id> <url>https://r…

设置 hive.input.format 在hive cli或者beeline执行查询任务时，需要做如下指定： set hive.input.format = org.apache…

前提 首先请安装好prometheus、pushgateway以及grafana，如果还没安装请参考： Prometheus与pushGateway安装与使用 Grafana安装指…

测试环境 组件版本 mysql 5.7 hive 3.1.2 flink 1.12.2 hudi 0.9.0 hadoop 3.2.0 首先请确保以下组件正常启动： mysql h…

总览 本文使用datafaker工具生成数据发送到MySQL，通过flink cdc工具将mysql binlog数据发送到kafka，最后再从kafka中读取数据并写入到hudi…

下载信息 源码地址: Apache Hudi 源码 版本相关jar包: here 版本迁移指南 如果从旧版本进行迁移，还请检查下面每个后续版本的升级说明 在0.9.0中，Hudi添…

环境： hadoop 3.2.0 flink 1.11.4-bin-scala_2.11 hudi 0.8.0 本文基于上述组件版本使用flink插入数据到hudi数据湖中。为了确…