Flink
-
FLIP-147:支持包含结束任务的 Checkpoint 操作与作业结束流程修正
第一部分 01 简介 Flink 可以同时支持有限数据集和无限数据集的分布式处理。在最近几个版本中,Flink 逐步实现了流批一体的 DataStream API 与 Table …
-
Flink内存配置指南
配置Flink进程的内存 Apache Flink 基于 JVM 的高效处理能力,依赖于其对各组件内存用量的细致掌控。 考虑到用户在 Flink 上运行的应用的多样性,尽管社区已经…
-
Flink应用部署模式
Flink 是一个多功能框架,以混合搭配的方式支持许多不同的部署场景。 下面,我们简要介绍 Flink 集群的构建块、它们的用途和可用的实现。 如果你只是想在本地启动 Flink,…
-
Flink的重启策略
Flink的重启策略 Flink支持不同的重启策略,这些重启策略控制着job失败后如何重启。集群可以通过默认的重启策略来重启,这个默认的重启策略通常在未指定重启策略的情况下使用,而…
-
Flink Table API和SQL(下)
一、函数 在 SQL 中,我们可以把一些数据的转换操作包装起来,嵌入到 SQL 查询中统一调用,这就是“函数”(functions)。 Flink 的Table API 和…
-
Flink Table API和SQL(中)
一、时间属性和窗口 基于时间的操作(比如时间窗口),需要定义相关的时间语义和时间数据来源的信息。在 Table API 和 SQL 中,会给表单独提供一个逻辑上的时间字段,专门…
-
Flink Table API和SQL(上)
概述 Flink 提供了对于“表”处理的支持,这就是更高层级的应用API,在 Flink 中被称为Table API 和 SQL。Table API 顾名思义,就是基于“表”(…
-
流批一体在京东的探索与实践
▼ 关注「Apache Flink」,获取更多技术干货 ▼ 摘要:本文整理自京东高级技术专家韩飞在 Flink Forward Asia 2021 流批一体专场的分享。主要内容包括…
-
Flink CDC 在大健云仓的实践
摘要:本文整理自大健云仓基础架构负责人、Flink CDC Maintainer 龚中强在 5 月 21 日 Flink CDC Meetup 的演讲。主要内容包括: 引入 Fli…
-
Flink CDC MongoDB Connector 的实现原理和使用实践
摘要:本文整理自 XTransfer 资深 Java 开发工程师、Flink CDC Maintainer 孙家宝在 Flink CDC Meetup 的演讲。主要内容包括: Mo…
-
Flink CDC + Hudi 海量数据入湖在顺丰的实践
摘要:本文整理自顺丰大数据研发工程师覃立辉在 5月 21 日 Flink CDC Meetup 的演讲。主要内容包括: 顺丰数据集成背景 Flink CDC 实践问题与优化 未来规…
-
Flink CDC + OceanBase 全增量一体化数据集成方案
摘要:本文整理自 OceanBase 技术专家王赫(川粉)在 5 月 21 日 Flink CDC Meetup 的演讲。主要内容包括: OceanBase 介绍 Flink CD…
-
Flink ML API,为实时机器学习设计的算法接口与迭代引擎
▼ 关注「Apache Flink」,获取更多技术干货 ▼ 摘要:本文整理自阿里巴巴高级技术专家林东、阿里巴巴技术专家高赟(云骞)在 Flink Forward Asia 2021…
-
美团基于 Flink 的实时数仓平台建设新进展
▼ 关注「Apache Flink」,获取更多技术干货 ▼ 摘要:本文整理自美团实时数仓平台负责人姚冬阳在 Flink Forward Asia 2021 实时数仓专场的演讲。主要…
-
钱大妈基于 Flink 的实时风控实践
▼ 关注「Apache Flink」,获取更多技术干货 ▼ 摘要:本文作者彭明德,介绍了钱大妈与阿里云 Flink 实时计算团队共建实时风控规则引擎,精确识别羊毛党以防营销预算流失…
-
快手实时数仓保障体系研发实践
▼ 关注「Apache Flink」,获取更多技术干货 ▼ 摘要:本文整理自快手实时计算数据团队技术专家李天朔在 Flink Forward Asia 2021 实时数仓专场的演讲…
-
Flink 源码:广播流状态源码解析
Broadcast State 是 Operator State 的一种特殊类型。它的引入是为了支持这样的场景: 一个流的记录需要广播到所有下游任务,在这些用例中,它们用于在所有子任务中维护相同的状态。然后可以在处理第二个流的数据时访问这个广播状态,广播状态有自己的一些特性。
-
Flink SQL Client远程调试指南
在使用Flink SQL过程中,SQL Client想必大家都是非常熟悉的,本文介绍基于IDEA的SQL Client远程调试方法。 前提:本文使用的Flink版本为1.14.4,…
-
Flink + Prometheus + Grafana 实时监控最佳实践
我们都知道 Flink 任务是一个 7*24 小时不停运行的任务,所以对于任务的实时监控就显得尤为重要,因为任务运行的状态对于我们来说是一个黑盒,比如任务是否挂掉,是否存在反压,使用的内存,CPU 等情况我们是不知道的,虽然 Flink 的 UI 上面可以添加相关的 metrics 来查看,但是需要手动的一个一个添加,还是比较麻烦的,特别是在任务非常多的情况下.所以就需要有一种统一的监控方案来解决这个问题.Flink 本身提供了非常丰富的 Metric Reporters,比如 JMX InfluxDB Graphite Prometheus 等等,生产环境上用的比较多的是 InfluxDB 和 Prometheus ,我这里选择的是 Prometheus 来上报 Flink 的 metrics 然后通过 Grafana 进行展示.
-
Flink技术内幕之文件系统
Flink 通过 org.apache.flink.core.fs.FileSystem 类有自己的文件系统抽象。 这种抽象提供了一组通用的操作和跨各种类型的文件系统实现的最小保证…