flink
-
钱大妈基于 Flink 的实时风控实践
▼ 关注「Apache Flink」，获取更多技术干货 ▼ 摘要：本文作者彭明德，介绍了钱大妈与阿里云 Flink 实时计算团队共建实时风控规则引擎，精确识别羊毛党以防营销预算流失…
-
快手实时数仓保障体系研发实践
▼ 关注「Apache Flink」，获取更多技术干货 ▼ 摘要：本文整理自快手实时计算数据团队技术专家李天朔在 Flink Forward Asia 2021 实时数仓专场的演讲…
-
Flink 源码：广播流状态源码解析
Broadcast State 是 Operator State 的一种特殊类型。它的引入是为了支持这样的场景: 一个流的记录需要广播到所有下游任务，在这些用例中，它们用于在所有子任务中维护相同的状态。然后可以在处理第二个流的数据时访问这个广播状态，广播状态有自己的一些特性。
-
Flink SQL Client远程调试指南
在使用Flink SQL过程中，SQL Client想必大家都是非常熟悉的，本文介绍基于IDEA的SQL Client远程调试方法。 前提：本文使用的Flink版本为1.14.4，…
-
Flink ＋ Prometheus ＋ Grafana 实时监控最佳实践
我们都知道 Flink 任务是一个 7*24 小时不停运行的任务,所以对于任务的实时监控就显得尤为重要,因为任务运行的状态对于我们来说是一个黑盒,比如任务是否挂掉,是否存在反压,使用的内存,CPU 等情况我们是不知道的,虽然 Flink 的 UI 上面可以添加相关的 metrics 来查看,但是需要手动的一个一个添加,还是比较麻烦的,特别是在任务非常多的情况下.所以就需要有一种统一的监控方案来解决这个问题.Flink 本身提供了非常丰富的 Metric Reporters,比如 JMX InfluxDB Graphite Prometheus 等等,生产环境上用的比较多的是 InfluxDB 和 Prometheus ,我这里选择的是 Prometheus 来上报 Flink 的 metrics 然后通过 Grafana 进行展示.
-
Flink技术内幕之文件系统
Flink 通过 org.apache.flink.core.fs.FileSystem 类有自己的文件系统抽象。 这种抽象提供了一组通用的操作和跨各种类型的文件系统实现的最小保证…
-
Flink技术内部之Task生命周期
Task 是 Flink 的基本执行单元。算子的每个并行实例都在 task 里执行。例如，一个并行度为 5 的算子，它的每个实例都由一个单独的 task 来执行。 StreamTa…
-
Flink技术内幕之作业调度
这篇文档简要描述了 Flink 怎样调度作业, 怎样在 JobManager 里描述和追踪作业状态 原文链接：https://nightlies.apache.org/flink/…
-
自适应批作业调度器：为 Flink 批作业自动推导并行度
对大部分用户来说，为 Flink 算子配置合适的并行度并不是一件容易的事。对于批作业，小的并行度会导致作业运行时间长，故障恢复慢，而不必要的大并行度会导致资源浪费，任务部署和数据 …
-
B站基于AIFlow+Flink在批流融合调度上的实践
本期作者 张杨&王丁 bilibili资深开发工程师 负责B站实时团队flink引擎sql方向工作，专注于flinksql性能提升优化。同时也关注flink引擎在机器学习、…
-
Streaming Data Warehouse 存储：需求与架构
作者｜Jingsong Lee jingsonglee0@gmail.com 一、数仓中的计算 在计算机领域，数据仓库（DW 或 DWH），是一个用于报告和数据分析的系统，被认为是…
-
腾讯广告业务基于Apache Flink + Hudi的批流一体实践
1.业务背景介绍 广告主和代理商通过广告投放平台来进行广告投放，由多个媒介进行广告展示 ，从而触达到潜在用户。整个过程中会产生各种各样的数据，比如展现数据、点击数据。其中非常重要的…
-
StarRocks × Apache Flink：如何构建简单强大的实时数仓架构
实时数据分析正在成为企业数字化经营的核心，如何有效构建实时数据分析系统是每个企业都在面临的挑战。 当前在构建实时数仓时，由于数据源的多样性，需要使用不同的采集工具，如 Flume、…
-
Flink 1.15 新功能架构解析：高效稳定的通用增量 Checkpoint
作者｜梅源（Yuan Mei）& Roman Khachatryan 流处理系统最重要的特性是端到端的延迟，端到端延迟是指开始处理输入数据到输出该数据产生的结果所需的时间…
-
低代码实时数仓构建系统的设计与实践
1 导读 本文介绍58信安基于Flink实现低代码实时数仓构建系统，我们将数仓构建这一过程进行抽象，通过工程化的思想去解决，将固有领域问题交给系统，让开发人员关注数据本身，解放人力…
-
有赞 Flink 实时任务资源优化探索与实践
背景 随着 Flink k8s 化以及实时集群迁移完成，有赞越来越多的 Flink 实时任务运行在 K8s 集群上，Flink k8s 化提升了实时集群在大促时弹性扩缩容能力，更好…
-
Native Flink on Kubernetes 在小红书的实践
摘要：本文整理自小红书数据流团队资深研发工程师何军在 Flink Forward Asia 2021 平台建设专场的演讲，介绍了小红书基于 K8s 管理 Flink 任务的建设过程…
-
官宣｜Apache Flink 1.15 发布公告
作者 | Joe Moser & 高赟 翻译 | 高赟 Apache Flink，作为 Apache 社区最活跃的项目之一[1]，一直秉承积极开放的态度不断进行技术深耕。在…
-
Flink CDC Meetup · Online，5.21 开讲！
当下数据规模正在以惊人的速度增长，越来越多的应用场景也对数据处理的时效性有了更高的要求。随着近几年实时计算技术的迅猛发展，涌现了实时 OLAP、实时数据湖、实时数仓等架构，较好地解…
