Flink

Task 是 Flink 的基本执行单元。算子的每个并行实例都在 task 里执行。例如，一个并行度为 5 的算子，它的每个实例都由一个单独的 task 来执行。 StreamTa…

这篇文档简要描述了 Flink 怎样调度作业, 怎样在 JobManager 里描述和追踪作业状态 原文链接：https://nightlies.apache.org/flink/…

对大部分用户来说，为 Flink 算子配置合适的并行度并不是一件容易的事。对于批作业，小的并行度会导致作业运行时间长，故障恢复慢，而不必要的大并行度会导致资源浪费，任务部署和数据 …

本期作者 张杨&王丁 bilibili资深开发工程师 负责B站实时团队flink引擎sql方向工作，专注于flinksql性能提升优化。同时也关注flink引擎在机器学习、…

作者｜Jingsong Lee jingsonglee0@gmail.com 一、数仓中的计算 在计算机领域，数据仓库（DW 或 DWH），是一个用于报告和数据分析的系统，被认为是…

实时数据分析正在成为企业数字化经营的核心，如何有效构建实时数据分析系统是每个企业都在面临的挑战。 当前在构建实时数仓时，由于数据源的多样性，需要使用不同的采集工具，如 Flume、…

背景 随着 Flink k8s 化以及实时集群迁移完成，有赞越来越多的 Flink 实时任务运行在 K8s 集群上，Flink k8s 化提升了实时集群在大促时弹性扩缩容能力，更好…

摘要：本文整理自小红书数据流团队资深研发工程师何军在 Flink Forward Asia 2021 平台建设专场的演讲，介绍了小红书基于 K8s 管理 Flink 任务的建设过程…

作者 | Joe Moser & 高赟 翻译 | 高赟 Apache Flink，作为 Apache 社区最活跃的项目之一[1]，一直秉承积极开放的态度不断进行技术深耕。在…

当下数据规模正在以惊人的速度增长，越来越多的应用场景也对数据处理的时效性有了更高的要求。随着近几年实时计算技术的迅猛发展，涌现了实时 OLAP、实时数据湖、实时数仓等架构，较好地解…

本文介绍了特来电基于 Flink 的实时计算平台的实践。

Flink是 Apache基金会旗下的一个开源大数据处理框架。目前， Flink已经成为各大公司大数据实时处理的发力重点，特别是国内以阿里为代表的一众互联网大厂都在全力投入，为Fl…

背景 我们在使用Flink开发实时任务时，都会用到框架本身提供的DataStream API，这使得用户不能不用Java或者Scala甚至Python来编写业务逻辑；这种方式虽然灵…

在日前的 Apache SeaTunnel & Kyuubi 联合 Meetup 上，T3出行大数据平台负责人、 Apache Kyuubi committer 杨华和T3…

Flink内存模型（TaskManager） 从上面的内存模型图可以看出内存结构： Flink使用了JVM Heap(堆内内存)和Off-Heap Memory(堆外内存)； JV…

目录 第 1 章 初识 Flink 21.1 Flink 的源起和设计理念 21.2 Flink 的应用 31.3 流式数据处理的发展和演变 61.4 Flink 的特性总结 13…

目前字节跳动中国区 MQ dump 例行任务数巨大，日均处理流量在 PB 量级。巨大的任务量和数据量对 MQ dump 的稳定性以及准确性带来了极大的挑战。 本文主要介绍 DTS …

目前字节跳动中国区 MQ dump 例行任务数巨大，日均处理流量在 PB 量级。巨大的任务量和数据量对 MQ dump 的稳定性以及准确性带来了极大的挑战。 本文主要介绍 DTS …