flink

背景 随着 Flink k8s 化以及实时集群迁移完成，有赞越来越多的 Flink 实时任务运行在 K8s 集群上，Flink k8s 化提升了实时集群在大促时弹性扩缩容能力，更好…

摘要：本文整理自小红书数据流团队资深研发工程师何军在 Flink Forward Asia 2021 平台建设专场的演讲，介绍了小红书基于 K8s 管理 Flink 任务的建设过程…

作者 | Joe Moser & 高赟 翻译 | 高赟 Apache Flink，作为 Apache 社区最活跃的项目之一[1]，一直秉承积极开放的态度不断进行技术深耕。在…

当下数据规模正在以惊人的速度增长，越来越多的应用场景也对数据处理的时效性有了更高的要求。随着近几年实时计算技术的迅猛发展，涌现了实时 OLAP、实时数据湖、实时数仓等架构，较好地解…

本文介绍了特来电基于 Flink 的实时计算平台的实践。

Flink是 Apache基金会旗下的一个开源大数据处理框架。目前， Flink已经成为各大公司大数据实时处理的发力重点，特别是国内以阿里为代表的一众互联网大厂都在全力投入，为Fl…

背景 我们在使用Flink开发实时任务时，都会用到框架本身提供的DataStream API，这使得用户不能不用Java或者Scala甚至Python来编写业务逻辑；这种方式虽然灵…

在日前的 Apache SeaTunnel & Kyuubi 联合 Meetup 上，T3出行大数据平台负责人、 Apache Kyuubi committer 杨华和T3…

Flink内存模型（TaskManager） 从上面的内存模型图可以看出内存结构： Flink使用了JVM Heap(堆内内存)和Off-Heap Memory(堆外内存)； JV…

目录 第 1 章 初识 Flink 21.1 Flink 的源起和设计理念 21.2 Flink 的应用 31.3 流式数据处理的发展和演变 61.4 Flink 的特性总结 13…

目前字节跳动中国区 MQ dump 例行任务数巨大，日均处理流量在 PB 量级。巨大的任务量和数据量对 MQ dump 的稳定性以及准确性带来了极大的挑战。 本文主要介绍 DTS …

目前字节跳动中国区 MQ dump 例行任务数巨大，日均处理流量在 PB 量级。巨大的任务量和数据量对 MQ dump 的稳定性以及准确性带来了极大的挑战。 本文主要介绍 DTS …

摘要：本文整理自斗鱼实时计算负责人夏畅在 Flink Forward Asia 2021 行业实践专场的分享。本篇内容主要分为四个部分： 背景介绍 实时平台建设 实时数仓探索 未来…

本文讲述了通用SQL的解析与优化。

业务背景 BIGO 是一家面向海外的以短视频直播业务为主的公司, 目前公司的主要业务包括 BigoLive (全球直播服务)，Likee (短视频创作分享平台)，IMO (免费通信…

Flink的运⾏架构 当 Flink 集群启动后，⾸先会启动⼀个 JobManger 和⼀个或多个的 TaskManager。由 Client 提交任务给JobManager，Jo…

概览（Overview） Flink 的 Web 界面提供了选项卡/标签（tab）来监视作业的 checkpoint 信息。作业终止后，这些统计信息仍然可用。有四个不同的选项卡可显…

基本环境 集群主机 IP host147 10.45.151.147 host148 10.45.151.148 host149 10.45.151.149 配置域名映射 vim …

Flink 应用要想大规模可靠运行，必须满足两个条件： 应用程序需要能够可靠地进行checkpoint操作 故障后资源需要足够赶上输入数据流 第一部分讨论如何大规模执行checkp…