flink
-
低代码实时数仓构建系统的设计与实践
1 导读 本文介绍58信安基于Flink实现低代码实时数仓构建系统,我们将数仓构建这一过程进行抽象,通过工程化的思想去解决,将固有领域问题交给系统,让开发人员关注数据本身,解放人力…
-
有赞 Flink 实时任务资源优化探索与实践
背景 随着 Flink k8s 化以及实时集群迁移完成,有赞越来越多的 Flink 实时任务运行在 K8s 集群上,Flink k8s 化提升了实时集群在大促时弹性扩缩容能力,更好…
-
Native Flink on Kubernetes 在小红书的实践
摘要:本文整理自小红书数据流团队资深研发工程师何军在 Flink Forward Asia 2021 平台建设专场的演讲,介绍了小红书基于 K8s 管理 Flink 任务的建设过程…
-
官宣|Apache Flink 1.15 发布公告
作者 | Joe Moser & 高赟 翻译 | 高赟 Apache Flink,作为 Apache 社区最活跃的项目之一[1],一直秉承积极开放的态度不断进行技术深耕。在…
-
Flink CDC Meetup · Online,5.21 开讲!
当下数据规模正在以惊人的速度增长,越来越多的应用场景也对数据处理的时效性有了更高的要求。随着近几年实时计算技术的迅猛发展,涌现了实时 OLAP、实时数据湖、实时数仓等架构,较好地解…
-
基于 Flink 的实时计算平台在新能源充电行业实践
本文介绍了特来电基于 Flink 的实时计算平台的实践。
-
剑指大数据——Flink学习精要(Java版)(最终修订版)PDF下载
Flink是 Apache基金会旗下的一个开源大数据处理框架。目前, Flink已经成为各大公司大数据实时处理的发力重点,特别是国内以阿里为代表的一众互联网大厂都在全力投入,为Fl…
-
Flink Sql Gateway的原理与实践
背景 我们在使用Flink开发实时任务时,都会用到框架本身提供的DataStream API,这使得用户不能不用Java或者Scala甚至Python来编写业务逻辑;这种方式虽然灵…
-
【视频】T3 出行 Apache Kyuubi Flink SQL Engine 设计和相关实践
在日前的 Apache SeaTunnel & Kyuubi 联合 Meetup 上,T3出行大数据平台负责人、 Apache Kyuubi committer 杨华和T3…
-
Flink内存配置调优指南
Flink内存模型(TaskManager) 从上面的内存模型图可以看出内存结构: Flink使用了JVM Heap(堆内内存)和Off-Heap Memory(堆外内存); JV…
-
Flink学习精要(Java版)电子书下载
目录 第 1 章 初识 Flink 21.1 Flink 的源起和设计理念 21.2 Flink 的应用 31.3 流式数据处理的发展和演变 61.4 Flink 的特性总结 13…
-
字节跳动流式数据集成基于Flink Checkpoint两阶段提交的实践和优化(2)
目前字节跳动中国区 MQ dump 例行任务数巨大,日均处理流量在 PB 量级。巨大的任务量和数据量对 MQ dump 的稳定性以及准确性带来了极大的挑战。 本文主要介绍 DTS …
-
字节跳动流式数据集成基于Flink Checkpoint两阶段提交的实践和优化(1)
目前字节跳动中国区 MQ dump 例行任务数巨大,日均处理流量在 PB 量级。巨大的任务量和数据量对 MQ dump 的稳定性以及准确性带来了极大的挑战。 本文主要介绍 DTS …
-
Apache Flink 在斗鱼的应用与实践
摘要:本文整理自斗鱼实时计算负责人夏畅在 Flink Forward Asia 2021 行业实践专场的分享。本篇内容主要分为四个部分: 背景介绍 实时平台建设 实时数仓探索 未来…
-
通过SQL的解析与优化
本文讲述了通用SQL的解析与优化。
-
BIGO 使用 Flink 做 OLAP 分析及实时数仓的实践和优化
业务背景 BIGO 是一家面向海外的以短视频直播业务为主的公司, 目前公司的主要业务包括 BigoLive (全球直播服务),Likee (短视频创作分享平台),IMO (免费通信…
-
flink部分面试题汇总
Flink的运⾏架构 当 Flink 集群启动后,⾸先会启动⼀个 JobManger 和⼀个或多个的 TaskManager。由 Client 提交任务给JobManager,Jo…
-
FLlink监控Checkpoints
概览(Overview) Flink 的 Web 界面提供了选项卡/标签(tab)来监视作业的 checkpoint 信息。作业终止后,这些统计信息仍然可用。有四个不同的选项卡可显…
-
Flink Standalone HA搭建指南
基本环境 集群主机 IP host147 10.45.151.147 host148 10.45.151.148 host149 10.45.151.149 配置域名映射 vim …
-
Flink大状态与Checkpint调优
Flink 应用要想大规模可靠运行,必须满足两个条件: 应用程序需要能够可靠地进行checkpoint操作 故障后资源需要足够赶上输入数据流 第一部分讨论如何大规模执行checkp…