flink

Flink SQL Gateway是一项允许多个客户端从远程并发执行 SQL 的服务。 它提供了一种简单的方法来提交 Flink 作业、查找元数据并在线分析数据。在Flink 1.…

摘要：基于对数据时间旅行的思考，引出了对目前三种数仓形态和两种数仓架构的思考。结合数据湖在 Flink 的应用和数据湖元数据类型的思考，探索了基于数据湖的 Flink SQL 流批…

当前页面所描述的是 Flink 的 Data Source API 及其背后的概念和架构。 如果您对 Flink 中的 Data Source 如何工作感兴趣，或者您想实现一个新的…

在本节中，你将了解 Flink 中用于处理事件时间的时间戳和 watermark 相关的 API。有关事件时间，_处理时间_和_摄取时间_的介绍，请参阅事件时间概览小节。 Wate…

DataStream API 支持不同的运行时执行模式，你可以根据你的用例需要和作业特点进行选择。 DataStream API 有一种”经典“的执行行为，我们称之为流（STREA…

Flink 中的 DataStream 程序是对数据流（例如过滤、更新状态、定义窗口、聚合）进行转换的常规程序。数据流的起始是从各种源（例如消息队列、套接字流、文件）创建的。结果通…

01 引言 阿里云实时计算 Flink 作为一款专业级别的高性能实时大数据处理系统，它在各种业务场景中都发挥了关键的作用。丰富而复杂的上下游系统让它能够支撑实时数仓、实时风控、实时…

引言 Flink 在大数据流处理方面具有高吞吐、低延迟等优势，其作为微信大数据平台 Gemini-2.0 的实时流计算引擎，支撑了微信实时推荐、实时数仓、实时风控等多个业务场景的应…

Flink SQL 为用户提供了一系列丰富的原始数据类型。 数据类型 在 Flink 的 Table 生态系统中，数据类型 描述了数据的逻辑类型，可以用来表示转换过程中输入、输出的…

1. 背景 货拉拉作为一家数据智能驱动的科技物流型平台企业，内部分析师和研发人员等每天会通过大数据服务进行大量 ad-hoc 查询分析。通过 NPS 调研发现用户普遍反馈 ad-h…

Flink SQL 的数据脱敏解决方案，支持面向用户级别的数据脱敏访问控制，即特定用户只能访问到脱敏后的数据。此方案是实时领域Flink的解决思路，类似于离线数仓 Hive 中 R…

摘要：Apache Flink 社区在 1.16 版本引入了 Hybrid Shuffle Mode [1]，它是传统的 Batch Shuffle 和 Pipelined Shu…

本期作者 张陈毅 哔哩哔哩资深开发工程师 曹杰 哔哩哔哩资深开发工程师 1. 背景 在当前整个行业及公司内部降本增效的大背景下，B站内部也在积极推进实时与在线业务资源的整合，往云原…

摘要 尘锋信息基于 Apache Paimon 构建流批一体湖仓，主要分享： 整库入湖，TB 级数据近实时入湖 基于 Flink + Paimon 的数仓 批 ETL 建设 基于 …

摘要：本文整理自 Airwallex Risk ML Platform Team 董大凡，在 Flink Forward Asia 2022 实时风控专场的分享。本篇内容主要分为五…

01  背景 本次赛题思路源自于真实工作场景的一个线上项目，该项目在经过一系列优化后已稳定上线，在该项目开发的过程中数据平台组和技术负责人提供了许多资源和指导意见，而项目的结果也让…

摘要：本文整理自阿里云高级开发工程师 Apache Flink Committer、Flink 1.16 Release Manager 黄兴勃（断尘），在 FFA 2022 核心…

摘要：本文整理自集度汽车数据部门实时方向负责人、 Apache Flink Contributor 周磊&集度汽车数据开发专家顾云，在 FFA 2022 行业案例专场的分享…

摘要：本文整理自美的集团实时数据负责人、资深数据架构师董奇，在 Flink Forward Asia 2022 主会场的分享。本篇内容主要分为四个部分： 实时生态系统在美的的发展和…

摘要：本文整理自阿里云开发工程师耿飙&阿里云开发工程师胡俊涛，在 FFA 实时风控专场的分享。本篇内容主要分为四个部分： Flink CEP 介绍&新功能解读 动态…