flink
-
Flink核心概念之架构解析
Flink 是一个分布式系统,需要有效分配和管理计算资源才能执行流应用程序。它集成了所有常见的集群资源管理器,例如Hadoop YARN、Apache Mesos和Kubernet…
-
Flink核心概念之时间流式处理
含有时间的流处理是有状态流处理的扩展,其中时间在计算中起一定作用。 除其他外,当您进行时间序列分析、基于特定时间段(通常称为窗口)进行聚合时,或者在事件发生的时间很重要的情况下进行…
-
Flink核心概念之有状态的流式处理
什么是状态 虽然数据流中的许多操作一次只查看一个单独的事件(例如事件解析器),但有些操作会记住跨多个事件的信息(例如窗口操作符)。 这些操作称为有状态的。 有状态操作的一些示例: …
-
Flink与Spark读写parquet文件全解析
Parquet介绍 Parquet 是一种开源文件格式,用于处理扁平列式存储数据格式,可供 Hadoop 生态系统中的任何项目使用。 Parquet 可以很好地处理大量复杂数据。它…
-
Flink Table/SQL自定义Sources和Sinks全解析(附代码)
动态表是Flink Table和SQL API处理有界和无界数据的核心概念。 在Flink中,动态表只是逻辑概念,其本身并不存储数据,而是将表的具体数据存储在外部系统(比如说数据库…
-
Pinterest使用DrSquirrel自动诊断工具快速解决Flink问题
摘要:本文为Flink Forward 2021,Fanshu Jiang & Lu Niu | Software Engineers, Stream Processing…
-
Flink Forward 2021: Real-time bot mitigation with machine learning in Flink
作者:Gael Renoux,Konstantina Kontoudi 来自:DataDome
-
Flink Forward 2021: A Debuggers Guide to Apache Flink Streaming Applications
作者:Alexander Fedulov 来自:Ververica
-
Flink Forward 2021: Building Presto SQL experience on Flink
作者:Zhenqiu Huang, Zhongting Hu 来自:Uber
-
Flink Forward 2021: Dataflow Engines for Executing Cloud Applications a Maslow Hammer or Natural Outcome
作者:Asterios Katsifodimos 来自:Delft University of Technology
-
Flink Forward 2021: Apache Flink in the Cloud-native Era
作者:Stephan Ewen 来自:CTO @ Ververica,Apache Flink PMC
-
Flink Forward 2021: Building payment processing engine with Stateful Functions and Spring Boot
作者:Tymur Yarosh 来自:Intellias
-
Flink Forward 2021: Sharing what we love The Apache Flink story at Pinterest
作者:Chen Qin 来自:Pinterest
-
Flink Forward 2021: An Eaisier And Faster Way To Debug Flink Job
作者:Fanshu Jiang,Lu Niu 来自:Stream Processing Platform @ Pinterest
-
Flink Forward 2021: Advancing Data Mesh Building A Stream Processing EcoSystem of Reusable Processors and Datasets
作者:Kasturi Chatterjee, Wei Liu, Andrew Nguonly 来自:Netflix
-
基于Flink1.13.3与hudi 0.10.0-release构建准实时数仓
本文基于Flink SQL与hudi构建准实时数仓,在Flink从kafka接入数据之后,即将所有数据存于hudi中,包括所有中间处理数据以及最终数据。文章《实时数仓|基于Flin…
-
快手基于Apache Hudi的千亿级数据湖实践
温馨提示文章摘自:快手千亿级数据湖实践! (qq.com),来源于ApacheHudi ,作者靳国卫 分享者为靳国卫,快手大数据研发专家,负责用户增长数据团队 分为三部分介绍Hud…
-
Zeppelin结合Flink查询hudi数据
关于Zeppelin Zeppelin是基于 Web 的notebook,是支持使用 SQL、Scala、Python、R 等进行数据驱动的交互式数据分析和协作的Notebook。…
-
使用prometheus监控hudi相关指标
前提 首先请安装好prometheus、pushgateway以及grafana,如果还没安装请参考: Prometheus与pushGateway安装与使用 Grafana安装指…