大数据
-
Flink Forward 2021: Dataflow Engines for Executing Cloud Applications a Maslow Hammer or Natural Outcome
作者:Asterios Katsifodimos 来自:Delft University of Technology
-
Flink Forward 2021: Apache Flink in the Cloud-native Era
作者:Stephan Ewen 来自:CTO @ Ververica,Apache Flink PMC
-
Flink Forward 2021: Building payment processing engine with Stateful Functions and Spring Boot
作者:Tymur Yarosh 来自:Intellias
-
Flink Forward 2021: Sharing what we love The Apache Flink story at Pinterest
作者:Chen Qin 来自:Pinterest
-
Flink Forward 2021: An Eaisier And Faster Way To Debug Flink Job
作者:Fanshu Jiang,Lu Niu 来自:Stream Processing Platform @ Pinterest
-
Flink Forward 2021: Advancing Data Mesh Building A Stream Processing EcoSystem of Reusable Processors and Datasets
作者:Kasturi Chatterjee, Wei Liu, Andrew Nguonly 来自:Netflix
-
OnZoom基于Apache Hudi的流批一体架构实践
背景 OnZoom是Zoom新产品,是基于Zoom Meeting的一个独一无二的在线活动平台和市场。作为Zoom统一通信平台的延伸,OnZoom是一个综合性解决方案,为付费的Zo…
-
大数据和人工智能如何结合
数据是推动当今数字经济的燃料。 大型组织、小型企业和个人越来越依赖数据来执行日常任务。 被称为大数据的海量数据集由人工智能系统分析以提供洞察力。 这些见解可以是趋势、模式或预测。 …
-
ambari 2.7.6源码编译指南
编译环境与基本软件安装 centos 7.6 maven 3.6.3 由于编译相关jar包较难下载,所以本文提供仅用于ambari编译的maven repository,将该rep…
-
Presto使用Docker独立运行Hive Standalone Metastore管理MinIO(S3)
在Hive 3.0.0以及之后,Hive Metastore便可独立于Hive单独运行,可作为各数据的元数据中心。本文介绍使用Docker运行Hive Standalone Met…
-
hive metastore 3.0介绍
基本介绍 数据库、表、函数等 Hive 对象的定义存储在 Metastore 中。 根据系统的配置方式,统计数据和授权记录也可能存储在那里。 Hive 和其他执行引擎在运行时使用此…
-
基于Flink1.13.3与hudi 0.10.0-release构建准实时数仓
本文基于Flink SQL与hudi构建准实时数仓,在Flink从kafka接入数据之后,即将所有数据存于hudi中,包括所有中间处理数据以及最终数据。文章《实时数仓|基于Flin…
-
kafka log4j日志级别修改,一天生成一个日志文件
kafka的log4j日志默认配置中,有如下配置: log4j.appender.kafkaAppender=org.apache.log4j.DailyRollingFileAp…
-
ubuntu 18.04安装hdp 3.1.0完整版(含安装包下载)
节点准备 hostname ip 角色 ubuntu-1804-1 172.21.73.53 从节点 ubuntu-1804-2 172.21.73.54 主节点 ubuntu-1…
-
HDP 3.1 centos7以及ubuntu18.04高速下载链接
添加作者微信获取下载链接
-
hudi 0.10版本前瞻(2021/12/02)
hudi在2021/11/26对0.10版本代码进行了冻结,并且在官网发布了0.10版本前瞻,我们来一起看一下0.10给我们带来了什么cool features。
-
kafka中的Sticky分区方法
消息在系统中传输所需的时间对 Apache Kafka® 等分布式系统的性能起着重要作用。 在 Kafka 中,生产者的延迟通常定义为客户端生成的消息被 Kafka 确认所需的时间…
-
kafka消息传递语义
现在我们对生产者和消费者的工作方式有了一些了解,让我们来讨论 Kafka 在生产者和消费者之间提供的语义保证。 显然,可以提供多种可能的消息传递保证: 最多一次——消息可能会丢失,…
-
kafka架构之Producer、Consumer详解
Producer 负载均衡 生产者将数据直接发送到作为分区领导者的broker,而没有任何干预路由层。 为了帮助生产者做到这一点,所有 Kafka 节点都可以在任何给定时间回答有关…