大数据
-
用ranger对hive metastore 进行授权管理
hive standalone metastore 3.1.2可作为独立服务,作为spark、flink、presto等服务的元数据管理中心,然而在现有的hive授权方案中只有针对…
-
六分钟读懂Apache Ranger
本文用六分钟视频介绍Apache Ranger,并配有英文字幕。
-
hive metastore配置kerberos认证
hive从3.0.0开始提供hive metastore单独服务作为像presto、flink、spark等组件的元数据中心。但是默认情况下hive metastore在启动之后是…
-
一文读懂Kafka Connect核心概念
概览 Kafka Connect 是一种用于在 Apache Kafka 和其他系统之间可扩展且可靠地流式传输数据的工具。 它使快速定义将大量数据移入和移出 Kafka 的连接器变…
-
spark SQL配置连接Hive Metastore 3.1.2
Hive Metastore作为元数据管理中心,支持多种计算引擎的读取操作,例如Flink、Presto、Spark等。本文讲述通过spark SQL配置连接Hive Metast…
-
Flink Forward Asia 2021 实时数据湖合集
合集内容 Building The Real-time Datalake at ByteDance (00:00:00-00:22:47) Flink CDC 如何简化实时数据入湖…
-
通过Java API获取Hive Metastore中的元数据信息
在文章中,我们说到Hive 3.0.0版本开始,其单独提供了standalone metastore服务以作为像presto等处理引擎的元数据管理中心。 本文以Java API为例…
-
InfluxDB核心概念系列之设计原则
工欲善其事必先利其器,想要用好InfluxDB,当然要先厘清其基本概念,本文为InfluxDB核心概念系列文章之设计原则。 InfluxDB 实现了时间序列数据的优化设计原则。 其…
-
InfluxDB核心概念系列之数据模式
工欲善其事必先利其器,想要用好InfluxDB,当然要先厘清其基本概念,本文为InfluxDB核心概念系列文章之数据模式。 InfluxDB 数据元素存储在时间结构合并树 (TSM…
-
InfluxDB核心概念系列之数据元素
工欲善其事必先利其器,想要用好InfluxDB,当然要先厘清其基本概念,本文为InfluxDB核心概念系列文章之数据元素。 在InfluxDB中,其包括如下种类的数据元素。 tim…
-
springboot 2.6.2集成elasticsearch 7.16
前面说到elasticsearch 7.16集群安装,本文介绍通过springboot 2.6.2集成es的java api对其进行操作。 首先看一下pom文件 pom.xml E…
-
Elasticsearch 7.16集群搭建指南
基本环境 操作系统: centos 7.6 主机信息: hostname ip hadoop1 10.0.2.9 hadoop2 10.0.2.78 hadoop3 10.0.2….
-
Flink 1.14将数据写入InfluxDB 2.1.1
InfluxDB作为时序数据库,在与时间相关的数据记录中,发挥着巨大的作用。下文以flink为例,通过参考Flink第三方扩展(https://github.com/apache/…
-
influxdb 2.1.1安装指南
Influxdb作为时间序列数据库,用于处理高并发写入与查询负载。Influxdb旨在用作任何涉及大量时间戳数据的用例的后端存储,包括DevOp监控,应用指标程序,IoT传感器数据…
-
Flink Forward 2021: 基于Flink SQL的端到端网站用户行为日志分析
作者:Martijn Visser 来自:Ververica
-
Pinterest使用DrSquirrel自动诊断工具快速解决Flink问题
摘要:本文为Flink Forward 2021,Fanshu Jiang & Lu Niu | Software Engineers, Stream Processing…
-
分布式minio搭建指南
分布式Minio可以让你将多块硬盘(甚至在不同的机器上)组成一个对象存储服务。由于硬盘分布在不同的节点上,分布式Minio避免了单点故障。 分布式Minio有什么好处? 在大数据领…
-
Flink Forward 2021: Real-time bot mitigation with machine learning in Flink
作者:Gael Renoux,Konstantina Kontoudi 来自:DataDome
-
Flink Forward 2021: A Debuggers Guide to Apache Flink Streaming Applications
作者:Alexander Fedulov 来自:Ververica
-
Flink Forward 2021: Building Presto SQL experience on Flink
作者:Zhenqiu Huang, Zhongting Hu 来自:Uber