Hive
-
Hive中的InputFormat、OutputFormat与SerDe
概览 Hive中,默认使用的是TextInputFormat,一行表示一条记录。在每条记录(一行中),默认使用^A分割各个字段。 在有些时候,我们往往面对多行,结构化的文档,并需要…
-
Hive LLAP概念透析
概览 由于社区近年来构建的各种功能和改进,包括 Tez 和基于成本的优化,Hive 的速度显着提高。 将 Hive 提升到一个新的水平需要以下内容: 异步主轴感知 IO 列块的预取…
-
Hive性能调优实战 PDF下载
基本内容 Hive作为Hadoop生态的重要组成部分,以其稳定和简单易用成为了当前企业在搭建大数据平台及构建企业级数据仓库时使用较为普遍的大数据组件之一。 目前,图书市场上关于Hi…
-
windows 11系统调试hive metastore 3.1.2源码新姿势
由于工作原因,需要深入了解一下hive metastore相关源码,这几天尝试了在windows中运行hive metastore代码,这边记录一下踩坑的过程以及解决方法。 win…
-
Hive MetaStore 在快手遇到的挑战与优化
分享嘉宾:王磊@快手编辑整理:Frank出品平台:DataFunTalk 导读:快手基于Hive构建数据仓库,并把Hive的元数据信息存储在MySql中,随着业务发展和数据增长,一…
-
云原生时代的到来,Hive会被替代吗
Apache Hive 在 2010 年作为 Hadoop 生态系统的一个组成部分突然出现,当时 Hadoop 是进行大数据分析的新颖且创新的方式。 Hive 所做的是为 Hado…
-
吴怡雯:腾讯数据湖元数据治理实践
分享嘉宾:吴怡雯 腾讯 高级工程师编辑整理:田长远出品平台:DataFunTalk 导读:大家好,今天分享的主题是腾讯数据湖的元数据治理实践,跟大家一起聊聊腾讯云上DLC数据湖计算…
-
hive面试题汇总
Hive的metastore的三种模式 内嵌Derby⽅式 这个是Hive默认的启动模式,⼀般⽤于单元测试,这种存储⽅式有⼀个缺点:在同⼀时间只能有⼀个进程连接使⽤数据库。 Loc…
-
将hudi同步到配置kerberos的hive3
前人种树,后人乘凉。本文基于社区pr:https://github.com/apache/hudi/pull/3771 ,新增一些其他配置项以完成本场景下的hudi → hive …
-
用ranger对hive metastore 进行授权管理
hive standalone metastore 3.1.2可作为独立服务,作为spark、flink、presto等服务的元数据管理中心,然而在现有的hive授权方案中只有针对…
-
hive metastore配置kerberos认证
hive从3.0.0开始提供hive metastore单独服务作为像presto、flink、spark等组件的元数据中心。但是默认情况下hive metastore在启动之后是…
-
spark SQL配置连接Hive Metastore 3.1.2
Hive Metastore作为元数据管理中心,支持多种计算引擎的读取操作,例如Flink、Presto、Spark等。本文讲述通过spark SQL配置连接Hive Metast…
-
通过Java API获取Hive Metastore中的元数据信息
在文章中,我们说到Hive 3.0.0版本开始,其单独提供了standalone metastore服务以作为像presto等处理引擎的元数据管理中心。 本文以Java API为例…
-
Presto使用Docker独立运行Hive Standalone Metastore管理MinIO(S3)
在Hive 3.0.0以及之后,Hive Metastore便可独立于Hive单独运行,可作为各数据的元数据中心。本文介绍使用Docker运行Hive Standalone Met…
-
hive metastore 3.0介绍
基本介绍 数据库、表、函数等 Hive 对象的定义存储在 Metastore 中。 根据系统的配置方式,统计数据和授权记录也可能存储在那里。 Hive 和其他执行引擎在运行时使用此…
-
hive-3.1.2安装以及使用tez作为执行引擎指南
hive是构建于hadoop之上的、基于SQL的分布式关系型数据库。 为了成功安装好hive,首先确保 hdfs集群安装(单namenode和HA模式) hadoop yarn安装…
-
使用presto查询同步到hive的hudi数据
温馨提示要完成如下任务,请确保已经使用其他方法将hudi数据同步到hive中。如果没有同步hive数据,可参考文章:使用flink SQL Client将mysql数据写入到hud…
-
使用flink SQL Client将mysql数据写入到hudi并同步到hive
测试环境 组件版本 mysql 5.7 hive 3.1.2 flink 1.12.2 hudi 0.9.0 hadoop 3.2.0 首先请确保以下组件正常启动: mysql h…
-
Apache Hive 与 Apache Tez – 内存管理与调优
Apache Tez is an extensible framework for building high performance batch and interactive …