后端

作者｜贺小令 Apache Flink 持续保持高速发展，是 Apache 最活跃的社区之一。Flink 1.16 共有 240 多个 Contributor 热情参与，共完成了 …

问题一 当hive的metastore为MySQL时，数据库及表编码都必须是latin1(CHARACTER SET latin1 COLLATE latin1_bin)，否则会有…

导读： 大数据集群从最初开始建设时，一般都采用存算一体化的架构，主要是考虑部署简单、管理起来也方便。但是随着集群规模的不断扩大，在整个集群的资源规划和稳定性上都遭受到了不同程度的挑…

“ 为了满足业务大数据架构使用多种sql引擎：spark，flink，trino(同时查询 hive，clickhouse 等)，需要部署一个统一的sql入口，该入口满足多引擎多平…

字节数据中台DataLeap的Data Catalog系统通过接收MQ中的近实时消息来同步部分元数据。Apache Atlas对于实时消息的消费处理不满足性能要求，内部使用Flin…

deployment描述文件信息： apiVersion: apps/v1 kind: Deployment metadata: labels: k8s-app: nexus3 n…

相关版本 hadoop 3.2.0 spark 3.3.0 hudi 0.12.0 问题分析 用beeline连接spark thriftserver或者kyuubi（spark …

分享嘉宾：汪建锋 火山引擎 技术专家 编辑整理：张玮 出品平台：DataFunTalk 导读：字节跳动旗下有许多产品，每天有大量的数据需要接收和计算。其中，以抖音、头条等为代表的产…

摘要：本文整理自 37 手游大数据平台资深开发工程师史飞翔在实时数仓 Workshop · 广州站的演讲。主要内容包括： 云平台大数据建设背景 云平台大数据建设方案 应用实践 未来…

Flink Forward Asia 2022 将于 11 月 26-27 日在线上举办，议程内容正式上线！ 今年是 Flink Forward Asia（下文简称 FFA）落地中…

分享嘉宾：杜军令 字节跳动 大数据工程师 出品平台：DataFunTalk 导读：Doris是一种MPP架构的分析型数据库，主要面向多维分析、数据报表、用户画像分析等场景。自带分析…

?云原生架构下，基于 Hadoop 技术栈搭建数据平台应该如何改造？ 理想汽车大数据平台涉及的组件多， 在从 Hadoop 到云原生演进的过程中边探索，边实践，积累了不少一手经验；…

问题描述 在hudi 0.12.0版本，flink和spark都可以基于hive metastore进行元数据管理，更多信息可参考：hudi HMS Catalog指南。也就是说基…

动手点关注 干货不迷路 1. 概述 本文将首先介绍 Spark AQE SkewedJoin 的基本原理以及字节跳动在使用 AQE SkewedJoin 的实践中遇到的一些问题；其…

使用flink kubernetes operator创建flink任务，将flink日志通过sidecar方式发送到es相关配置 apiVersion: flink.apache…

Apache Hudi 是一个流式数据湖平台，将核心仓库和数据库功能直接引入数据湖。Hudi 不满足于将自己称为 Delta 或 Apache Iceberg 之类的开放文件格式，…

本期作者 束家麒 基础架构部资深开发工程师 凌涛 基础架构部资深开发工程师 01 背景介绍 日志作为线上定位问题排障的重要手段，在可观测领域有着不可替代的作用。稳定性、成本、易用性…

“ 作者介绍： 赵敏，网易数帆服务端开发工程师，Apache Kyuubi Committer。目前在网易数帆从事有数数据集成产品的开发。 ”                   …

背景 湖仓一体（LakeHouse）是一种新的开放式架构，它结合了数据湖和数据仓库的最佳元素，是当下大数据领域的重要发展方向。  华为云早在2020年就开始着手相关技术的预研，并落…