后端

近年来，随着大数据分析技术的进步，大量业务场景对数据仓库的实时性提出了更高的要求，Lakehouse 架构逐渐被各大公司熟悉和接受，Apache Hudi（以下简称 Hudi）、A…

导读：本文介绍顺丰科技在数据治理方面的实践。分享分为两个部分，第一部分总体介绍顺丰科技在整个数据治理过程中的心路历程：我们做了哪些工作，在数据治理各个领域，分别做了什么事情。第二部…

一、Raft算法概述 1、三种角色   Raft是一个用于管理日志一致性的协议。它将分布式一致性分解为多个子问题：Leader选举（Leader election）、日志复制（Lo…

（本文作者） 大数据技术日新月异，数据湖、数据中台、逻辑数据湖、数据编织、数据编排等数据建设理念不断出现、深化，究其根本依然是如何能够将数据规整起来，以统一的规范对数据的脉络进行梳…

背景 2022 年 6 月 8 日，Redis Inc. 的官方博客发布了一篇名为《13 年后，Redis 是否需要一个新架构？》[1]的文章，这篇文章由 Redis 的联合创始人…

原地址：https://github.com/RoaringBitmap/RoaringBitmap Bitsets，也称为bitmaps，通常用作快速数据结构。 不幸的是，它们可…

作者：陈晨，DeepFLow 产品架构师 虚拟化和容器化让应用的部署环境和运行环境变得复杂起来，系统的复杂度呈指数级增长。在垂直领域下各个可观测性开源产品的侧重点也是不同，那打通这…

Apache Iceberg 社区推出了一种名为 Puffin 的新文件格式。 等一下。 我们有 Parquet 和 ORC。我们真的需要另一种文件格式吗? 它是否给我们带来了额外…

这项研究建立在 Datadog 以前版本的容器使用报告[1]、容器编排报告[2]和Docker 研究报告[3]的基础上。最新更新于 2022 年 11 月。译自：https://w…

作者｜贺小令 Apache Flink 持续保持高速发展，是 Apache 最活跃的社区之一。Flink 1.16 共有 240 多个 Contributor 热情参与，共完成了 …

问题一 当hive的metastore为MySQL时，数据库及表编码都必须是latin1(CHARACTER SET latin1 COLLATE latin1_bin)，否则会有…

导读： 大数据集群从最初开始建设时，一般都采用存算一体化的架构，主要是考虑部署简单、管理起来也方便。但是随着集群规模的不断扩大，在整个集群的资源规划和稳定性上都遭受到了不同程度的挑…

“ 为了满足业务大数据架构使用多种sql引擎：spark，flink，trino(同时查询 hive，clickhouse 等)，需要部署一个统一的sql入口，该入口满足多引擎多平…

字节数据中台DataLeap的Data Catalog系统通过接收MQ中的近实时消息来同步部分元数据。Apache Atlas对于实时消息的消费处理不满足性能要求，内部使用Flin…

deployment描述文件信息： apiVersion: apps/v1 kind: Deployment metadata: labels: k8s-app: nexus3 n…

相关版本 hadoop 3.2.0 spark 3.3.0 hudi 0.12.0 问题分析 用beeline连接spark thriftserver或者kyuubi（spark …

分享嘉宾：汪建锋 火山引擎 技术专家 编辑整理：张玮 出品平台：DataFunTalk 导读：字节跳动旗下有许多产品，每天有大量的数据需要接收和计算。其中，以抖音、头条等为代表的产…