大数据

文章大纲： 一、背景 二、技术方案 2.1 整体架构 2.2 方案详述： 1.纵向伸缩： 2.横向伸缩 3.云原生独立部署模式 4.资源伸缩协调器 三、方案实践及效果 3.1 弹性…

📖 关于作者：  苏锐，Juicedata 合伙人， JuiceFS 的1号成员，一直深度参与在开源社区中支持开发者使用 JuiceFS。历任互联网 O2O 汽车服务品牌功夫洗车创…

你曾经使用过pandas的 pd.read_csv() 吗？如果你使用 parquet 而不是 CSV，那么该命令的运行速度可能会快约 50 倍[1]。 在这篇文章中我们将讨论 A…

分享嘉宾：张友军 字节跳动 编辑整理：王宇翔 出品平台：DataFunTalk 导读：今天很高兴能与大家分享字节数据平台在实时数仓中的一些实践。目前在数据湖和Hudi相关的一些基本…

动手点关注 干货不迷路 👇 前言 HiveServer2 属于 Hive 组件的一个服务，主要提供 Hive 访问接口，例如可通过 JDBC 的方式提交 Hive 作业，HiveS…

1. 背景 经典场景 Flink 侧实现 业务侧通常会基于实时计算引擎在流上做多个数据源的 JOIN 产出这个宽表，但这种解决方案在实践中面临较多挑战，主要可分为以下两种情况： 1…

分享嘉宾：魏子珺 阿里云 ES内核专家 编辑整理：陈凯翔 亚厦股份 出品平台：DataFunTalk 导读：大家好，我是来自阿里巴巴的魏子珺，今天给大家分享的主题是基于Elasti…

作者｜Jingsong Lee jingsonglee0@gmail.com Apache Flink 社区很高兴地宣布发布 Apache Flink Table Store 0….

导读： 本文将带领大家一起基于实际的应用场景进行实践，从0~1构建数据标准并在模型设计和数据质量中体现价值。 数据标准如何应用？数据标准能起到什么作用？自数据标准产品上线以来，一直…

今天我们来讨论一个JUC中的集合类CopyOnWriteArrayList。 为什么研究这个类 在很多应用场景中，对于集合的读操作的频率一定会远远大于写操作。由于读操作根本不会修改…

Flink 的 side output 为我们提供了侧流（分流）输出的功能，根据条件可以把一条流分为多个不同的流，之后做不同的处理逻辑，下面就来看下侧流输出相关的源码。

分享嘉宾：盖建伟 （前）网易 数据研发 编辑整理：霍玮 洛钼集团 出品平台：DataFunTalk 导读：传媒的数据管治体系，解决了资源使用负载高、不可控的痛点，搭建了数据资产登记…

分享嘉宾：吴喆 腾讯音乐 高级研究员 编辑整理：吴祺尧 加州大学圣地亚哥分校 出品平台：DataFunTalk 导读：推荐技术在迭代思路上已经形成一套成熟的范式，通过对经典算法的解…

本期作者 陈昱康 哔哩哔哩技术专家 B站离线平台负责人, 对分布式计算和存储、调度、查询引擎、在线离线混部、高并发等方面有丰富研发和实践经验。 陈诚 哔哩哔哩资深开发工程师 202…

目录1. Shopee 数据系统建设中面临的典型问题2. 为什么选择 Hudi3. Shopee 在 Hudi 落地过程中的实践4. 社区贡献5. 总结与展望 湖仓一体（LakeH…

1.预备环境准备 Nacos 依赖 Java 环境来运行。如果您是从代码开始构建并运行Nacos，还需要为此配置 Maven环境，请确保是在以下版本环境中安装使用: 64 bit …

分享嘉宾：祝佳俊 网易严选 资深开发工程师 编辑整理：张晓伟 美团点评 出品平台：DataFunTalk 导读：Iceberg是数据湖解决方案中比较热门的解决方案之一，通常用于批流…

📖 作者简介： 刘畅，一面数据运维负责人，十五年程序老兵，计算机原理、算法、编程爱好者。 李阳良，一面数据大数据部门负责人，九年互联网工作经验，对后台开发、大数据技术接触比较多。 …

平时我们在使用git 管理项目的时候，会遇到这样一种情况，那就是客户使用git 生成patch 给到我们，那我们就需要把客户给到patch 打入到我们的project ，基于这样一…