后端

导读： 今天分享的主题是元数据治理实践，这是一项长期持续的工作，涉及多部门协作、多角色参与，链路长且复杂，要有完善的流程、成熟的平台、业务和技术部门共同参与，才能推进治理工作的有效…

x## ubuntu安装nfs服务 sudo apt-get install nfs-kernel-server sudo vim /etc/exports /data1/nfs/…

文章大纲： 一、背景 二、技术方案 2.1 整体架构 2.2 方案详述： 1.纵向伸缩： 2.横向伸缩 3.云原生独立部署模式 4.资源伸缩协调器 三、方案实践及效果 3.1 弹性…

? 关于作者：  苏锐，Juicedata 合伙人， JuiceFS 的1号成员，一直深度参与在开源社区中支持开发者使用 JuiceFS。历任互联网 O2O 汽车服务品牌功夫洗车创…

你曾经使用过pandas的 pd.read_csv() 吗？如果你使用 parquet 而不是 CSV，那么该命令的运行速度可能会快约 50 倍[1]。 在这篇文章中我们将讨论 A…

分享嘉宾：张友军 字节跳动 编辑整理：王宇翔 出品平台：DataFunTalk 导读：今天很高兴能与大家分享字节数据平台在实时数仓中的一些实践。目前在数据湖和Hudi相关的一些基本…

动手点关注 干货不迷路 ? 前言 HiveServer2 属于 Hive 组件的一个服务，主要提供 Hive 访问接口，例如可通过 JDBC 的方式提交 Hive 作业，HiveS…

1. 背景 经典场景 Flink 侧实现 业务侧通常会基于实时计算引擎在流上做多个数据源的 JOIN 产出这个宽表，但这种解决方案在实践中面临较多挑战，主要可分为以下两种情况： 1…

分享嘉宾：魏子珺 阿里云 ES内核专家 编辑整理：陈凯翔 亚厦股份 出品平台：DataFunTalk 导读：大家好，我是来自阿里巴巴的魏子珺，今天给大家分享的主题是基于Elasti…

作者｜Jingsong Lee jingsonglee0@gmail.com Apache Flink 社区很高兴地宣布发布 Apache Flink Table Store 0….

导读： 本文将带领大家一起基于实际的应用场景进行实践，从0~1构建数据标准并在模型设计和数据质量中体现价值。 数据标准如何应用？数据标准能起到什么作用？自数据标准产品上线以来，一直…

今天我们来讨论一个JUC中的集合类CopyOnWriteArrayList。 为什么研究这个类 在很多应用场景中，对于集合的读操作的频率一定会远远大于写操作。由于读操作根本不会修改…

分享嘉宾：商超博士 京东硅谷研究院 研究员 编辑整理：张存旺 北航杭州创新研究院 出品平台：DataFunTalk 导读：本文将分享Temporal Knowledge Graph…

Flink 的 side output 为我们提供了侧流（分流）输出的功能，根据条件可以把一条流分为多个不同的流，之后做不同的处理逻辑，下面就来看下侧流输出相关的源码。

分享嘉宾：盖建伟 （前）网易 数据研发 编辑整理：霍玮 洛钼集团 出品平台：DataFunTalk 导读：传媒的数据管治体系，解决了资源使用负载高、不可控的痛点，搭建了数据资产登记…

分享嘉宾：吴喆 腾讯音乐 高级研究员 编辑整理：吴祺尧 加州大学圣地亚哥分校 出品平台：DataFunTalk 导读：推荐技术在迭代思路上已经形成一套成熟的范式，通过对经典算法的解…

本期作者 陈昱康 哔哩哔哩技术专家 B站离线平台负责人, 对分布式计算和存储、调度、查询引擎、在线离线混部、高并发等方面有丰富研发和实践经验。 陈诚 哔哩哔哩资深开发工程师 202…

分享嘉宾：赵宇博士 京东零售 编辑整理：王妍红 出品平台：DataFunTalk 导读：大家好，我是来自京东零售搜索算法部的赵宇，今天我来给大家介绍一下我们使用强化学习在大促流量调…

目录1. Shopee 数据系统建设中面临的典型问题2. 为什么选择 Hudi3. Shopee 在 Hudi 落地过程中的实践4. 社区贡献5. 总结与展望 湖仓一体（LakeH…