大数据

StarRocks 社区说： 开源运动旗手 Eric S. Raymond 在《大教堂和集市》中说，一个项目若想成功，“要将用户当做合作者”。这也一直是 StarRocks 社区的…

作者：松果出行数据中台部门 松果出行成立于 2017 年，以“构建更智慧的交通基础设施，提升全球所有人的移动能力”为使命，定位于“以工业互联网为基础的交通科技公司”。松果出行创新打…

本期作者 邱亮 哔哩哔哩资深开发工程师 2020年加入B站，Apache Spark contributor，Apache Kyuubi contributor。目前主要从事Spa…

摘要：本文整理自 Apache Flink Committer、Flink CDC Maintainer、阿里巴巴高级开发工程师徐榜江（雪尽）在 5 月 21 日 Flink CD…

一  业务背景 作业帮是一家以科技为载体的在线教育公司。目前旗下拥有工具类产品作业帮、作业帮口算，K12直播课产品作业帮直播课，素质教育产品小鹿编程、小鹿写字、小鹿美术等，以及喵喵…

Spark中的OOM问题不外乎以下两种情况 map执行中内存溢出 shuffle后内存溢出 map执行中内存溢出代表了所有map类型的操作，包括：flatMap，filter，ma…

来源｜Apache Flink 官方博客  Apache Flink 社区很荣幸地宣布 Apache Flink ML 2.1.0 版本正式发布！本次发布的版本重点改进了 Flin…

分享嘉宾：杜军令 字节跳动 大数据工程师 出品平台：DataFunTalk 导读：Doris是一种MPP架构的分析型数据库，主要面向多维分析、数据报表、用户画像分析等场景。自带分析…

摘要：本文整理自网易游戏资深开发工程师林小铂在 Flink Forward Asia 2021 平台建设专场的演讲。主要内容包括： 网易游戏 Flink SQL 发展历程 基于模板…

摘要：本文由趣头条数据平台负责人王金海分享，主要介绍趣头条 Flink-to-Hive 小时级场景和 Flink-to-ClickHouse 秒级场景，内容分为以下四部分： 一、业…

spring shell 官方链接 Version 2.0.0.RELEASE 可以参考这篇文章的视频简介: spring shell Java命令行集成 What is Spri…

基本介绍 目前，图书市场上关于Hive的书籍比较少，而专题介绍Hive性能调优的图书就更少了，几乎是个空白。有些书籍中涉及Hive性能调优，但也只是浅尝辄止。笔者认为，Hive是构…

你还在用面向对象的语言，写着面向过程的代码吗？ 01 前言 Aliware 在欧洲文艺复兴时期，一位伟大的数学家天文学家-哥白尼，在当时提出了日心说，驳斥了以地球为宇宙中心的天体思…

总第522篇 2022年 第039篇 经过近3年的建设打磨，美团流水线引擎完成了服务端的基建统一，每日支撑近十万次的流水线执行量，系统成功率保持在99.99%以上。本文主要介绍美团…

ClickHouse作为目前业内主流的列式存储数据库(DBMS)之一，拥有着同类型DBMS难以企及的查询速度。作为该领域中的后起之秀，ClickHouse已凭借其性能优势引领了业内…

导读 近期，腾讯 TEG 数据平部 MQ 团队开发部署了一套底层运维指标性能分析系统（本文简称 Data 项目） ，目前作为通用基础设施服务整个腾讯集团。该系统旨在收集性能指标、上…

1.文档编写目的 当HDFS的DataNode节点挂载多个磁盘时，往往会出现两种数据不均衡的情况： 1.不同DataNode节点间数据不均衡； 2.挂载数据盘的磁盘间数据不均衡。 …

分享嘉宾：黄彬耕 腾讯 数据工程师 编辑整理：田长远 出品平台：DataFunTalk 导读：今天主要分享Iceberg在微视的一些使用情况。全文将围绕下面三点展开： 为什么会使用…

了解 YARN的容量调度器的基本功能通常是在各种部署中需要处理的一个概念。虽然容量管理涉及共享、扣款和预测等许多方面，但本博客的重点将放在可供平台操作使用的主要功能上。除了基本功能…