后端

Monarch 是 Pinterest 的批处理平台，由30多个 Hadoop YARN 集群组成，其中17k+节点完全建立在 AWS EC2 之上。2021年初，Monarch …

分享嘉宾：李文杰博士 北京大学 博士后 编辑整理：王京旺 河北北方学院 出品平台：DataFunTalk 导读：本文分享图数据库和知识图谱的基础内容以及我们做过的相关工作。主要内容…

一、为什么使用线程池 在java中，执行任务的最小单位是线程。我们知道，线程是一种稀缺的资源，它的创建于销毁是一个非常耗费资源的操作，而Java线程依赖于内核线程，其线程的创建需要…

垃圾回收机制概述 Java语言中一个显著的特点就是引入了垃圾回收机制，使c++程序员最头疼的内存管理的问题迎刃而解，它使得Java程序员在编写程序的时候不再需要考虑内存管理。由于有…

Java虚拟机原理 所谓虚拟机，就是一台虚拟的机器。他是一款软件，用来执行一系列虚拟计算指令，大体上虚拟机可以分为:系统虚拟机和程序虚拟机， 大名鼎鼎的Visual Box、Vma…

前言 在日常的开发工作中，遇到生产环境报OOM的问题时，你首先会想到采用哪些方式并使用什么样的工具对OOM问题进行分析，定位和解决呢？ 实际现场环境无非有这么两种，第一种，如果项目…

分享嘉宾：周研博士 创邻科技 CTO 编辑整理：李晓 网易 出品平台：DataFunTalk 导读：本次分享主题为图数据库存储技术及实践，将介绍创邻科技在多年实践和优化中对图数据库…

盘点行业内近期发生的大事，Delta 2.0 的开源是最让人津津乐道的，尤其在 Databricks 官宣 delta2.0 时抛出了下面这张性能对比，颇有些引战的味道。 虽然 D…

导读： 本文主要介绍网易数帆NDH在Impala上实现的虚拟数仓特性，包括资源分组、水平扩展、混合分组和分时复用等功能，可以灵活配置集群资源、均衡节点负载、提高查询并发，并充分利用…

作者：唐辉 1.文档编写目的 在日常使用中，我们可以发现在hive元数据库中的TBL_COL_PRIVS，TBL_PRIVS 、PART_COL_STATS表相当大，部分特殊情况下…

Hudi在构建流式数据湖方面具有领先地位。Flink作为真正的流处理引擎，与Hudi搭配是理所应当的事情了。但是目前Hudi MOR表压缩功能除了在线压缩以外，并不能通过SQL实现…

字节跳动是如何做用户增长的？ 关于这个问题，坊间流传着各种版本的回答。有人说时也命也靠运气；有人说靠抖音最推崇的算法；也有人说是靠字节一只强悍的增长团队… 10年前，在…

分享嘉宾：孙超 小红书 软件工程师 编辑整理：王宇翔 出品平台：DataFunTalk 导读：本文主要介绍了小红书数据流团队基于Apache Iceberg在实时数仓领域的探索与实…

本期作者 肖玲通 哔哩哔哩高级开发工程师 从事 B 站 Android CI/CD 开发，当前聚焦在Android 编译构建方面。 01 背景 在今年年初时，我们发现在 Andro…

摘要：本文整理自字节跳动基础架构工程师，Apache Flink Contributor 马越在 Flink Forward Asia 2021 平台建设专场的演讲。主要内容包括：…

分享嘉宾：陈明雨 Apache Doris PMC 成员 编辑整理：刘闰丰 酷开科技 出品平台：DataFunTalk 导读：本次分享的主题是Apache Doris极速1.0版本…

在过去的几年里，数据湖已成为现代数据栈的必备品。但是虽然支持我们访问和分析数据的技术已经成熟，但在分布式环境中理解和信任这些数据的机制却落后了。 数据发现[1]可以帮助确保您的数据…

本期作者 武安闯 哔哩哔哩业务SRE负责人 2016年加入B站，深度参与B站微服务拆分、云原生改造、高可用建设、SRE转型和稳定性体系落地等业务。当前主要关注B站在线业务的SRE稳…