后端

Flink SQL 的数据脱敏解决方案，支持面向用户级别的数据脱敏访问控制，即特定用户只能访问到脱敏后的数据。此方案是实时领域Flink的解决思路，类似于离线数仓 Hive 中 R…

本期作者 陈昱康 哔哩哔哩离线平台负责人 卜凡 哔哩哔哩高级开发工程师 吴剑亮 哔哩哔哩资深开发工程师 1.背景 在过去一年的时间里，B站离线平台资源调度侧的主要挑战有两个方面: …

本期作者 韩建凯 哔哩哔哩资深开发工程师 背景 当前账号系统从研发维护的角度有以下痛点： 账号研发团队支持多条业务线：B站国内版、B站国际版、海外游戏等。但当前每一个业务线都是独立…

哈喽大家好，我是阿Q！ 通过这一个多月的努力，将 FullGC 从40次/天优化到近10天才触发一次，而且 YoungGC 的时间也减少了一半以上，这么大的优化，有必要记录一下中间…

在之前的文章中，我们讨论了Kubernetes 限制和请求的基础知识[1]：它们在管理云环境中的资源方面发挥着重要作用。 在另一篇文章中，我们讨论了可能影响集群的内存不足终止和 C…

摘要：Apache Flink 社区在 1.16 版本引入了 Hybrid Shuffle Mode [1]，它是传统的 Batch Shuffle 和 Pipelined Shu…

PART 01 背景 OPPO 大数据平台目前有 20+个服务组件，数据量超 1EB，离线任务数近百万，实时任务数千，数据开发分析师超千人。这也带来了系统复杂度的问题，一方面是用户…

本期作者 张陈毅 哔哩哔哩资深开发工程师 曹杰 哔哩哔哩资深开发工程师 1. 背景 在当前整个行业及公司内部降本增效的大背景下，B站内部也在积极推进实时与在线业务资源的整合，往云原…

Facebook 正在使用 GraalVM 来加速其 Spark 工作负载并减少内存和 CPU 使用率。 继续阅读以了解他们的迁移故事、性能改进结果和未来计划。 Facebook …

摘要 尘锋信息基于 Apache Paimon 构建流批一体湖仓，主要分享： 整库入湖，TB 级数据近实时入湖 基于 Flink + Paimon 的数仓 批 ETL 建设 基于 …

目录 前言 传统的数据传输方法 零拷贝的数据传输方法 “基础的”零拷贝机制 对Scatter/Gather的支持 对内存映射（mmap）的支持 零拷贝机制的应用 在Kafka中的应…

伴生类和伴生对象 设计初衷 由于static定义的类和对象破坏了 面向对象编程的规范完整性，因此scala 在设计之初就没有static关键字概念，类相关的静态属性都放在伴生对象o…

摘要：本文整理自 Airwallex Risk ML Platform Team 董大凡，在 Flink Forward Asia 2022 实时风控专场的分享。本篇内容主要分为五…

前言 前言、理论，实践请参考 微博增值团队可观测性探索与实践-初探 、微博增值团队可观测性探索与实践-实践 强烈建议优先阅读。 提前说明一下，本人现在已经从微博离职了，这篇文章算是…

本文整理自云杉网络 DeepFlow 产品负责人向阳在 QCon 2023 的演讲分享，主题为“基于 eBPF 的云原生可观测性深度实践”。             分享从四个方面…

GraalVM 是一种高性能 JDK，旨在加速用 Java 和其他 JVM 语言编写的应用程序的执行，同时还为 JavaScript、Python 和许多其他流行语言提供运行时。 …

本文档介绍了各种调优 Alluxio 性能的技巧和配置。 常见性能问题 以下是在调整性能时用于解决常见问题的清单： 所有节点都在工作吗？ 检查 Alluxio 集群是否健康。 您可…

指标提供了对集群中正在发生的事情的洞察力。 它们是用于监视和调试的宝贵资源。 Alluxio 有一个基于 Coda Hale 指标库的可配置指标系统。 在度量系统中，源生成度量，汇…

有时应用会占用大量 CPU 时间，这可能会对环境的整体健康状况造成负面影响。使用 /sys/fs/ 虚拟文件系统，利用 控制组版本 1 (cgroups-v1) 为应用配置 CPU…

导读 本文主要内容包括： 1. 云平台上统一 UDF 的实现 2. 字节内部平台的实现 3. 贡献到开源社区的相关内容 4. 未来工作 分享嘉宾｜张砚炳 字节跳动 软件开发工程师 …