后端
-
B站账号多租户架构升级与落地实践
本期作者 韩建凯 哔哩哔哩资深开发工程师 背景 当前账号系统从研发维护的角度有以下痛点: 账号研发团队支持多条业务线:B站国内版、B站国际版、海外游戏等。但当前每一个业务线都是独立…
-
一次线上JVM调优实践,FullGC40次/天到10天一次的优化过程
哈喽大家好,我是阿Q! 通过这一个多月的努力,将 FullGC 从40次/天优化到近10天才触发一次,而且 YoungGC 的时间也减少了一半以上,这么大的优化,有必要记录一下中间…
-
K8S CPU 请求和限制,是否有很好的选择?
在之前的文章中,我们讨论了Kubernetes 限制和请求的基础知识[1]:它们在管理云环境中的资源方面发挥着重要作用。 在另一篇文章中,我们讨论了可能影响集群的内存不足终止和 C…
-
Hybrid Shuffle 测试分析和使用建议
摘要:Apache Flink 社区在 1.16 版本引入了 Hybrid Shuffle Mode [1],它是传统的 Batch Shuffle 和 Pipelined Shu…
-
OPPO 大数据诊断平台“罗盘”正式开源
PART 01 背景 OPPO 大数据平台目前有 20+个服务组件,数据量超 1EB,离线任务数近百万,实时任务数千,数据开发分析师超千人。这也带来了系统复杂度的问题,一方面是用户…
-
云原生架构下B站Flink存算分离的改造实践
本期作者 张陈毅 哔哩哔哩资深开发工程师 曹杰 哔哩哔哩资深开发工程师 1. 背景 在当前整个行业及公司内部降本增效的大背景下,B站内部也在积极推进实时与在线业务资源的整合,往云原…
-
Spark on GraalVM在facebook的应用
Facebook 正在使用 GraalVM 来加速其 Spark 工作负载并减少内存和 CPU 使用率。 继续阅读以了解他们的迁移故事、性能改进结果和未来计划。 Facebook …
-
尘锋信息基于 Apache Paimon 的流批一体湖仓实践
摘要 尘锋信息基于 Apache Paimon 构建流批一体湖仓,主要分享: 整库入湖,TB 级数据近实时入湖 基于 Flink + Paimon 的数仓 批 ETL 建设 基于 …
-
零拷贝(Zero-copy)及其应用详解
目录 前言 传统的数据传输方法 零拷贝的数据传输方法 “基础的”零拷贝机制 对Scatter/Gather的支持 对内存映射(mmap)的支持 零拷贝机制的应用 在Kafka中的应…
-
scala中的伴生类和伴生对象
伴生类和伴生对象 设计初衷 由于static定义的类和对象破坏了 面向对象编程的规范完整性,因此scala 在设计之初就没有static关键字概念,类相关的静态属性都放在伴生对象o…
-
Airwallex 基于 Flink 打造实时风控系统
摘要:本文整理自 Airwallex Risk ML Platform Team 董大凡,在 Flink Forward Asia 2022 实时风控专场的分享。本篇内容主要分为五…
-
微博增值团队可观测性实践落地与回顾-上篇
前言 前言、理论,实践请参考 微博增值团队可观测性探索与实践-初探 、微博增值团队可观测性探索与实践-实践 强烈建议优先阅读。 提前说明一下,本人现在已经从微博离职了,这篇文章算是…
-
基于 eBPF 的云原生可观测性深度实践
本文整理自云杉网络 DeepFlow 产品负责人向阳在 QCon 2023 的演讲分享,主题为“基于 eBPF 的云原生可观测性深度实践”。 分享从四个方面…
-
GraalVM基本介绍
GraalVM 是一种高性能 JDK,旨在加速用 Java 和其他 JVM 语言编写的应用程序的执行,同时还为 JavaScript、Python 和许多其他流行语言提供运行时。 …
-
Alluxio性能调优
本文档介绍了各种调优 Alluxio 性能的技巧和配置。 常见性能问题 以下是在调整性能时用于解决常见问题的清单: 所有节点都在工作吗? 检查 Alluxio 集群是否健康。 您可…
-
Alluxio监控系统
指标提供了对集群中正在发生的事情的洞察力。 它们是用于监视和调试的宝贵资源。 Alluxio 有一个基于 Coda Hale 指标库的可配置指标系统。 在度量系统中,源生成度量,汇…
-
使用 cgroups-v1 为应用程序设置 CPU 限制
有时应用会占用大量 CPU 时间,这可能会对环境的整体健康状况造成负面影响。使用 /sys/fs/ 虚拟文件系统,利用 控制组版本 1 (cgroups-v1) 为应用配置 CPU…
-
Presto 在字节跳动的实践
导读 本文主要内容包括: 1. 云平台上统一 UDF 的实现 2. 字节内部平台的实现 3. 贡献到开源社区的相关内容 4. 未来工作 分享嘉宾|张砚炳 字节跳动 软件开发工程师 …
-
Flink 在中泰证券的实践与应用
摘要:本文整理自中泰证券大数据中心实时计算平台架构师连序全,在 Flink Forward Asia 2022 行业案例专场的分享。本篇内容主要分为四个部分: 平台发展历程 架构&…
-
应用响应时延背后深藏的网络时延
应用异常时,基本可以分为服务访问不通和服务响应慢两个大类。其中服务响应慢的问题定位非常棘手,很多无头案。应用团队有日志和追踪,对于自认为的不可能不合理的事情都会甩给基础设施团队,又…