大数据

摘要 尘锋信息基于 Apache Paimon 构建流批一体湖仓，主要分享： 整库入湖，TB 级数据近实时入湖 基于 Flink + Paimon 的数仓 批 ETL 建设 基于 …

摘要：本文整理自 Airwallex Risk ML Platform Team 董大凡，在 Flink Forward Asia 2022 实时风控专场的分享。本篇内容主要分为五…

GraalVM 是一种高性能 JDK，旨在加速用 Java 和其他 JVM 语言编写的应用程序的执行，同时还为 JavaScript、Python 和许多其他流行语言提供运行时。 …

本文档介绍了各种调优 Alluxio 性能的技巧和配置。 常见性能问题 以下是在调整性能时用于解决常见问题的清单： 所有节点都在工作吗？ 检查 Alluxio 集群是否健康。 您可…

指标提供了对集群中正在发生的事情的洞察力。 它们是用于监视和调试的宝贵资源。 Alluxio 有一个基于 Coda Hale 指标库的可配置指标系统。 在度量系统中，源生成度量，汇…

导读 本文主要内容包括： 1. 云平台上统一 UDF 的实现 2. 字节内部平台的实现 3. 贡献到开源社区的相关内容 4. 未来工作 分享嘉宾｜张砚炳 字节跳动 软件开发工程师 …

摘要：本文整理自中泰证券大数据中心实时计算平台架构师连序全，在 Flink Forward Asia 2022 行业案例专场的分享。本篇内容主要分为四个部分： 平台发展历程 架构&…

本期作者 李昌海 哔哩哔哩资深开发工程师 韩志华 大数据平台工具负责人 1.序言 Berserker是B站一站式数据开发及治理平台，基于常用大数据生态组件构建，满足公司内数据查询、…

01  背景 本次赛题思路源自于真实工作场景的一个线上项目，该项目在经过一系列优化后已稳定上线，在该项目开发的过程中数据平台组和技术负责人提供了许多资源和指导意见，而项目的结果也让…

文章摘要 本文整理自 Pulsar Summit Asia 2022 腾讯云高级研发工程师冉小龙的演讲《Deep Dive into Apache Pulsar Lifecycle…

摘要：本文整理自阿里云高级开发工程师 Apache Flink Committer、Flink 1.16 Release Manager 黄兴勃（断尘），在 FFA 2022 核心…

背景：Kubernetes(k8s)/ack是一个开源的容器集群管理系统。在Docker技术的基础上，为容器化的应用提供部署运行、资源调度、服务发现和动态伸缩等一系列完整功能，提高…

01 背景 得物供应链业务是纷繁复杂的，我们既有JIT的现货模式中间夹着这大量的仓库作业环节，又有到仓的寄售，品牌业务，有非常复杂的逆向链路。在这么复杂的业务背后，我们需要精细化关…

导读 过去的几年里，随着大数据的进一步发展，现代数据栈的生态愈加丰富完善，而数据湖在这期间几乎已成为现代数据栈的必备品，它的出现大大简化了用户管理数据的难度，让用户更加关心于数据本…

Apache Hudi 0.13.0引入了一系列新特性，包括Metaserver, Change Data Capture, new Record Merge API, new s…

摘要：本文整理自集度汽车数据部门实时方向负责人、 Apache Flink Contributor 周磊&集度汽车数据开发专家顾云，在 FFA 2022 行业案例专场的分享…

本次分享主要包括四个方面： 存储现状 存储加速 存储服务化 未来规划 存储现状 1 存储结构：目前虾皮的存储结构从上到下主要分为存储层、调度层、计算引擎层和平台管理层。 2 存储规…

导读 本文将分享 Alluxio 社区和 Presto 社区在数据湖方面的一些工作，主要聚焦 Iceberg。 文章包括以下几个部分： 1. Presto & Alluxi…

使用 Apache Iceberg 作为您的数据湖表格式可以实现更快的数据湖分析、时间旅行、分区演化、ACID 事务等。Apache Iceberg 是实现开放式 Lakehous…

摘要：本文整理自美的集团实时数据负责人、资深数据架构师董奇，在 Flink Forward Asia 2022 主会场的分享。本篇内容主要分为四个部分： 实时生态系统在美的的发展和…