后端
-
深入理解TEZ引擎
简介 Tez是Apache开源的支持DAG作业的计算框架,是支持HADOOP2.x的重要引擎。它源于MapReduce框架,核心思想是将Map和Reduce两个操作进一步拆分,分解…
-
数据库关系代数详解
数据库关系代数 1. 传统的关系运算 传统的关系运算起源于数学的集合论 笛卡尔积运算 差运算 交运算 并运算 2. 专门的关系运算 数据库中特有的运算规则 选择 投影 连接 除运算…
-
如何编写一个YARN应用
本文档在高层次上描述了为 YARN 实现新应用程序的方法。 相关概念和流程 在应用的提交流程中,是应用客户端将应用提交到 YARN ResourceManager。这可以通过设置Y…
-
深入解析Spark内核架构设计与实现原理 PDF下载
基本介绍 Spark是不断壮大的大数据分析解决方案家族中备受关注的新增成员。它不仅为分布式数据集的处理提供一个有效框架,而且以高效的方式处理分布式数据集。它支持实时处理、流处理和批…
-
vivo 超大规模消息中间件实践之路
作者:vivo 互联网存储技术团队-Luo Mingbo、中间件团队- Liu Runyun 本文根据“2022 vivo开发者大会”现场演讲内容整理而成。公众号回复【…
-
委派模式——从SLF4J说起
作者:vivo 互联网服务器团队- Xiong yangxin 将某个通用解决方案包装成成熟的工具包,是每一个技术建设工作者必须思考且必须解决的问题。本文从业内流行的既有工具包入手…
-
基于 Flink+Pravega 的游戏服务器监控与调节系统设计
01 背景介绍 浏览完赛题,经团队讨论将应用场景锁定在了游戏服务器优化上,一是因为这方面趣味性较高,另外则是团队中的一员常年用爱发电[1] 开服,对此比较有业务经验。 1.1 团队…
-
SQL能完成哪方面的计算?一文详解关系代数和SQL语法
数据分析的语言接口 OLAP计算引擎是一架机器,而操作这架机器的是编程语言。使用者通过特定语言告诉计算引擎,需要读取哪些数据、以及需要进行什么样的计算。编程语言有很多种,任何人都可…
-
企业微信零耦合集成腾讯会议和腾讯文档插件化架构实践
导语 | 企业微信 iOS 端作为代码超过800万行的大型项目,接入了腾讯会议、腾讯文档、企业邮箱等功能插件。要融合多个异构系统、支撑多个团队同时协作开发一个 APP 是极大的挑战…
-
网易游戏实时 HTAP 计费风控平台建设
摘要:本文整理自网易互娱资深工程师, Flink Contributor, CDC Contributor 林佳,在 FFA 实时风控专场的分享。本篇内容主要分为五个部分: 实时风…
-
实时数仓架构在流利说的实践
本文目录 背景 实时数仓可以为我们带来什么 技术方案选型 数据存储方案选型 Flink 开发平台选型 维表存储方案选型 Connector 开发 实时数仓整体架构 数据开发案例 数…
-
分布式可视化作业调度平台 DolphinScheduler MasterServer 设计核心要点揭秘
点击蓝字 关注我们 作者 | 欧阳业伟 01 导读 Apache DolphinScheduler 是一个分布式易扩展的可视化 DAG 工作流任务调度平台,致力于解决数据处理流程中…
-
四个步骤,教你落地稳定性保障工作
序-好记性不如烂笔头 稳定性是个啥? 第一次接触稳定性这个词是在加入阿里第一年的双十一KO会上。接触到限流、扩容、压测等词汇,只觉得稳定性工作是琐碎的、繁杂的、无流程性的、无明确衡…
-
vivo 故障定位平台的探索与实践
作者:vivo 互联网服务器团队- Liu Xin、Yu Dan 本文基于故障定位项目的实践,围绕根因定位算法的原理进行展开介绍。鉴于算法有一定的复杂度,本文通过图文的方式进行说明…
-
Apache Iceberg 中的 Z-Ordering 如何帮助提高性能
如果您已经采用或正在考虑测试 Apache Iceberg 作为组织和管理数据湖中所有原始数据文件(Parquet、ORC等)的表格式,那么现在,您可以直接对湖中的数据执行数据仓库…
-
美团2022年技术年货-合集 PDF下载
新春将至,一年一度的美团技术年货也如约到来。 时间煮雨,岁月缝花,花开无声,花谢无语。2022这一年,我们一起经历了无数的悲喜,也留下了满满的回忆。 也许生活就是这样,只有历尽波澜…
-
B站基于ClickHouse的海量用户行为分析应用实践
本期作者 陆志君 数仓平台资深数据开发工程师 赵卓男 哔哩哔哩资深开发工程师 张弛 哔哩哔哩高级开发工程师 王智博 哔哩哔哩资深开发工程师 01. 背景介绍 数据驱动理念已被各行各…
-
Apache Hudi 0.12.2发布
长期支持版本 我们的目标是维护 0.12 更长时间,并通过最新的 0.12.x 版本提供稳定版本供用户迁移。 此版本 (0.12.2) 是最新的 0.12 版本。 迁移指南 此版本…
-
基于 Log 的通用增量 Checkpoint
摘要:本文整理自 Apache Flink Contributor 俞航翔 9 月 24 日在 Apache Flink Meetup 的分享。主要内容包括: Checkpoint…
-
基于kcat将TPC-DS数据快速导入kafka集群
在大数据领域,TPC-DS是一个常用的基准测试框架。基准测试结果测量单用户模式下的查询响应时间、多用户模式下的查询吞吐量以及给定硬件、操作系统和数据处理系统配置在受控、复杂、多用户…