大数据

分享嘉宾： 胡梦宇 知乎大数据基础架构开发工程师 贾承昆 知乎大数据基础架构负责人 陈  曦 知乎大数据基础架构开发工程师 内容来源：作者投稿 出品社区：DataFun 1. 前言…

序： 《阿甘正传》中，阿甘开始了不停地跑步，一段时间后，后面就有了很多追随者一起跑，他们为什么跑哪？ 阿甘：我也不知道，只是想跑而已。 追随者：感觉这样做是有意义的，而且阿甘也还在…

摘要：本文整理自阿里云开发工程师耿飙&阿里云开发工程师胡俊涛，在 FFA 实时风控专场的分享。本篇内容主要分为四个部分： Flink CEP 介绍&新功能解读 动态…

数据准备 首先是准备好数据。这个倒已经是一个熟练的过程，所要做的是把示例数据准备好，记住路径和字段分隔符。 准备好下面两张表： （1）m_ys_lab_jointest_a（以下简…

‍‍摘要：本文整理自 Apache Flink PMC 李劲松（之信）在 9 月 24 日 Apache Flink Meetup 的分享。主要内容包括： 介绍 Flink Tab…

一、背景 随着技术的不断的发展，在大数据领域出现了越来越多的技术框架。而为了降低大数据的学习成本和难度，越来越多的大数据技术和应用开始支持SQL进行数据查询。SQL作为一个学习成本…

简介 Tez是Apache开源的支持DAG作业的计算框架，是支持HADOOP2.x的重要引擎。它源于MapReduce框架，核心思想是将Map和Reduce两个操作进一步拆分，分解…

数据库关系代数 1. 传统的关系运算 传统的关系运算起源于数学的集合论 笛卡尔积运算 差运算 交运算 并运算 2. 专门的关系运算 数据库中特有的运算规则 选择 投影 连接 除运算…

本文档在高层次上描述了为 YARN 实现新应用程序的方法。 相关概念和流程 在应用的提交流程中，是应用客户端将应用提交到 YARN ResourceManager。这可以通过设置Y…

基本介绍 Spark是不断壮大的大数据分析解决方案家族中备受关注的新增成员。它不仅为分布式数据集的处理提供一个有效框架，而且以高效的方式处理分布式数据集。它支持实时处理、流处理和批…

作者：vivo 互联网存储技术团队-Luo Mingbo、中间件团队- Liu Runyun 本文根据“2022 vivo开发者大会”现场演讲内容整理而成。公众号回复【…

作者：vivo 互联网服务器团队- Xiong yangxin 将某个通用解决方案包装成成熟的工具包，是每一个技术建设工作者必须思考且必须解决的问题。本文从业内流行的既有工具包入手…

01 背景介绍 浏览完赛题，经团队讨论将应用场景锁定在了游戏服务器优化上，一是因为这方面趣味性较高，另外则是团队中的一员常年用爱发电[1] 开服，对此比较有业务经验。 1.1 团队…

数据分析的语言接口 OLAP计算引擎是一架机器，而操作这架机器的是编程语言。使用者通过特定语言告诉计算引擎，需要读取哪些数据、以及需要进行什么样的计算。编程语言有很多种，任何人都可…

导语 | 企业微信 iOS 端作为代码超过800万行的大型项目，接入了腾讯会议、腾讯文档、企业邮箱等功能插件。要融合多个异构系统、支撑多个团队同时协作开发一个 APP 是极大的挑战…

摘要：本文整理自网易互娱资深工程师, Flink Contributor, CDC Contributor 林佳，在 FFA 实时风控专场的分享。本篇内容主要分为五个部分： 实时风…

本文目录 背景 实时数仓可以为我们带来什么 技术方案选型 数据存储方案选型 Flink 开发平台选型 维表存储方案选型 Connector 开发 实时数仓整体架构 数据开发案例 数…

点击蓝字 关注我们 作者 | 欧阳业伟 01 导读 Apache DolphinScheduler 是一个分布式易扩展的可视化 DAG 工作流任务调度平台，致力于解决数据处理流程中…

序-好记性不如烂笔头 稳定性是个啥？ 第一次接触稳定性这个词是在加入阿里第一年的双十一KO会上。接触到限流、扩容、压测等词汇，只觉得稳定性工作是琐碎的、繁杂的、无流程性的、无明确衡…

作者：vivo 互联网服务器团队- Liu Xin、Yu Dan 本文基于故障定位项目的实践，围绕根因定位算法的原理进行展开介绍。鉴于算法有一定的复杂度，本文通过图文的方式进行说明…