后端

1.概述 “由数据仓库之父W.H.Inmon于1990年提出，主要功能乃是将组织透过信息系统之在线交易处理(OLTP)经年累月所累积的大量资料，透过数据仓库理论所特有的资料存储架构…

本文作者：孙晓健，Apache RocketMQ Committer 01 RocketMQ Connect RocketMQ Connect 是一款可扩展的在 RocketMQ …

1.前言 什么是流处理？引用Streaming101[1]里面的一句话:一种数据处理引擎，设计时考虑了无限数据集。（为了完整性，这个定义包括真正的流式传输系统(Apache Fli…

Drill 是一个用于大数据探索的 Apache 开源 SQL 查询引擎。 Drill 的设计初衷是支持对来自现代大数据应用程序的半结构化和快速发展的数据进行高性能分析，同时仍然提…

在 k8s 云环境中，我们需要在容器内抓包进行 Debug, 但通常大多容器都没有安装 tcpdump 以及其他网络工具；在托管 k8s 中我们想登录 node，不是没权限就是步骤…

分享嘉宾：马小阳 产品经理 编辑整理：陈妃君 深圳大学 出品平台：DataFunTalk 导读：近年来，在信息技术支撑下，数据经济驱动着全球各经济体的经济总量不断增加，“数据安全”…

一、背景 资金核对的数据组装-执行-应急链路，有着千万级TPS并发量，同时由于资金业务特性，对系统可用性和准确性要求非常高；日常开发过程中会遇到各种各样的高可用问题，也在不断地尝试…

分享嘉宾：张驰 阿里巴巴本地生活 编辑整理：罗擘 香港中文大学 出品平台：DataFunTalk 导读：随着各国数据安全保护法的颁布，数据安全已经成为大数据应用行业的关键课题。如何…

引言 | 本文作者从微信团队维护的带货类项目所遇卡点出发，尝试用领域驱动设计方法（简称DDD），保障在快节奏、多人协作的项目迭代中，维持系统的可维护性、可拓展性、高内聚低耦合和稳定…

介绍 在设计 Flink 数据处理作业时，关键关注点之一是最大化作业吞吐量。Sink吞吐量是一个至关重要的因素，因为它可以决定整个作业的吞吐量。我们通常希望在不使目的地超载的情况下…

主要内容 本书结合设计实例从面向对象的设计中精选出23个设计模式, 总结了面向对象设计中*有价值的经验, 并且用简洁可复用的形式表达出来。本书分类描述了一组设计良好、 表达清楚的软…

本期作者 蔡梦苑 数据平台部资深数仓开发工程师 故事的开头，是一位业务部门的同事找到我们，咨询了一个经典问题： 「需求方经常说我们做的报表看起来数据不准，有什么办法吗？」 为了解释…

本期作者 韩志华 大数据平台工具负责人 赵孔明 大数据平台资深开发工程师 邓晓 大数据平台资深开发工程师 01 平台总体简介  1.1 数据平台介绍 项目代号：Berserker …

Java缓存技术可分为远端缓存和本地缓存，远端缓存常用的方案有著名的redis和memcache，而本地缓存的代表技术主要有HashMap，Guava Cache，Caffeine…

本期作者 马阳阳 基础架构部实时平台Flink引擎资深开发工程师 丁国涛 基础架构部实时平台Flink引擎资深开发工程师 01 背景 以Flink为基础的实时计算在B站有着广泛而深…

基本介绍 　作为数据仓库和商业智能（DW/BI）行业中有影响力的领军人物，RalphKimball、MargyRoss得到了世界范围内的认可和尊重，他们在《数据仓库与商业智能宝典（…

基本介绍 在集团内，数据人员面临的现实情况是：集团数据存储已经达到EB级别，部分单张表每天的数据记录数高达几千亿条；在2016年“购物狂欢节”的24小时中，支付金额达到了1207亿…

1. 背景 1.1 整体架构 腾讯广告系统中的日志数据流，按照时效性可划分为实时和离线，实时日志通过消息队列供下游消费使用，离线日志需要保存下来，供下游准实时（分钟级）计算任务，离…

本文，我们将试图回答什么是apache kafka。 kafka是一个分布式流平台或者分布式消息提交日志 分布式 Kafka 由一个或多个节点组成的工作集群，这些节点可以位于不同的…

在平常开发测试中，使用docker或者k8s快速部署某个组件会是一个不错的选择。kafka 3.3.1作为kraft第一个生产可用版本，本文介绍使用k8s快速部署基于kraft运行…