后端

1.背景 ◆1.1 业务背景 Hudi作为主流的数据湖产品之一，解决了Hive无法更新的场景，由于支持ACID事务能力，所以也就能够很好的支撑实时读写，这在架构上就为流批一体提供了…

作者：vivo 互联网容器团队- Pan Liangbiao 本文根据潘良彪老师在“2022 vivo开发者大会”现场演讲内容整理而成。 2018年起，vivo以容器作…

动手点关注 干货不迷路 sqlite 提供了一种 redo log 型事务实现，支持读写的并发，见 write-ahead log（https://sqlite.org/wal.h…

为贯彻落实工业和信息化部、国家互联网信息办公室、公安部联合印发的《网络产品安全漏洞管理规定》，2021年8月26日，工业和信息化部移动互联网App产品安全漏洞库发布会暨安全漏洞管理…

01 背景 随着欧加集团大数据业务的发展，现阶段公司大数据平台20+个组件，1EB+级别数据量，平台1000人均日活，服务已经有相当大的规模。在这样的业务背景下，越来越多的用户在使…

01 前言 沉寂已久的大数据技术圈，因为数据湖的概念变得热了起来，一时间，数据湖，湖仓一体，智能湖仓，众多概念如雨后春笋。数据湖用来存储和处理大量结构化、半结构化和非结构化数据。提…

作者简介 携程旅游研发部大数据与AI研发团队，为旅游事业部提供丰富的AI技术产品和技术能力。 一、背景介绍 搜索是电商最重要的门面之一，大部分用户通过搜索来找到他们想要的商品，因此…

不管是传统数据库或者基于sql的分布式大数据分析工具，基本原理都是把一个sql转换成sql语法树(AST)，通过对语法树的分析转换成执行计划。传统数据库会根据执行计划通过执行引擎并…

01 背景 随着公司业务的发展，对于数据的需求会越来越多。怎么在业务系统中高效的使用数据，让业务系统处理大数据时化繁为简，数据服务化基本是必经之路。那么什么是数据服务化，简单理解就…

本文作者：许奕斌，阿里云智能高级研发工程师。 Why we need schema RocketMQ 目前对于消息体没有任何数据格式的约束，可以是 JSON ，可以是对象 toSt…

基本内容 　　本书沿袭“程序员的数学”系列平易近人的风格，用通俗的语言和具象的图表深入讲解了编程中所需的线性代数知识。内容包括向量、矩阵、行列式、秩、逆矩阵、线性方程、LU分解、特…

基本内容 　　《程序员的数学2：概率统计》沿袭《程序员的数学》平易近人的风格，用通俗的语言和具体的图表深入讲解程序员必须掌握的各类概率统计知识，例证丰富，讲解明晰，且提供了大量扩展…

基本介绍 《程序员的数学 第2版》面向程序员介绍了编程中常用的数学知识，借以培养初级程序员的数学思维。读者无须精通编程，也无须精通数学，只要具备四则运算和乘方等基础知识，即可阅读本…

本文作者：蒋星韬，网易云音乐服务端开发工程师。 云音乐线上场景众多，比如直播、评论、广告，各个业务线都会有消息场景比如发奖券，也会有延迟消息和事务消息场景，以及大数据做埋点数据、数…

1.概述 “由数据仓库之父W.H.Inmon于1990年提出，主要功能乃是将组织透过信息系统之在线交易处理(OLTP)经年累月所累积的大量资料，透过数据仓库理论所特有的资料存储架构…

本文作者：孙晓健，Apache RocketMQ Committer 01 RocketMQ Connect RocketMQ Connect 是一款可扩展的在 RocketMQ …

1.前言 什么是流处理？引用Streaming101[1]里面的一句话:一种数据处理引擎，设计时考虑了无限数据集。（为了完整性，这个定义包括真正的流式传输系统(Apache Fli…

Drill 是一个用于大数据探索的 Apache 开源 SQL 查询引擎。 Drill 的设计初衷是支持对来自现代大数据应用程序的半结构化和快速发展的数据进行高性能分析，同时仍然提…

在 k8s 云环境中，我们需要在容器内抓包进行 Debug, 但通常大多容器都没有安装 tcpdump 以及其他网络工具；在托管 k8s 中我们想登录 node，不是没权限就是步骤…

分享嘉宾：马小阳 产品经理 编辑整理：陈妃君 深圳大学 出品平台：DataFunTalk 导读：近年来，在信息技术支撑下，数据经济驱动着全球各经济体的经济总量不断增加，“数据安全”…