后端
-
S11全球总决赛B站直播在线稳定性保障简介
01 背景 2021年11月7日凌晨，在《英雄联盟》S11全球总决赛·决赛中，中国战队EDG对战韩国战队DK，经过5个小时5轮比赛，EDG最终以比分 3:2 击败DK，赢得S11总…
-
3大问题！Redis缓存异常及处理方案总结
导语 | Redis作为一个高性能的内存中的key-value数据结构存储系统，在我们日常开发中广泛应用于缓存、计数器、消息队列、排行榜等场景中，尤其是作为最常用的缓存方式，在提高…
-
基于人工智能技术的数据库未来发展方向
数据可以代表实际存在事物的信息，通过分析数据的形式将其细化出来。相比之下，知识则是一种概念和抽象信息，人们在看了之后掌握的是大范围的内容，而在看了数据之后则是了解的具体事物内容。一…
-
ranger插件开发（下）
要在ranger中支持一个新的服务模块的权限校验，可以分为两部分，一部分是在ranger中添加一个服务模块，然后添加该服务的实例并配置对应的权限策略；另一部分就是在真正的服务端开发…
-
ranger插件开发（上）
Apache ranger 是一个集中式的安全管理框架，用户可以登录到ranger的web控制台配置不同的策略，实现对hadoop相关生态组件细粒度的权限控制。 最新版本（2.1….
-
ranger插件的鉴权原理
ranger插件开发的上下两篇文章介绍了如何在ranger中支持一个新的服务，并开发对应的客户端插件。但知其然还要知其所以然，简单的几个接口调用的背后，其内部最终是如何进行权限校验…
-
HDFS在B站的探索和实践
上周我们介绍了大数据调度YARN在B站的落地实践（←点击回顾前文），本周哔哩哔哩技术给大家带来的是HDFS在B站的应用与展望。 一、 HDFS 架构介绍 HDFS离线存储平台是Ha…
-
B站增量数据湖探索与实践
本期作者 周晖栋 哔哩哔哩资深开发工程师 目前主要负责B站实时团队增量数仓、Hudi数据湖方向。 黄靖 哔哩哔哩资深开发工程师 专注于实时计算相关大数据技术，目前负责Hudi数据湖…
-
从0到1详解ZooKeeper的应用场景及架构原理
背景 ZooKeeper 深入ZooKeeper一致性协议原理 ZooKeeper服务端角色 一致性协议-ZAB ZAB协议读写流程 ZooKeeper Leader选举算法 Z…
-
B站基于Iceberg的湖仓一体架构实践
背景 在B站，每天都有PB级的数据注入到大数据平台，经过离线或实时的ETL建模后，提供给下游的分析、推荐及预测等场景使用。面对如此大规模的数据，如何高效低成本地满足下游数据的分析需…
-
B站大数据平台元数据业务分享
本期作者 沈汪洋 哔哩哔哩资深开发工程师 负责B站数据平台工具侧元数据、数据运营、数据管理等业务方向，专注于元数据采集、血缘应用、数据地图、建模工具、治理工具等工具或产品功能的落…
-
B站分布式KV存储混沌工程实践
本期作者 彭良友 哔哩哔哩资深测试开发工程师 负责B站基础架构存储/微服务质量保障，一直从事中间件的质量工程建设工作，专注于分布式系统测试方案设计，应用和推广。 01 背景 之前我…
-
分布式文件系统中快照隔离的实现方案
SI & MVCC 快照隔离（SI,Snapshot Isolation）是讨论隔离性时常见的术语，可以做两种的解读，一是具体的隔离级别，SQL Server、Cockro…
-
BiliBili使用Apache Hudi基于拉链表的全量表极限存储优化方案
01 背景 2020年以来，半导体生产不足，这个问题困扰着全世界。互联网企业高度依赖于网络基础设施和服务器设施，没有半导体就没有满足个人需要的个人电子消费品，也就没有蓬勃发展的互联…
-
Java实现布隆过滤器
布隆过滤器 海量数据处理以及缓存穿透这两个场景让我认识了 布隆过滤器 ，我查阅了一些资料来了解它，但是很多现成资料并不满足我的需求，所以就决定自己总结一篇关于布隆过滤器的文章。希望…
-
一种灵活注入 Istio Sidecar 的方案探索
背景 我们团队对 Istio 进行相关研究与探索，并在生产环境进行了相应的应用，初期我们使用 Istio 主要做产品的灰度发布，同时我们团队也有相关研发人员基于 Istio，进行生…
-
hudi 键的生成（Key Generation）
Hudi中的每条记录都由一个主键唯一标识，主键是用于记录所属的记录键和分区路径的参数。使用主键，Hudi可以强制a)分区级唯一性完整性约束b)允许快速更新和删除记录。应该明智地选择…
-
Streaming Data Warehouse 存储：需求与架构
作者｜Jingsong Lee jingsonglee0@gmail.com 一、数仓中的计算 在计算机领域，数据仓库（DW 或 DWH），是一个用于报告和数据分析的系统，被认为是…
-
Meta公司新探索 | 利用Alluxio数据缓存降低Presto延迟
概要速览 Meta公司（前“Facebook公司”，下文统称“Meta”）的Presto团队一直在与Alluxio 合作为Presto提供开源数据缓存方案。该方案被用于M…
