大数据
-
官宣：Apache Doris 顺利毕业，成为 ASF 顶级项目！
2022年6月16日，Apache 软件基金会（ASF）官方宣布 Apache Doris 顺利毕业，成为顶级项目（TLP）。 关于 Apache Doris Apache…
-
hudi表流式regular inner join关联写入宽表实践
基本环境 mysql 5.7 hadoop 3.2.2 flink 1.14.4 hudi 0.11.0 flink-cdc-mysql 2.2 操作步骤 使用flink cdc将…
-
vivo 容器集群监控系统架构与实践
vivo 互联网服务器团队-YuanPeng 一、概述 从容器技术的推广以及 Kubernetes成为容器调度管理领域的事实标准开始，云原生的理念和技术架构体系逐渐在生产环境中得到…
-
干货 | 实时数据湖在字节跳动的实践
文 | 诗旻 来自字节跳动数据平台数据湖团队 对实时数据湖的解读 数据湖的概念是比较宽泛的，不同的人可能有着不同的解读。这个名词诞生以来，在不同的阶段被赋予了不同的含义。 数据湖…
-
Apache BookKeeper 洞察（一） — 外部共识和动态成员
本文翻译自《Apache BookKeeper Insights Part 1 — External Consensus and Dynamic Membership》，作者 Ja…
-
怎样理解阻塞非阻塞与同步异步的区别？
一讲到网络编程的I/O模型，总会涉及到这几个概念。问了很多人，没几个能清晰地讲出他们之间的区别联系，甚至在网络上也有很多不同的观点，也不知是中国文字释义的博大精深，还是本来这几个概…
-
log4j 1.x到2.x迁移指南
Log4j 1.x 已于 2015 年结束生命周期，不再受支持。 本页介绍如何迁移当前使用 Log4j 1.x API 的应用程序或库，以使用 Log4j v2 作为其主要日志框架…
-
消息中间件—简谈Kafka中的NIO网络通信模型
文章摘要：很多人喜欢把RocketMQ与Kafka做对比，其实这两款消息队列的网络通信层还是比较相似的，本文就为大家简要地介绍下Kafka的NIO网络通信模型 前面写的两篇Rock…
-
砥砺前行 | Kratos 框架 v2 版本架构演进之路
Kratos 是一套轻量级 Go 微服务框架，包含大量微服务相关功能及工具。名字来源于游戏《战神》，该游戏以希腊神话为背景，讲述了奎托斯（Kratos）由凡人成为战神并展开弑神屠杀…
-
Presto在B站的实践
1 架构 1.1 B站SQL On Hadoop 整体架构 在介绍Presto在B站的实践之前，先从整体来看看SQL在B站的使用情况，在B站的离线平台，核心由三大计算引擎Prest…
-
B站基于AIFlow+Flink在批流融合调度上的实践
本期作者 张杨&王丁 bilibili资深开发工程师 负责B站实时团队flink引擎sql方向工作，专注于flinksql性能提升优化。同时也关注flink引擎在机器学习、…
-
S11全球总决赛B站直播在线稳定性保障简介
01 背景 2021年11月7日凌晨，在《英雄联盟》S11全球总决赛·决赛中，中国战队EDG对战韩国战队DK，经过5个小时5轮比赛，EDG最终以比分 3:2 击败DK，赢得S11总…
-
3大问题！Redis缓存异常及处理方案总结
导语 | Redis作为一个高性能的内存中的key-value数据结构存储系统，在我们日常开发中广泛应用于缓存、计数器、消息队列、排行榜等场景中，尤其是作为最常用的缓存方式，在提高…
-
基于人工智能技术的数据库未来发展方向
数据可以代表实际存在事物的信息，通过分析数据的形式将其细化出来。相比之下，知识则是一种概念和抽象信息，人们在看了之后掌握的是大范围的内容，而在看了数据之后则是了解的具体事物内容。一…
-
ranger插件开发（下）
要在ranger中支持一个新的服务模块的权限校验，可以分为两部分，一部分是在ranger中添加一个服务模块，然后添加该服务的实例并配置对应的权限策略；另一部分就是在真正的服务端开发…
-
ranger插件开发（上）
Apache ranger 是一个集中式的安全管理框架，用户可以登录到ranger的web控制台配置不同的策略，实现对hadoop相关生态组件细粒度的权限控制。 最新版本（2.1….
-
ranger插件的鉴权原理
ranger插件开发的上下两篇文章介绍了如何在ranger中支持一个新的服务，并开发对应的客户端插件。但知其然还要知其所以然，简单的几个接口调用的背后，其内部最终是如何进行权限校验…
-
HDFS在B站的探索和实践
上周我们介绍了大数据调度YARN在B站的落地实践（←点击回顾前文），本周哔哩哔哩技术给大家带来的是HDFS在B站的应用与展望。 一、 HDFS 架构介绍 HDFS离线存储平台是Ha…
-
B站增量数据湖探索与实践
本期作者 周晖栋 哔哩哔哩资深开发工程师 目前主要负责B站实时团队增量数仓、Hudi数据湖方向。 黄靖 哔哩哔哩资深开发工程师 专注于实时计算相关大数据技术，目前负责Hudi数据湖…
