后端

以下文章来源于网易，作者Curve 开源社区 2022 年 6 月 15 日，云原生计算基金会 (CNCF) 宣布，分布式存储系统 Curve 被正式接纳为 CNCF 沙箱（San…

hudi每次数据写入时都会生成一个时间戳，用于表示数据写入的时间，基于该特性，在进行数据查询时可使用该时间对hudi中数据进行查询。 使用flink引擎查询时可指定如下参数 &#8…

总第516篇 2022年 第033篇 推荐系统是效果导向的数据应用服务，在功能的“有”和“无”之间，有很长的效果“好”和“坏”的光谱。本文以用户请求的粒度建立质量模型，通过数据血缘…

Flink 通过 org.apache.flink.core.fs.FileSystem 类有自己的文件系统抽象。 这种抽象提供了一组通用的操作和跨各种类型的文件系统实现的最小保证…

Task 是 Flink 的基本执行单元。算子的每个并行实例都在 task 里执行。例如，一个并行度为 5 的算子，它的每个实例都由一个单独的 task 来执行。 StreamTa…

这篇文档简要描述了 Flink 怎样调度作业, 怎样在 JobManager 里描述和追踪作业状态 原文链接：https://nightlies.apache.org/flink/…

一：数据包过滤 a.过滤需要的IP地址 ip.addr== b.在数据包过滤的基础上过滤协议ip.addr==xxx.xxx.xxx.xxx and tcp c.过滤端口ip.ad…

对大部分用户来说，为 Flink 算子配置合适的并行度并不是一件容易的事。对于批作业，小的并行度会导致作业运行时间长，故障恢复慢，而不必要的大并行度会导致资源浪费，任务部署和数据 …

2022年6月16日，Apache 软件基金会（ASF）官方宣布 Apache Doris 顺利毕业，成为顶级项目（TLP）。    关于 Apache Doris  Apache…

基本环境 mysql 5.7 hadoop 3.2.2 flink 1.14.4 hudi 0.11.0 flink-cdc-mysql 2.2 操作步骤 使用flink cdc将…

01 导读 AI面试机器人通过利用灵犀智能语音语义平台的人机语音对话能力模拟招聘者与求职者进行多轮语音沟通，达到在线化面试的效果。本文详细描述了AI面试机器人的后端架构组成、对话引…

vivo 互联网服务器团队-YuanPeng 一、概述 从容器技术的推广以及 Kubernetes成为容器调度管理领域的事实标准开始，云原生的理念和技术架构体系逐渐在生产环境中得到…

文 | 诗旻  来自字节跳动数据平台数据湖团队 对实时数据湖的解读 数据湖的概念是比较宽泛的，不同的人可能有着不同的解读。这个名词诞生以来，在不同的阶段被赋予了不同的含义。 数据湖…

本文翻译自《Apache BookKeeper Insights Part 1 — External Consensus and Dynamic Membership》，作者 Ja…

一讲到网络编程的I/O模型，总会涉及到这几个概念。问了很多人，没几个能清晰地讲出他们之间的区别联系，甚至在网络上也有很多不同的观点，也不知是中国文字释义的博大精深，还是本来这几个概…

Log4j 1.x 已于 2015 年结束生命周期，不再受支持。 本页介绍如何迁移当前使用 Log4j 1.x API 的应用程序或库，以使用 Log4j v2 作为其主要日志框架…

文章摘要：很多人喜欢把RocketMQ与Kafka做对比，其实这两款消息队列的网络通信层还是比较相似的，本文就为大家简要地介绍下Kafka的NIO网络通信模型 前面写的两篇Rock…

Kratos 是一套轻量级 Go 微服务框架，包含大量微服务相关功能及工具。名字来源于游戏《战神》，该游戏以希腊神话为背景，讲述了奎托斯（Kratos）由凡人成为战神并展开弑神屠杀…

1 架构 1.1 B站SQL On Hadoop 整体架构 在介绍Presto在B站的实践之前，先从整体来看看SQL在B站的使用情况，在B站的离线平台，核心由三大计算引擎Prest…

本期作者 张杨&王丁 bilibili资深开发工程师 负责B站实时团队flink引擎sql方向工作，专注于flinksql性能提升优化。同时也关注flink引擎在机器学习、…