Kafka

在大数据领域，TPC-DS是一个常用的基准测试框架。基准测试结果测量单用户模式下的查询响应时间、多用户模式下的查询吞吐量以及给定硬件、操作系统和数据处理系统配置在受控、复杂、多用户…

点个关注?跟腾讯工程师学技术 引言| 要确保Kafka在使用过程中的稳定性，需要从kafka在业务中的使用周期进行依次保障。主要可以分为：事先预防（通过规范的使用、开发，预防问题产…

本文，我们将试图回答什么是apache kafka。 kafka是一个分布式流平台或者分布式消息提交日志 分布式 Kafka 由一个或多个节点组成的工作集群，这些节点可以位于不同的…

文章摘要：很多人喜欢把RocketMQ与Kafka做对比，其实这两款消息队列的网络通信层还是比较相似的，本文就为大家简要地介绍下Kafka的NIO网络通信模型 前面写的两篇Rock…

vivo 互联网服务器团队-You Shuo 副本迁移是Kafka最高频的操作，对于一个拥有几十万个副本的集群，通过人工去完成副本迁移是一件很困难的事情。Cruise Contro…

作者：vivo 互联网服务器团队-Luo Mingbo 一、Kafka 集群部署架构 为了让读者能与小编在后续的问题分析中有更好的共鸣，小编先与各位读者朋友对齐一下我们 Kafka…

本文翻译自Uber技术文章《Presto® on Apache Kafka® At Uber Scale》 Uber的目标是通过让世界运转来激发机遇，而大数据是其中非常重要的一部分…

Kafka在美团数据平台承担着统一的数据缓存和分发的角色，针对因PageCache互相污染，进而引发PageCache竞争导致实时作业被延迟作业影响的痛点，美团基于SSD自研了Ka…

内容简介 Kafka 起初是由Linkedin 公司采用Scala 语言开发的一个多分区、多副本且基于ZooKeeper协调的分布式消息系统，现己被捐献给Apache 基金会。目前…

3.1.0 版本包含许多改进和新功能。我们将在这篇博文中重点介绍一些更突出的功能，但请参阅发行说明以获取完整的更改列表。 虽然仍然不建议将 KRaft 用于生产（已知差距），但我们…

kafka的log4j日志默认配置中，有如下配置： log4j.appender.kafkaAppender=org.apache.log4j.DailyRollingFileAp…

消息在系统中传输所需的时间对 Apache Kafka® 等分布式系统的性能起着重要作用。 在 Kafka 中，生产者的延迟通常定义为客户端生成的消息被 Kafka 确认所需的时间…

现在我们对生产者和消费者的工作方式有了一些了解，让我们来讨论 Kafka 在生产者和消费者之间提供的语义保证。 显然，可以提供多种可能的消息传递保证： 最多一次——消息可能会丢失，…

Producer 负载均衡 生产者将数据直接发送到作为分区领导者的broker，而没有任何干预路由层。 为了帮助生产者做到这一点，所有 Kafka 节点都可以在任何给定时间回答有关…

内存估算 您需要足够的内存来缓冲活动的读取器和写入器。 您可以通过假设您希望能够缓冲 30 秒并将您的内存需求计算为 write_throughput*30 来对内存需求进行粗略估…

本指南使用的工具为kafka/bin目录下相关脚本。 添加/删除topics 可以使用如下命令进行新增topics： > bin/kafka-topics.sh –boot…