kafka

文章摘要：很多人喜欢把RocketMQ与Kafka做对比，其实这两款消息队列的网络通信层还是比较相似的，本文就为大家简要地介绍下Kafka的NIO网络通信模型 前面写的两篇Rock…

vivo 互联网服务器团队-You Shuo 副本迁移是Kafka最高频的操作，对于一个拥有几十万个副本的集群，通过人工去完成副本迁移是一件很困难的事情。Cruise Contro…

作者：vivo 互联网服务器团队-Luo Mingbo 一、Kafka 集群部署架构 为了让读者能与小编在后续的问题分析中有更好的共鸣，小编先与各位读者朋友对齐一下我们 Kafka…

本文翻译自Uber技术文章《Presto® on Apache Kafka® At Uber Scale》 Uber的目标是通过让世界运转来激发机遇，而大数据是其中非常重要的一部分…

Kafka在美团数据平台承担着统一的数据缓存和分发的角色，针对因PageCache互相污染，进而引发PageCache竞争导致实时作业被延迟作业影响的痛点，美团基于SSD自研了Ka…

内容简介 Kafka 起初是由Linkedin 公司采用Scala 语言开发的一个多分区、多副本且基于ZooKeeper协调的分布式消息系统，现己被捐献给Apache 基金会。目前…

3.1.0 版本包含许多改进和新功能。我们将在这篇博文中重点介绍一些更突出的功能，但请参阅发行说明以获取完整的更改列表。 虽然仍然不建议将 KRaft 用于生产（已知差距），但我们…

kafka的log4j日志默认配置中，有如下配置： log4j.appender.kafkaAppender=org.apache.log4j.DailyRollingFileAp…

消息在系统中传输所需的时间对 Apache Kafka® 等分布式系统的性能起着重要作用。 在 Kafka 中，生产者的延迟通常定义为客户端生成的消息被 Kafka 确认所需的时间…

现在我们对生产者和消费者的工作方式有了一些了解，让我们来讨论 Kafka 在生产者和消费者之间提供的语义保证。 显然，可以提供多种可能的消息传递保证： 最多一次——消息可能会丢失，…

Producer 负载均衡 生产者将数据直接发送到作为分区领导者的broker，而没有任何干预路由层。 为了帮助生产者做到这一点，所有 Kafka 节点都可以在任何给定时间回答有关…

内存估算 您需要足够的内存来缓冲活动的读取器和写入器。 您可以通过假设您希望能够缓冲 30 秒并将您的内存需求计算为 write_throughput*30 来对内存需求进行粗略估…

本指南使用的工具为kafka/bin目录下相关脚本。 添加/删除topics 可以使用如下命令进行新增topics： > bin/kafka-topics.sh –boot…

消息队列 Kafka作为一个传统的消息代理的替代品表现得非常出色。使用消息代理有各种各样的原因(将处理与数据生成器解耦，缓冲未处理的消息，等等)。与大多数消息传递系统相比，Kafk…

Apache Kafka是一个事件流平台，其结合了三个关键的功能，使你可以完成端到端的事件流解决方案。 发布(写)和订阅(读)事件流，包括从其他系统连续导入/导出数据。 事件流存储…

主机环境与依赖 操作系统：centos7 CPU架构：x86_64 软件依赖：jdk1.8以及zookeeper3.6.3 kafka下载与解压 配置文件修改 kafka启动 ka…