内容简介
Kafka 起初是由Linkedin 公司采用Scala 语言开发的一个多分区、多副本且基于ZooKeeper
协调的分布式消息系统,现己被捐献给Apache 基金会。目前Kafka 已经定位为一个分布式流式
处理平台,它以高吞吐、可持久化、可水平扩展、支持流数据处理等多种特性而被广泛使用。
目前越来越多的开源分布式处理系统如C loudera 、Storm 、Spark 、Flink 等都支持与Kafka 集成。
Kafka 之所以受到越来越多的青睐,与它所“扮演”的三大角色是分不开的:
- 消息系统: Kafka 和传统的消息系统(也称作消息中间件〉都具备系统解稿、冗余存
储、流量削峰、缓冲、异步通信、扩展性、可恢复性等功能。与此同时, Kafka 还提
供了大多数消息系统难以实现的消息顺序性保障及回溯消费的功能。
- 存储系统: Kafka 把消息持久化到磁盘,相比于其他基于内存存储的系统而言,有效
地降低了数据丢失的风险。也正是得益于Kafka 的消息持久化功能和多副本机制,我
们可以把Kafka 作为长期的数据存储系统来使用,只需要把对应的数据保留策略设置
为“永久”或启用主题的日志压缩功能即可。
- 流式处理平台: Kafka 不仅为每个流行的流式处理框架提供了可靠的数据来源,还提
供了一个完整的流式处理类库,比如窗口、连接、变换和聚合等各类操作。
本书深入理解Kafka核心设计原理与实践,分12章分析Kafka组件。
封面
下载地址
隐藏内容,扫描左侧二维码关注【从大数据到人工智能】公众号,发送【验证码】获验证信息
本文为从大数据到人工智能博主「jellyfin」的原创文章,遵循CC 4.0 BY-SA版权协议,转载请附上原文出处链接及本声明。
原文链接:https://lrting.top/backend/4351/
1
1