Ch08-Kafka 之选举
March 12, 2019
Kafka 选举主要体现在两个地方,一个是 Broker 的选举,另一个是 Partition 的选举。
...Kafka 选举主要体现在两个地方,一个是 Broker 的选举,另一个是 Partition 的选举。
...数据可靠性值指数据不会轻易丢失,数据一定会被可靠存储。
...数据一致性主要是说不论是老的 Leader 还是新选举的 Leader,Consumer 都能读到一样的数据。那么 Kafka 是如何实现的呢?
...Spark 应用执行模式的不同主要体现在 Cluster Manager 使用的是哪个。如果是单独的进程,那么就是 Standalone 模式;如果是 Hadoop Yarn,那就是 Hadoop Yarn 模式。
...Kafka Partition 相关的机制是比较复杂的,它自身保留了一个 leader 来对外提供消息操作的能力,若干 follower 通过 leader 同步消息保证数据可靠性。
...Apache Spark 是用于大规模数据处理的统一分析引擎,基于内存计算,提高了在大数据环境下数据处理的实时性,同时保证了高容错性和高可伸缩性,允许用户将 Spark 部署在大量硬件之上,形成集群。
...Kafka 中存在大量的网络数据持久化到磁盘(Producer 到 Broker)和磁盘文件通过网络发送(Broker 到 Consumer)的过程。这一过程的性能直接影响 Kafka 的整体吞吐量,于是 Kafka 便引入了 ZeroCopy 技术来提升性能。
...Kafka 生产者和消费者工作流程比较复杂,需要各个组件参与才能完成。
...Kafka 生产者和消费者工作流程比较复杂,需要各个组件参与才能完成。
...Kafka 是一款开源的、轻量级的、分布式、可分区和具有复制备份的 (Replicated)、基于 ZooKeeper 协调管理的分布式流平台的功能强大的消息系统。与传统的消息系统相比,Kafka 能够很好地处理活跃的流数据,使得数据在各个子系统中高性能、低延迟地不停流转。
...