Ch09-Kafka 之高可用
March 20, 2019
kafka HA
...kafka HA
...Kafka 选举主要体现在两个地方,一个是 Broker 的选举,另一个是 Partition 的选举。
...数据可靠性值指数据不会轻易丢失,数据一定会被可靠存储。
...数据一致性主要是说不论是老的 Leader 还是新选举的 Leader,Consumer 都能读到一样的数据。那么 Kafka 是如何实现的呢?
...Spark 应用执行模式的不同主要体现在 Cluster Manager 使用的是哪个。如果是单独的进程,那么就是 Standalone 模式;如果是 Hadoop Yarn,那就是 Hadoop Yarn 模式。
...Kafka Partition 相关的机制是比较复杂的,它自身保留了一个 leader 来对外提供消息操作的能力,若干 follower 通过 leader 同步消息保证数据可靠性。
...Apache Spark 是用于大规模数据处理的统一分析引擎,基于内存计算,提高了在大数据环境下数据处理的实时性,同时保证了高容错性和高可伸缩性,允许用户将 Spark 部署在大量硬件之上,形成集群。
...Kafka 中存在大量的网络数据持久化到磁盘(Producer 到 Broker)和磁盘文件通过网络发送(Broker 到 Consumer)的过程。这一过程的性能直接影响 Kafka 的整体吞吐量,于是 Kafka 便引入了 ZeroCopy 技术来提升性能。
...Kafka 生产者和消费者工作流程比较复杂,需要各个组件参与才能完成。
...Kafka 生产者和消费者工作流程比较复杂,需要各个组件参与才能完成。
...