Ch03-Spark 之 Job 执行流程
May 12, 2019
Spark Job 执行流程。
...Spark Job 执行流程。
...Apache Kafka 以牺牲延迟和抖动为代价优化了吞吐量,但并没有牺牲,比如持久性、严格的记录有序性和至少一次的分发语义。当有人说“Kafka 速度很快”,并假设他们至少有一定的能力时,你可以认为他们指的是 Kafka 在短时间内分发大量记录的能力。
...Write-ahead logs (WALs),HBase 2.0 之前,WAL 接口的实现是 HLog,所以先前大家也会将 WAL 称为 HLog。
...kafka Quota
...HBase Catalog Table
...kafka Transaction.
...逻辑上,HBase 的数据模型同关系型数据库很类似,数据存储在一张表中,有行有列。但从 HBase 的底层物理存储结构 (K-V) 来看,HBase 更像是一个 multi-dimensional map
。
HBase 是一种分布式、可扩展、支持海量数据存储的 NoSQL 数据库。
...kafka HA
...Kafka 选举主要体现在两个地方,一个是 Broker 的选举,另一个是 Partition 的选举。
...