Ch04-Flink 之 图
December 1, 2020
Flink 图的转换概述
...Flink 图的转换概述
...HBase 事务
...HBase 相关的 Cache
...HFile 是 HBase 存储数据的文件组织形式,参考 BigTable 的 SSTable 和 Hadoop 的 TFile 实现。从 HBase 开始到现在,HFile 经历了三个版本,其中 V2 在 0.92 引入,V3 在 0.98 引入。HFileV1 版本的在实际使用过程中发现它占用内存多,HFile V2 版本针对此进行了优化,HFile V3 版本基本和 V2 版本相同,只是在 cell 层面添加了 Tag 数组的支持。
...Flink Job 执行流程
...Flink 应用程序 是从其 main() 方法产生的一个或多个 Flink 作业的任何用户程序。这些作业的执行可以在本地 JVM(LocalEnvironment)中进行,或具有多台机器的集群的远程设置(RemoteEnvironment)中进行。
...Apache Flink 是 Apache 基金会旗下的一个开源大数据处理框架。应用于分布式、高性能、高可用的数据流应用程序。可以处理有限数据流和无限数据流,即能够处理有边界和无边界的数据流。
...HBase memstore 也被称为写缓存,优化大概可以分为三个阶段,其中每一种都是在上一次的基础上进行不断优化得到。memstore 最底层的数据结构都是 skiplist
。
java.util.concurrent.atomic
,Atmoic 的整个家族实现方式大同小异,简单来说,借助 volatile 保证可见性和有序性,借助 CAS 保证 原子性。
java.util.concurrent.ThreadPoolExecutor