Kafka 分级存储在腾讯云的实践与演进

导语

腾讯云消息队列 Kafka 内核负责人鲁仕林为大家带来了《Kafka 分级存储在腾讯云的实践与演进》的精彩分享，从 Kafka 架构遇到的问题与挑战、Kafka 弹性架构方案类比、Kafka 分级存储架构及原理以及腾讯云的落地与实践四个方面详细分享了 Kafka 分级存储在腾讯云的实践与演进。

Kafka 架构遇到的问题与挑战

Kafka 架构

上图是 Kafka 目前本身的架构。腾讯云在线上环境部署 Kafka 集群的时候，都是基于 Zookeeper 或者 Kraft 作为元数据存储，然后使用物理机或者 VM 作为计算资源，本地磁盘作为存储介质来构建集群。

但这种部署模式有以下几个问题：

1.  本地状态比较重，因为数据都是存在本地的，任何的运维操作都需要进行数据搬迁，运维复杂度较高。

2.  这种部署模式，资源是 Broker 维度，所以在进行线上运维的时候，扩缩容都是以 Broker 节点维度进行，但是节点维度的资源分为 CPU、带宽、磁盘等，直接以 Broker 节点维度处理会造成资源浪费。

3.  在线上服务过程中，会有故障恢复或者大量历史数据处理等场景，处理历史数据会有历史数据回溯的问题，造成 pagecache 的污染，会影响集群整体读写 SLA。

接下来带着这三个问题，来看一下具体是哪些场景。

运维难度大

上面有提到过 Kafka 集群在某些运维操作的时候需要进行数据迁移，这就导致了运维难度比较大，那哪些场景会涉及到数据搬迁呢？

有三种情况：

1、节点间数据分布不均

我们都知道稳态情况下 Kafka 中的 Patition 分区是均匀分布于各个 Broker 节点，但是分区是归属于 Topic 的，而 Topic 又有各种不同的业务场景，不同的业务场景之间的流量是不一样的，所以 Broker 节点分区均匀的情况下，数据不一定分布均匀。

2、节点系统指标瓶颈（带宽、磁盘、CPU 等）

单节点部分物理资源出现系统瓶颈，必须对节点进行升配或者扩容。

3、节点内数据多，迁移较慢且影响读写。

如果日常流量比较大，集群内数据过多的时候，也确实会需要进行数据搬迁。

所以以上三个问题都会导致数据搬迁，数据搬迁在数据量大的时候会涉及到天级别的运维跨度，这其实在线上是难以接受的。

资源浪费

分析系统瓶颈，考虑的资源基本就是 CPU、磁盘、带宽还有内存。

CPU

• 压缩算法（Gzip、Snappy、Zstd等）

• 消息格式转换（V0、V1、V2）

Kafka 如果使用消息压缩，那么就需要在服务端解压缩进行校验，就会消耗大量的 CPU(Gzip 压缩损耗尤其大)。另外在云上客户端的环境是较为复杂的，客户端的版本，使用场景，使用姿势都是未知的。

另外，客户在购买腾讯云 CKafka 集群时可能并不关注集群的版本信息，可能购买的集群版本跟他使用的 SDK 的版本并不是一致的，还会涉及到消息的协议转换，也会损耗大量的 CPU。

磁盘

• 存储空间，大量冷数据存储

• 历史数据 Tail-Read 读取，磁盘 IO 瓶颈

• HDD 磁盘导致大吞吐下磁盘 IO 瓶颈

带宽

• 瞬时流量突刺

• 集群扇出度/读写比大

内存

● Broker 限流后产生大量的 Delay 操作

综上所述，Kafka 在不同使用场景模式下造成的资源瓶颈都是不同的。线上可能就是遇到一个或者几个场景，那么就会带来节点级别的资源损耗。

以上问题大家也都比较了解，这些问题都是因为 Kafka 本地状态比较重，存储在本地，存储和计算资源没有解耦造成的，要解决这些问题就需要引入比较成熟的弹性架构来帮助它实现架构上面的弹性，资源的解耦。

Kafka 弹性架构方案对比

存储计算分离架构

存储计算分离架构是最开始考虑的，也是目前 Pulsar 采用的架构，Pulsar 底层的存储是 Bookkeeper，图中的架构是 HDFS 作为存储底座，该架构就是一套云原生的存储计算分离架构。

• Proxy 负责统一接入，负责服务发现、限流包括格式转换，一些通用需求的功能上传上浮化。

• Broker 作为 Partition 的 Holder 用来适配多套存储介质，比如 HDFS、Bookkeeper ，起到 Partition 之间的负载均衡的作用。

• 存储层可以用到多模的存储，比如 HDFS、腾讯云 COS、亚马逊 S3 等。

这个架构优势比较明显，可以看到计算资源跟存储资源是完全解耦的，扩容的时候有以下优势：

• 节点扩容无需进行数据迁移

• 存储节点与计算节点分离，可以按需扩容

虽然从理论上看是有优势的，但从实际落地来看，有两个比较明显的问题。

1.  HDFS 或者 Bookkeeper 都会遇到一个问题，就是切文件的时候。老文件需要进行 Recover Lease，新文件需要进行元数据的存储(强依赖 Zookeeper/Etcd 等)，所以在切换文件的时候会有毛刺抖动。

2.  可以看到存储系统加 HDFS 在这个架构里面其实是一个强依赖关系，如果它断了，那么生产消费都是运行不上去的，只能等系统恢复。

这两个问题在线上是比较严重的问题，而且很难找到非常靠谱的存储系统去承载它，强依赖的关系在系统设计过程中也是不可取的，最好是对外部系统弱依赖。

弹性的本地存储架构

第二个架构是目前 CKafka 比较广泛的一套架构，核心逻辑就是云盘 + 云主机，然后依赖自动化运营系统结合云盘的 LVM 以及云主机的热迁移实现快速扩容。

自动化运营系统就是用来监控资源的使用量，比如说使用的是100G的磁盘，已经用到90G了，那么就可以用自动化运营系统监测到 90%的磁盘，需要进行磁盘扩容，那么我们就可以自动化的申请云盘，做 LVM 增加存储空间以及吞吐能力。

自动化运营系统同时会监控计算资源节点的运行情况，监控发现计算资源如 CPU、内存有瓶颈，则会使用腾讯云 CVM 或者容器的热迁移进行计算资源的垂直升配。

这是目前腾讯云线上正在使用的一套产品架构，但是这个产品架构之前也说到了是有缺陷的。它只能垂直扩容，但是分布式系统都是分布式的，只以垂直扩容肯定是不够的，肯定要在横向具备扩容的功能，所以说这种系统在横向扩容领域还是和原生 Kafka 系统有类似问题。

弹性的远程存储架构

所以针对以上两个弹性架构带来的问题，作者又思考了一些新的可能，看能否本地存储和远程存储结合起来，Kafka 的分级存储，本地会有少量的云盘热数据，远程存储有大量的冷数据。

本地弹性存储

• 本地存储服务写流量/Tail-Read 读，提供与原生 Kafka 一致的延时、可用性和一致性。

• 远程存储故障或者性能衰退，本地存储支持弹性扩容提供读写服务。

远程弹性存储

• 远程存储服务 Catch- Up 读，冷热数据分离。

• 按需使用，按量计费。

• 支持多模存储，多介质存储。

优势

1、  第一个优势在于写入延迟和本地写入延时是一致的，在远程存储出现故障或者毛刺的时候，可以退化为本地存储，再结合自动化运营系统对本地存储形态进行动态扩容。

2、  第二个优势在于远程的存储相对廉价，可以从一定程度上实现降本。

结合成本以及服务稳定性以及可落地性这几方面，我们选择本地存储+远程存储构建 Kafka 的弹性架构。

Kafka 分级存储架构

接下来我们来聊一下分级存储当前的加固是怎么实现的？包括它的语义是什么？它能提供怎么样的数据的生命周期管理？

分级存储读写流程

分层生产流程

生产的主体流程和原生 Kafka 类似，写入到云盘的数据会异步同步到远端存储 COS。

分层消费流程

消费的流程也是类似的，会根据用户 Consumer 的 Offset来做一个比较，如果是在本地存储，那么就本地存储优先返回。如果本地存储没有，那就从远端存储里面去实时读取，或者说根据不同的读取策略有不同的读取下载策略，进行消息读取的消费。

数据生命周期

引入了分层存储之后，数据就不只存储在本地了，就涉及到远端跟本地的数据生命周期的管理。

上面这四个图就是一个完整的开启分层存储之后数据的流转。

1.  Kafka Broker 存储数据的最小文件单元为 Segment，Segment 可以划分为 Active/Inactive 两种类型，Active Segment 是指当前正在写入的 Segment，Inactive Segment 则反之。

2.  开启分层之后，只会上传 Inactive Segment，对应图中开启分层后先上传 Segment 0。

3.  Local Rentention 参数，Inactive Segment 上传到远程存储之后，本地其实可以删除了，这里设计了一个参数 Local Rentention，控制本地已上传文件的保存时间。

4.  Rentention 参数，该参数在原生 Kafka 中就有体现，该参数的语义为 Topic 数据的保存时间，对应图中到 Rentention 时间之后远端数据进行数据删除。

这 1-4 步骤的状态流转即构成了 Kafka 本地以及远端数据的生命周期管理。

Offset 约束

Kafka 中每条 Message 都对应 Offset 位点，消息数据涉及从本地上传到远端，所以对于上传的 Offset 是有一定约束的。

图一：

图二：

图二中从左到右分别为 Lz,Ly,Ry,Lx,Rx。

• Lz(Local log end offset)，本地数据中最新数据的 Offset 位点。

• Ly(Last stable offset)，本地数据中，符合消费可见的数据，Kafka 中有 消费可见/事务可见 两种消息隔离级别。

• Ry(Remote log end offset)，远端数据中最新数据的 Offset 位点。

• Lx(Local log start offset)，本地数据中最老数据的 Offset 位点。

• Rx(Remote log start offset)，远端数据中最老数据的Offset 位点。

Offset 约束为 Lz >= Ly >= Lx 和 Ly >= Ry >= Rx 两条规则。

Segment 状态机

上文有提到过，数据从本地上传到远程是按照 Segment 维度进行上传的，那么每个 Segment 在上传过程中就会有各种状态，通过 Segment 状态机可以实现 Segment 状态流转以及状态管理。

Segment 状态流转主要体现在三个维度，CopySegment，DeleteSegment，DeletePartition。

• CopySegment

  ○ CopySegmentStarted -> CopySegmentFinished

• DeleteSegment

  ○ DeleteSegmentStarted -> DeleteSegmentFinished

• DeletePartition

  ○ DeletePartitionMarked -> DeletePartitionStarted -> DeletePartitionFinished

同时状态流转中，从一个状态转换到另一个状态是有限制的，比如：不能只能从 CopySegmentStarted -> DeleteSegmentStarted，从 CopySegmentStarted到DeleteSegmentStarted 必须保证：CopySegmentStarted -> CopySegmentFinished -> DeleteSegmentStarted。

分级存储架构

上文介绍了 Kafka 分级存储的读写流程、数据生命周期、Segment 状态流转，那么这些逻辑在 Kafka 原生系统中是在哪里实现的呢？

下图中介绍了整个 Kafka 存储的类以及架构图：

• Kafka ReplicaManager，负责管理本地存储 LogManager 以及远程存储 RemoteLogManager。

• 本地存储 LogManager，负责本地数据的生命周期管理。

• 远程存储 RemoteLogManager，负责远程存储的生命周期管理以及 Segment 元数据管理。

  ○ RemoteStorageManager 负责远程存储的生命周期管理。

  ○ RemoteLogMetadataManager 负责 Segment 元数据管理。

• 元数据存储

  ○ ETCD/ZooKeeper 作为元数据存储服务，负责元数据的存储以及 Recovery。

腾讯云的落地与实践

Segment 元数据管理

如下图：

• 依赖内部 Inner-Topic 作为 WAL 进行元数据信息同步。

• Broker 消费 WAL 进行内存状态机状态构建。

• Broker 定期持久化内存快照 Snapshot 以及快照对应的 Offset 到 Broker 本地。

• Broker 依赖 Snapshot 和增量 WAL 进行状态机 Recovery。

消费性能

上文读写流程中介绍了，写流程其实和原生 Kafka 是类似的，所以写性能基本和原生 Kafka 持平，大家可能都比较担心读取性能，比如读取历史数据的吞吐、SLA、数据可靠性等。在线上实践过程中，我们使用 COS 作为远程存储，在初步实践过程中发现直接使用 COS Stream 流式读取会有性能瓶颈问题。使用以下几个方案去提升读取性能。

1.  预加载的方式，规划内存池进行消息的预读和预加载。

2.  有空闲资源时对热点数据提前下载。

隔离性

因为引入了第三方存储，大家也知道线上的稳定性是第一重要的，稳定性就是生命性，所以说它的隔离性也是非常重要的。

硬盘

• 独立的 IO 盘，减少磁盘 IO 影响

CPU 

• 核心线程进行绑核

• 线程隔离

带宽

• 上传/下载限流

• 上传/下载任务并行度控制

内存

• 使用堆外内存

• ByteBuffer 复用

回滚

• 暂停分层上传能力

• 按需暂停分层数据下载能力

• 运营系统自动扩容云盘

• 支持 Topic/集群维度回滚

未来展望

整体落地的架构以上都有介绍的比较清楚，最终我们还是讲一下未来怎么发展。

大家都知道数据存到第三方存储之后，你对这部分数据的可操控性就强了很多，因为数据存在HDFS，那么你对文件就有操纵的能力。

Schema

• 消息格式存储（Protobuf、Json）

目前大数据、数据符这种概念在业界传播很广，在各大厂或者各个公司都有不同的场景，Broker 把这部分数据转存到 HDFS 或者COS的时候，我们也可以转存一份 Schema或者Protobuf、Json等。Broker只是做计算层，不光可以上传数据，也可以把 Schema 这个功能运用起来，然后把那个数据格式进行转化。

接入层

• 流量接入，无状态可横向扩展

Compute Engine

• 格式转换计算层，如：行列格式转换（Parquet）

• Parquet 直接对接 Hudi/Delta Lake

• 云 Api 获取文件

存储层

• 多模存储，数据分级

• 软硬件结合，探索新的存储系统