kafka应用场景有哪些(2)

kafka应用场景有哪些

1. 采集器（agent）读取购物车指标发送到 Kafka 中。
2. Flink 读取 Kafka 中的指标数据进行聚合处理。
3. 实时监控系统和报警系统读取聚合数据作展示以及报警处理。

4. CDC（数据变更捕获）

CDC（数据变更捕获）用来将数据库中的发生的更改以流的形式传输到其他系统以进行复制或者缓存以及索引更新等。

Kafka 中有一个连接器组件可以支持 CDC 功能，它需要和具体的数据源结合起来使用。

数据源可以分成两种：源数据源（ data source ，也叫作“源系统”）和目标数据源（ Data Sink ，也叫作“目标系统”）。

Kafka 连接器和源系统一起使用时，它会将源系统的数据导人到 Kafka 集群。

Kafka 连接器和目标系统一起使用时，它会将 Kafka 集群的数据导人到目标系统。

下图展示了常见 CDC 系统的工作流程。

1. 源数据源将事务日志发送到 Kafka。
2. Kafka 的连接器将事务日志写入目标数据源。
3. 目标数据源包含 ElasticSearch、Redis、备份数据源等。

5. 系统迁移

Kafka 可以用来作为老系统升级到新系统过程中的消息传递中间件（Kafka），以此来降低迁移风险。

例如，在一个老系统中，有购物车 V1、订单 V1、支付 V1 三个服务，现在我们需要将订单 V1 服务升级到订单 V2 服务。

下图展示了老系统迁移到新系统的工作流程。

1. 先将老的订单 V1 服务进行改造接入 Kafka，并将输出结果写入 ORDER 主题。
2. 新的订单 V2 服务接入 Kafka 并将输出结果写入 ORDERNEW 主题。
3. 对账服务订阅 ORDER 和 ORDERNEW 两个主题并进行比较。如果它们的输出结构相同，则新服务通过测试。

6. 事件溯源

事件溯源是 Kafka 在微服务架构中的重要应用场景之一。

可以用 Kafka 记录微服务间的事件，如订单创建、支付完成、发货通知等。

这些事件可以被其他微服务订阅和消费，实现业务逻辑的协调和同步。

简单来说事件溯源就是将这些事件通过持久化存储在 Kafka 内部。

如果发生任何故障、回滚或需要重放消息，我们都可以随时重新应用 Kafka 中的事件。

7. 消息队列

Kafka 最常见的应用场景就是作为消息队列。Kafka 提供了一个可靠且可扩展的消息队列，可以处理大量数据。

Kafka 可以实现不同系统间的解耦和异步通信，如订单系统、支付系统、库存系统等。

在这个基础上 Kafka 还可以缓存消息，提高系统的可靠性和可用性，并且可以支持多种消费模式，如点对点或发布订阅。

上面IT袋网为您介绍的kafka应用场景有哪些的具体介绍，小编希望给网友们带来一些知识。