Apache Kafka各Api模块说明

Kafka API

• 微信公众号：阿俊的学习记录空间
• 小红书：ArnoZhang
• wordpress：arnozhang1994
• 博客园：arnozhang
• CSDN：ArnoZhang1994

Kafka 包含五个核心 API：

1. Producer API 允许应用程序将数据流发送到 Kafka 集群中的topic。
2. Consumer API 允许应用程序从 Kafka 集群中的topic读取数据流。
3. Streams API 允许将输入topic的数据流转换为输出topic的数据流。
4. Connect API 允许实现连接器，持续地从某个源系统或应用程序拉取数据到 Kafka，或将数据从 Kafka 推送到某个接收系统或应用程序中。
5. Admin API 允许管理和检查topic、代理以及其他 Kafka 对象。

Kafka 将其所有功能通过一个与语言无关的协议暴露出来，并且有很多编程语言的客户端可用。然而，只有 Java 客户端是作为 Kafka 主项目的一部分进行维护的，其他客户端则作为独立的开源项目提供。这里有一个非 Java 客户端的列表。

Producer API

Producer API 允许应用程序将数据流发送到 Kafka 集群中的topic。

如何使用 Producer 的示例可以在 javadoc 中找到。

要使用 Producer，可以使用以下 Maven 依赖：

<dependency>
    <groupId>org.apache.kafka</groupId>
    <artifactId>kafka-clients</artifactId>
    <version>3.8.0</version>
</dependency>

Consumer API

Consumer API 允许应用程序从 Kafka 集群中的topic读取数据流。

如何使用 Consumer 的示例可以在 javadoc 中找到。

要使用 Consumer，可以使用以下 Maven 依赖：

<dependency>
    <groupId>org.apache.kafka</groupId>
    <artifactId>kafka-clients</artifactId>
    <version>3.8.0</version>
</dependency>

Streams API

Streams API 允许将输入topic的数据流转换为输出topic的数据流。

如何使用 Streams API 的示例可以在 javadoc 中找到。

有关使用 Streams API 的更多文档可以在这里找到。

要使用 Kafka Streams，可以使用以下 Maven 依赖：

<dependency>
    <groupId>org.apache.kafka</groupId>
    <artifactId>kafka-streams</artifactId>
    <version>3.8.0</version>
</dependency>

如果使用 Scala，你可以选择性地包含 kafka-streams-scala 库。关于如何使用 Kafka Streams 的 Scala DSL，可以在开发者指南中找到更多文档。

要在 Scala 2.13 中使用 Kafka Streams DSL，可以使用以下 Maven 依赖：

<dependency>
    <groupId>org.apache.kafka</groupId>
    <artifactId>kafka-streams-scala_2.13</artifactId>
    <version>3.8.0</version>
</dependency>

Connect API

Connect API 允许实现连接器，持续从某个源数据系统拉取数据到 Kafka，或将数据从 Kafka 推送到某个接收数据系统。

许多使用 Connect 的用户无需直接使用此 API，他们可以使用预构建的连接器而无需编写任何代码。有关使用 Connect 的更多信息可以在这里找到。

想要实现自定义连接器的用户可以参考 javadoc。

Admin API

Admin API 支持管理和检查topic、代理、ACL 以及其他 Kafka 对象。

要使用 Admin API，请添加以下 Maven 依赖：

<dependency>
    <groupId>org.apache.kafka</groupId>
    <artifactId>kafka-clients</artifactId>
    <version>3.8.0</version>
</dependency>

相关package说明：