Kafka 中的 消息格式 是相对简单且高效的，以便实现高吞吐量和低延迟的消息传递。Kafka 的消息格式包括几个重要的组成部分，每个部分都有特定的作用。具体来说，Kafka 消息的格式包含以下内容：

1. Kafka 消息的基本结构

Kafka 的每个消息（Message）通常包含以下几个字段：

1. 消息头（Message Header）：

   • 消息大小（Message Size）：消息的总大小，包括所有内容。Kafka 使用这一信息来高效地管理消息的读取和写入。
   • Magic Byte：一个单字节标记，用于标识消息格式的版本。在当前的 Kafka 版本中，通常是 0，但未来可能会有不同的版本号。

2. 消息体（Message Body）： 消息体由以下几个部分组成：

   • 消息键（Key）：每条消息可以包含一个可选的消息键（key），它是一个字节数组。消息键用于控制消息的 分区（Partition），即 Kafka 会根据消息的键来决定该消息将被写入哪个分区（采用一致性哈希算法）。如果没有提供键，Kafka 会根据负载均衡算法随机选择一个分区。
   • 消息值（Value）：消息的实际内容，是一个字节数组，存储了你实际发送的消息数据。Kafka 中的消息值通常是任何二进制数据，如 JSON、Avro 或 Protobuf 格式的消息。

3. 时间戳（Timestamp）： Kafka 中的消息包含一个 时间戳，用来表示消息的时间。时间戳有两种类型：

   • 创建时间：表示消息生成时的时间戳，通常由生产者生成并设置。
   • 日志时间：表示消息在 Kafka 中被写入日志的时间，由 Kafka 自动记录。

4. 消息的偏移量（Offset）： 每个消息在 Kafka 中都有一个 偏移量（Offset），这是 Kafka 用来标识该消息在分区中的位置的唯一标识符。消费者通过偏移量来跟踪自己在分区中的消费进度。

2. Kafka 消息的格式细节

Kafka 消息格式包含如下字段：

• 消息长度：整个消息的大小，包括所有字段的字节数。
• Magic Byte：标识消息格式版本，当前为 0，并且会随着版本的变化而更新。
• 消息头部：
  • 可能包含一些额外的元数据，如时间戳（timestamp）、消息的唯一标识等。
• 消息体：
  • Key：消息的键（可选）。
  • Value：消息的实际内容（值）。

例如，Kafka 消息的结构如下所示：

+----------------------------+
| Message Length (4 bytes)    |  
+----------------------------+
| Magic Byte (1 byte)         |
+----------------------------+
| Timestamp (8 bytes)         |
+----------------------------+
| Key Length (4 bytes)        |
+----------------------------+
| Key (optional, variable)    |
+----------------------------+
| Value Length (4 bytes)      |
+----------------------------+
| Value (variable)            |
+----------------------------+

3. 消息的具体字段描述

• 消息长度（Message Length）： 消息长度字段是一个 4 字节的字段，表示该消息的总大小（包括 Magic Byte、时间戳、消息键、消息值等部分）。它使得 Kafka 在读取消息时能够知道消息的结束位置。

• Magic Byte（Magic Byte）： 这是一个 1 字节的字段，用于标识消息的格式版本。Kafka 当前版本使用的 Magic Byte 值是 0，但在未来的版本中可能会发生变化。这个字段可以帮助 Kafka 在读取消息时理解消息格式，便于处理不同版本的消息。

• 时间戳（Timestamp）： 时间戳是一个 8 字节的字段，表示该消息的时间戳。这个时间戳通常是生产者设置的消息生成时间。如果生产者没有设置时间戳，Kafka 将使用消息写入日志时的时间作为时间戳。

• Key（可选）： 消息的键（Key）是一个可选的字节数组，它的长度由 Key Length 字段决定。如果没有设置键，Key Length 为 0，表示没有键。消息键在 Kafka 中有两个主要用途：

  • 分区键：Kafka 使用消息的键来确定该消息应该写入哪个分区。通常 Kafka 会使用键进行哈希，从而将消息分配到特定的分区。
  • 消息去重：消息键可以用于实现消息去重的策略。

• Value： 消息的值（Value）是一个必填的字节数组，包含了消息的实际内容。它可以是任何格式的数据（如 JSON、字符串、二进制数据等）。Kafka 并不会解析消息内容，消费者读取消息时可以根据自己的需求进行解析。

4. Kafka 中的消息存储格式

Kafka 内部的消息存储格式是以 Segment 为单位的文件存储。每个分区有多个 日志段（Log Segment），Kafka 将每个消息写入一个 日志文件 中，日志文件按顺序存储，确保高效的顺序写入。日志文件中的每条消息会包含上述的格式信息，包括偏移量、时间戳、键和值等。

5. 消息压缩

Kafka 支持消息压缩，可以通过生产者的配置来启用压缩。Kafka 支持以下几种压缩算法：

• GZIP
• Snappy
• LZ4
• Zstd

当消息被压缩时，消息的内容会被压缩为一个较小的字节数组，从而减少网络带宽的使用和磁盘存储的空间。在 Kafka 中，压缩是在消息值（Value）级别进行的，生产者将压缩后的消息发送到 Kafka，而消费者则需要解压消息内容。