在 Kafka 中，位移（offset） 是一个非常重要的概念，它是 Kafka 中对消息进行标识和跟踪的核心机制。每个 Kafka 分区中的消息都有一个唯一的位移值，用来表示该消息在分区中的位置。

位移（Offset）的作用

1. 唯一标识消息位置：

   • 在 Kafka 中，每个分区是有序的，消息会按照它们到达的顺序进行编号。每条消息在 Kafka 分区中的位置由一个 偏移量（offset） 唯一标识。这个偏移量是一个单调递增的整数，从 0 开始，表示消息在分区中的位置。
   • 例如，分区 0 中的第一条消息的偏移量是 0，第二条消息的偏移量是 1，以此类推。

2. 消费者位移追踪：

   • Kafka 的消费者通过 消费位移（Consumer Offset） 来追踪它们在每个分区中的消费进度。消费者不会直接删除消息，而是通过位移来标识自己已处理到消息的哪个位置。
   • 每个消费者（或消费者组）都会维护一个消费位移，该位移记录了该消费者上次成功消费的消息的位置。当消费者读取消息时，它会更新其当前位移。

3. 容错性和恢复：

   • Kafka 中的位移使得消费者在发生故障时能够恢复处理进度。例如，如果消费者崩溃或者重新启动，它可以根据存储的位移恢复上次消费的位置，继续从未处理的消息开始读取，保证消息的准确消费。
   • 位移通常会保存在 Kafka 集群内部的 __consumer_offsets 主题中，或外部存储系统中，以便消费者在失败后能够恢复。

4. 消费进度控制：

   • 消费者可以控制位移的提交方式：
     • 自动提交：消费者会定期自动提交消费的位移。
     • 手动提交：消费者可以选择在每次成功处理消息后，手动提交位移，确保只有在消息成功处理后才更新消费进度。
   • 手动提交位移有助于确保在消息处理出错时可以重新消费未处理的消息，避免丢失或重复处理消息。

5. 消费者组和位移：

   • Kafka 支持 消费者组（Consumer Group） 的概念。一个消费者组中的每个消费者负责处理一个或多个分区中的消息，消费者组中的位移是共享的。Kafka 会保证每个分区中的消息只会被消费者组中的一个消费者处理。
   • 消费者组的位移是独立于各个消费者的，消费者组会追踪每个分区的消费进度，确保消息不会被重复消费。

6. 位移的管理：

   • 位移可以存储在不同的地方，通常会保存在 Kafka 内部的 __consumer_offsets 主题中，或者消费者可以选择将位移保存到外部的数据库或存储系统中。Kafka 会定期清理过时的位移数据，以减少存储空间的占用。

位移的特点

• 顺序性：每个分区的位移是单调递增的，即每次消费一个消息，位移值就会加 1。
• 消费进度：位移值帮助消费者追踪已经消费的消息以及未消费的消息。
• 不可重用：位移一旦递增，不可以“重置”为之前的值，这保证了消费消息的顺序性。
• 长时间存储：Kafka 默认会保存消息一定时间，即使消费者没有及时读取，消息也会被保留，直到达到设置的过期时间或磁盘空间限制。

位移的提交与更新

• 自动提交（auto.commit）：

  • 默认情况下，Kafka 会在消费者消费完消息后自动提交位移。这是通过配置 enable.auto.commit=true 实现的，位移会被周期性地提交，默认每 5 秒提交一次。
  • 优点：自动管理位移，无需手动操作。
  • 缺点：如果消费者在自动提交之前崩溃，可能会导致消息重复消费，或者如果消息处理失败且未提交位移，消息可能会丢失。

• 手动提交（manual commit）：

  • 在手动提交模式下，消费者需要显式地调用 commitSync() 或 commitAsync() 来提交位移。这允许消费者在消息处理完毕后再提交位移，以确保只有成功处理的消息才会被标记为已消费。
  • 优点：可以更精确地控制消息消费的进度和确保消息处理的准确性。
  • 缺点：需要开发人员手动管理位移的提交和异常处理。

位移的存储

• __consumer_offsets 主题：Kafka 在集群内部使用名为 __consumer_offsets 的特殊主题来存储消费者的位移信息。每个消费者组在该主题中有自己的分区，用于存储其在每个分区的消费进度。
• 外部存储：一些 Kafka 客户端允许将位移信息存储到外部存储中，比如数据库、文件系统等。这种方式通常适用于对消费进度有特殊需求的场景。

位移的示例

假设你有一个分区为 5 的 Kafka 主题 topic-1，其消息偏移量分别是：

消息	偏移量（Offset）
msg1	0
msg2	1
msg3	2
msg4	3
msg5	4

• 消费者 A 在消费过程中，可能读取了 msg1 和 msg2，并在处理完后提交了位移为 2。这表示消费者 A 认为 msg1 和 msg2 已经成功处理，并且下次会从 msg3 开始读取。
• 如果消费者 A 在处理 msg3 时崩溃，重启后它会根据位移 2 重新从 msg3 开始消费。