Segment 数据文件
Partition 在物理上由多个 Segment 数据文件组成，每个 Segment 数据文件大小相等、按顺序读写。每个 Segment 数据文件的第一个文件名从 0 开始，后续每个 Segment 文件名为上一个全局 Partition 的最大offset，文件扩展名为 .log。在查找指定 Offset 的 Message 中，用二分查找就可以定位到该 Message 在哪个 Segment 数据文件中。
Segment 数据文件会首先被存储在内存中，当 Segment 上的消息条数达到配置值或消息发布时间超过阈值时，Segment 上的消息会被 flush 到磁盘，只有 flush 到磁盘上的消息才能被 Consumer 消费，Segment 达到一定的大小（默认是 1 GB，可配置）后将不会再往该 Segment写数据，Broker 会创建新的 Segment。
Segment 索引文件
Kafka 为每个 Segment 数据文件都建立了索引文件，索引文件的文件名与数据文件的文件名一致，不同的是索引文件的扩展名为 .index。比如：
Segment 索引文件索引文件并不会为数据文件中的每条 Message 都建立索引，而是采用系数索引的方式，每个一定字节建立一条索引。这样可有效降低索引文件大小，方便将索引文件加载到内存中，提高集群的吞吐量。
如下图所示，000000000000036869.index 文件中记录了 (3,497) ，在数据文件中表示第 3 个 Message（在全局Partition 表示第 368772 个 Message)，该 Message 的物理偏移地址为 497。
Partition 中通过 Offset 查找 Message
比如读取 Offset=368776 的 Message，需要通过下面 2 个步骤进行查找：
-
查找 Segment 文件
其中00000000000000000000.index 表示最开始的文件，起始 Offset=0。第二个文件 00000000000000368769.index 文件的起始偏移量为 368770 (368769 + 1)。同样，第三个文件00000000000000737337.index 文件的起始偏移量为 737338 (737337 + 1) ，其他后续文件依次类推，以起始偏移量命名并排序这些文件，根据 Offset 二分查找文件列表，快速定位到 00000000000000368769.index 文件。
-
通过 Segment 文件查找 Message
当 Offset=368776 时，依次定位到 00000000000000368769.index 的元数据物理位置和 00000000000000368769.log 的物理偏移地址，然后再通过 00000000000000368769.log 顺序查找直到 Offset=368776为止。
参考：
标签：文件,存储,数据文件,index,Kafka,索引,设计,Message,Segment From： https://www.cnblogs.com/i9code/p/17988401