Xiaomi Galaxy Talos Book

Talos数据存储模型


数据存储模型

talos data model

如图所示是Talos数据存储的组织形式

  • 逻辑结构:如图左上角,数据以Topic形式存在,逻辑上分为多个partition,图中topic有8个partition,partition id 为 [0, 7]

  • 物理结构:每个Partition在硬盘上是以多个文件组织而成,如图 Partition 7 由 3 个文件组成:file 1,file 2,file 3;

  • Message组织形式:用户写入Talos的Message在文件中是以append的方式追加入文件,如图Partition 7的file 3是由一条条message组成,每条message包括header和content, 第1000条message被put到partition7后是被append到file 3中去了;

  • Offset含义:offset表示这条消息在整个Partition中是第几条,如图file 3存储的消息offset范围是 [700, 1000]