基本概念

小米数据处理服务基本概念

实例组

小米数据服务为集群中的实例定义了四种角色:master, control, core, task。每种角色的所有实例形成了实例组:主实例组,控制实例组,核心实例组,任务实例组。4个实例组所承担的责任和部署的服务都是不同的。

主实例组

每个集群内有且仅有一个主实例组,主实例组内有且仅有一个主实例(主节点),集群启动及运行时,不再允许变更主实例组。用于管理集群,协调部署集群内各个服务,监控集群内各个实例的运行状态。同时主实例允许用户通过ssh登录。

NOTE: 如何登录到主实例上,参考管理集群

控制实例组

每个集群内有且仅有一个控制实例组,控制实例组内有且仅有三个控制实例(控制节点),集群启动及运行时,不再允许变更控制实例组。实例组内部署了控制型服务,例如:zookeeper, HDFS中的zkfc, namenode,YARN中的resourcemanager等。

核心实例组

每个集群内有且仅有一个核心实例组,核心实例组内至少拥有一个核心实例(核心节点),集群运行时,可以允许向核心实例组内增加实例,但是不能减少。用于存储数据及运行任务,部署了存储型服务以及计算型服务,例如:HDFS中的datanode,YARN中的nodemanager等。

任务实例组

任务实例组对于一个集群来说是可选的,任务实例组内可以没有任务实例(任务节点),集群运行时,可以允许增减任务实例组内的实例数量。当计算资源不足又不缺存储空间时,可以添加任务实例,用于运行任务。任务实例组上仅部署计算型服务,例如:YARN中的nodemanager。