数据流服务简介与架构

小米数据流服务，主要依托于流式消息队列系统Talos, 将其作为数据总线，其架构如下所示：

如上图所示，小米数据流服务主要结构为：

• 数据总线：小米数据流服务使用Talos作为数据总线，使得所有数据均通过Talos进行中转；
• Source支持：所有写入的模块均定义为Source，用于将数据实时的写入Talos；
• Sink支持：所有从Talos写出的模块定义为Sink，用于将数据实时的从Talos导出；
• 流式计算：所有数据写入Talos之后，均可以通过Spark Streaming进行流式计算；

主要特点为：

• Source/Sink完全解耦：通过引入数据总线，使得Source与Sink完全解耦，不再相互影响；
• Source/Sink易于扩展：支持多种Source/Sink，且定义好接口，非常易于扩展；
• 全方位数据中转服务：通过Source/Sink模式，系统数据中转的复杂度由（M*N）降低为（M+N）；
• 完整的流式计算支持：所有数据均可以通过spark Streaming进行处理，使得流式计算成为标配；
• 完整的安全认证体制：整个数据流均接入了生态云账号体系，使得数据安全可靠；
• 完整的数据质量监控：提供整体数据流SLA，用于说明数据丢失情况与数据延迟情况；
• 完整的服务质量监控：提供整体数据流全链路监控，实时发现数据流异常并出发报警；
• 全新的用户交互设计：通过全新的中心化配置管理，使得数据流配置转化为界面的点击操作；