Xiaomi Galaxy Talos Book

Talos测试场景及结果

同步模式的读写测试，使用Simple Producer & Simple Consumer

备注：

1台客户机，8台Talos机器，8台Hdfs，8台HBase，Talos与Hdfs/HBase混布，机型均为2U；
读写同步，每个partition对应一个线程；
ThroughPut指的是client出口/入口带宽；
QPS是集群整体处理能力，非单台serverQPS

场景一：只写，batch=1

Partition 数量	Batch 大小	单条消息大小(Bytes)	QPS	Latency(ms)	ThroughPut(MB/s)
1	1	100	531	1.88	0.05
8	1	100	4040	1.98	0.40
16	1	100	7843	2.04	0.78
32	1	100	14883	2.15	1.49
64	1	100	27004	2.37	2.70
128	1	100	43537	2.94	4.35

场景二：读写同时，batch=1

Partition数量	Batch大小	消息大小(Bytes)	QPS (读 / 写)	Latency(ms)(读/写)	ThroughPut(MB/s)(读/写)
1	1	100	599/495	1.67/1.88	0.06/0.05
8	1	100	4484/3960	1.78/2.02	0.45/0.40
16	1	100	8602/7582	1.86/2.11	0.86/0.76
32	1	100	16000/14035	2.00/2.28	1.60/1.40
64	1	100	25910/23021	2.47/2.78	2.59/2.30
128	1	100	25498/24196	5.02/5.29	2.55/2.42

场景三：只写，batch=10

Partition 数量	Batch 大小	单条消息大小(Bytes)	QPS	Latency(ms)	ThroughPut(MB/s)
1	10	100	518	1.93	0.52
8	10	100	3883	2.06	3.88
16	10	100	7547	2.12	7.55
32	10	100	14414	2.22	14.41
64	10	100	26337	2.43	26.34
128	10	100	41157	3.11	41.16

场景四：读写同时，batch=10

Partition数量	Batch大小	消息大小(Bytes)	QPS (读 / 写)	Latency(ms)(读/写)	ThroughPut(MB/s)(读/写)
1	10	100	581/507	1.72/1.97	0.58/0.51
8	10	100	4419/3791	1.81/2.11	4.42/3.80
16	10	100	8421/7373	1.90/2.17	8.42/3.37
32	10	100	15686/13559	2.04/2.36	15.69/13.45
64	10	100	24806/21993	2.58/2.91	24.81/22.00
128	10	100	24288/23021	5.27/5.56	24.29/23.02

场景五：只写，batch=100

Partition 数量	Batch 大小	单条消息大小(Bytes)	QPS	Latency(ms)	ThroughPut(MB/s)
1	100	100	469	2.13	4.69
8	100	100	3493	2.29	34.93
16	100	100	6751	2.37	67.51
32	100	100	12800	2.50	128.00
64	100	100	23188	2.76	231.88
128	100	100	36056	3.55	360.56

场景六：读写同时，batch=100

Partition数量	Batch大小	消息大小(Bytes)	QPS (读 / 写)	Latency(ms)(读/写)	ThroughPut(MB/s)(读/写)
1	100	100	546/458	1.83/2.18	5.46/4.58
8	100	100	4102/3433	1.95/2.33	41.01/34.33
16	100	100	7804/6530	2.05/2.45	78.04/65.30
32	100	100	14545/11985	2.20/2.67	145.45/119.85
64	100	100	22377/19219	2.86/3.33	223.77/192.19
128	100	100	22416/20545	5.81/6.23	224.16/205.45

场景七：只写，batch=1000

Partition 数量	Batch 大小	单条消息大小(Bytes)	QPS	Latency(ms)	ThroughPut(MB/s)
1	1000	100	252	3.96	25.2
8	1000	100	1814	4.41	181.4
16	1000	100	3347	4.78	334.7
32	1000	100	5683	5.63	568.3
64	1000	100	7467	8.57	746.7
128	1000	100	8366	15.30	836.6

场景八：读写同时，batch=1000

Partition数量	Batch大小	消息大小(Bytes)	QPS (读 / 写)	Latency(ms)(读/写)	ThroughPut(MB/s)(读/写)
1	1000	100	310/246	3.22/4.06	31/25
8	1000	100	2110/1709	3.79/4.68	211/170
16	1000	100	3703/3007	4.32/5.32	370/300
32	1000	100	5152/4255	6.21/7.52	515/425
64	1000	100	5526/4765	11.58/13.43	552/476
128	1000	100	5553/4996	23.05/25.62	555/500

异步模式的读写测试，使用High Level API，单Producer & 单Consumer

备注：使用高阶API的测试在写的速度上性能比同步模式更好一些，读的性能不会比写差