Talos测试场景及结果


同步模式的读写测试,使用Simple Producer & Simple Consumer

备注:

  • 1台客户机,8台Talos机器,8台Hdfs,8台HBase,Talos与Hdfs/HBase混布,机型均为2U;
  • 读写同步,每个partition对应一个线程;
  • ThroughPut指的是client出口/入口带宽;
  • QPS是集群整体处理能力,非单台serverQPS
场景一:只写,batch=1
Partition 数量 Batch 大小 单条消息大小(Bytes) QPS Latency(ms) ThroughPut(MB/s)
1 1 100 531 1.88 0.05
8 1 100 4040 1.98 0.40
16 1 100 7843 2.04 0.78
32 1 100 14883 2.15 1.49
64 1 100 27004 2.37 2.70
128 1 100 43537 2.94 4.35
场景二:读写同时,batch=1
Partition数量 Batch大小 消息大小(Bytes) QPS (读 / 写) Latency(ms)(读/写) ThroughPut(MB/s)(读/写)
1 1 100 599/495 1.67/1.88 0.06/0.05
8 1 100 4484/3960 1.78/2.02 0.45/0.40
16 1 100 8602/7582 1.86/2.11 0.86/0.76
32 1 100 16000/14035 2.00/2.28 1.60/1.40
64 1 100 25910/23021 2.47/2.78 2.59/2.30
128 1 100 25498/24196 5.02/5.29 2.55/2.42
场景三:只写,batch=10
Partition 数量 Batch 大小 单条消息大小(Bytes) QPS Latency(ms) ThroughPut(MB/s)
1 10 100 518 1.93 0.52
8 10 100 3883 2.06 3.88
16 10 100 7547 2.12 7.55
32 10 100 14414 2.22 14.41
64 10 100 26337 2.43 26.34
128 10 100 41157 3.11 41.16
场景四:读写同时,batch=10
Partition数量 Batch大小 消息大小(Bytes) QPS (读 / 写) Latency(ms)(读/写) ThroughPut(MB/s)(读/写)
1 10 100 581/507 1.72/1.97 0.58/0.51
8 10 100 4419/3791 1.81/2.11 4.42/3.80
16 10 100 8421/7373 1.90/2.17 8.42/3.37
32 10 100 15686/13559 2.04/2.36 15.69/13.45
64 10 100 24806/21993 2.58/2.91 24.81/22.00
128 10 100 24288/23021 5.27/5.56 24.29/23.02
场景五:只写,batch=100
Partition 数量 Batch 大小 单条消息大小(Bytes) QPS Latency(ms) ThroughPut(MB/s)
1 100 100 469 2.13 4.69
8 100 100 3493 2.29 34.93
16 100 100 6751 2.37 67.51
32 100 100 12800 2.50 128.00
64 100 100 23188 2.76 231.88
128 100 100 36056 3.55 360.56
场景六:读写同时,batch=100
Partition数量 Batch大小 消息大小(Bytes) QPS (读 / 写) Latency(ms)(读/写) ThroughPut(MB/s)(读/写)
1 100 100 546/458 1.83/2.18 5.46/4.58
8 100 100 4102/3433 1.95/2.33 41.01/34.33
16 100 100 7804/6530 2.05/2.45 78.04/65.30
32 100 100 14545/11985 2.20/2.67 145.45/119.85
64 100 100 22377/19219 2.86/3.33 223.77/192.19
128 100 100 22416/20545 5.81/6.23 224.16/205.45
场景七:只写,batch=1000
Partition 数量 Batch 大小 单条消息大小(Bytes) QPS Latency(ms) ThroughPut(MB/s)
1 1000 100 252 3.96 25.2
8 1000 100 1814 4.41 181.4
16 1000 100 3347 4.78 334.7
32 1000 100 5683 5.63 568.3
64 1000 100 7467 8.57 746.7
128 1000 100 8366 15.30 836.6
场景八:读写同时,batch=1000
Partition数量 Batch大小 消息大小(Bytes) QPS (读 / 写) Latency(ms)(读/写) ThroughPut(MB/s)(读/写)
1 1000 100 310/246 3.22/4.06 31/25
8 1000 100 2110/1709 3.79/4.68 211/170
16 1000 100 3703/3007 4.32/5.32 370/300
32 1000 100 5152/4255 6.21/7.52 515/425
64 1000 100 5526/4765 11.58/13.43 552/476
128 1000 100 5553/4996 23.05/25.62 555/500

异步模式的读写测试,使用High Level API,单Producer & 单Consumer

备注:使用高阶API的测试在写的速度上性能比同步模式更好一些,读的性能不会比写差

results matching ""

    No results matching ""