Solr集群索引以及查询对负载的影响

今天对Solr 7.6.0的集群的索引以及查询对负载的影响做一点测试，记录一下测试结果。

collection的shards和leader分布情况如下

ip和name对应如下表：

索引

测试的点是往没有leader的机器发文档进行索引，统计到的cpu utilization如下图。

从图中可以看出，发往没有leader的机器进行索引，所有机器的cpu都差不多。从而推论不管往哪个机器发文档进行索引，各个机器的cpu utilization都是均匀的。

索引数据如下：

1
2
3


title_t字段为随机生成80-100个字符的文本，文本为英文数据。
id为数字。只有这两个字段，每一个批次为100条数据，每个批次间隔5秒。
一次索引完成大概在1.2-1.3秒左右。

下面是索引中文时机器的cpu指标，中文使用单字分词，有title, content。content字段字符数量大概在1000-2000之间。索引时间在5-60秒不等。每一批为100条数据。

从图中可以看到solr5（接收请求）机器负载稍微高一点点。

使用的查询数据为随机生成的200000个关键词，间隔200毫秒。collection里面的数据量在10000左右。

上图分成三个区间来看：15:30之前，15:30-16:05，16:05之后，每一个区间使用不同的查询方法。

另外，solr5那个机器是没有leader在上面的。

这个时间区间使用的是所有请求串行发送，也就是一个接一个的发送，CPU的负载整体都不是很高，所有请求都发送到solr5那个机器上面，很明显的看到solr5机器的cpu负载要高于其他机器，其他机器的负载差不多。

这个时间区间使用跟上面一样的方法，只是并发数为10，请求也是只发送到solr5机器上面。可以看到solr5的负载明显高于其他机器。其他4个机器负载差不多。

这个时间区间使用同样的查询数据，10个并发，请求发送到solr1上面。从图上可以看到solr1的负载要高于其他4个机器，其他4个机器负载差不多。这一个测试的结果说明，不管一个节点上有没有leader，这个机器都会去比承担一部分的查询请求。

索引的时候各机器的负载差不多。查询的时候，请求的机器负载高于其他机器，其他机器负载相差不大。所以要集群查询的时候可以使用轮询的方式，每一次查询请求可以发送到不同的机器，这样就可以保证所有机器的负载相当了。