ClickHouse集群在eBay事件监控平台的可用性和扩展性探索

ClickHouse集群在eBay事件监控平台的可用性和扩展性探索

全面的为大家介绍ClickHouse集群在eBay事件监控平台的可用性和扩展性探索方面的知识，接下来一起来看看吧。

问题陈述

1.1 架构描述

eBay的监控平台Sherlock.io包含着对不同类型的数据的处理，存储以及展示。而基于事件信号的（event）监控平台是已经发展成型，且存储和计算采用的是最近几年OLAP领域热度非常高的ClickHouse集群。事件信号监控目前已经self-service开放给用户，用户在UI上根据提示就可以完成自助注册写入。默认情况下，用户的数据会被写入默认的shared的ClickHouse集群中。但是一些重要的用户，通常他们的数据量也是比较大的，可以根据用户要求，将数据放进dedicated的ClickHouse集群当中。

目前为止，事件平台已经有超过20个ClickHouse集群用于事件存储，包含dedicated给用户的以及shared的部分。每一个集群都有相似的部署架构，但是根据用户数据量以及留存时间的需求，可以设置不同的shard数目；而每一个shard的数据会有三个备份，每一个备份分别位于ebay的3个不同的数据中心。

在这种架构下，事件的存储其实是可以在cluster level进行扩展的。例如当一个用户的数据量急剧增长，原来shared集群不适合存储这个case时，可以根据流量大小再重新spin up一个ClickHouse集群 dedicated给该用户。

1.2 问题初现

eBay应用的OLAP数据是在事件监控平台上线最早的用户案例之一，也是我们最重要的案例。在OLAP数据进入事件平台之前，已经存储在druid中一段时间，在eBay SRE以及domain team有着非常广泛的应用，包括在Grafana上创建可视化图表以及基于OLAP数据的一些告警。在我们将基于OLAP数据的告警规则建立开放给用户self-service之后，由于规则validation以及ratelimiting还未启用，导致大量的bad queries涌入OLAP 集群以至于集群有时处于高负荷状态。ClickHouse本身是连接敏感的应用，读query和写query共用线程池，当读queries占据了几乎所有的线程之后，OLAP数据的写入也会受到影响。