ShardingSphere + Database Mesh 爱奇艺的云上数据治理实践

ShardingSphere

全面的为大家介绍ShardingSphereIT技巧方面的经验，接下来IT袋网小编为大家介绍。

今年 5 月，SphereEx 正式对外提出了 Database Mesh 2.0 理念。关于 Database Mesh，其不是静态的定义，而是一个在不断进化的动态概念。Database Mesh 始终关注对数据库流量的治理，基于数据库协议感知能力，提供数据分片、负载均衡、可观测性、审计等能力，这些能力已经解决了数据库治理中属于流量治理的部分问题。此外 Database Mesh 也关注数据库可靠性工程的建设，面向不同角色提供更易用、更极致的数据库治理能力。

爱奇艺十分认同 Database Mesh 的理念以及愿景，即『在云端实现数据库的高性能扩展以及解决数据治理难题』。因此，爱奇艺基于自身需要对 ShardingSphere-JDBC 进行了扩展，并结合 Database Mesh 理念的具体实现–Pisanix 进行了一系列关键测试，逐步向 Database Mesh 架构演进。

随着业务扩张与用户数量激增，所接入的各类活动（例如秒杀）也在增长，瞬间巨大流量的涌入也为数据库带来了不小的压力，进而导致企业在应用数据库的过程中出现 slave 延迟、慢查询以及部分操作无法满足业务需要等问题。在微服务架构以及云原生的加速下，双方的结合为业务上线发布和治理带来了新的可能。不过随着业务场景越来越多元，数据应用的方案呈现烟囱状，对数据的管控有孤岛化的趋势，摆在技术人员面前的是“选型难、成本高、管控复杂”等问题。

尤其是在云原生日渐成熟的今天，业务应用和数据库等基础设施的关系正在潜移默化中改变，爱奇艺希望通过把握云原生架构的新趋势，采用统一化管理的方式，实现对数据库的扩展和升级，以支撑更多应用与业务上云。

为了满足业务团队在云上环境中对于数据库性能、可用性等方面的高要求，爱奇艺需要将 ShardingSphere 在本地的分布式能力迁移至云端，并寻找一款能够在云原生环境下统一云端数据库流量入口、对云上流量以及数据进行统一高效治理的工具。

爱奇艺在调研并配合测试反馈由 SphereEx 社区提供的 Database Mesh 解决方案–Pisanix 的同时，也基于 ShardingSphere 社区的 ShardingSphere-JDBC 进行二次开发，以满足目前业务接入数据库治理平台中对于数据分片、负载均衡、配置存储与安全等需求。

目前爱奇艺使用统一配置中心存储数据库连接配置，使用 KMS 相关技术加密数据库访问配置，使用 ShardingSphere-JDBC 满足数据分片和负载均衡相关的需求，整体架构如下图。