ShardingSphere + Database Mesh 爱奇艺的云上数据治理实践(3)

ShardingSphere

01 数据分片，在云端提供接近 ShardingSphere-JDBC 的性能

数据分片是应对海量数据存储与计算的有效手段，这也是爱奇艺在云原生非 Java 语言场景中倾向于 Pisanix 的动机之一。在数据分片的全部环节中，主要包含了 SQL 解析、SQL 改写、SQL 路由、结果归并这 4 个重要模块。

其中，为配合将 ShardingSphere 本地强大的分片能力迁移至云端，Pisanix 基于底层数据库在云端提供了数据分片的治理能力，用户可以通过 Pisanix 实现水平扩展计算。同时开放更多自定义指标，为 Pisa-Proxy 实现更智能、更稳定的高级自动扩容能力。

基于 Pisa-Controller 控制面，爱奇艺能够实现对数据面组件的管控，配合 Pisa-Proxy，以 Sidecar 方式与业务应用部署在同一个 Pod 中，用以监听 MySQL 协议获取应用访问数据库的流量。在此基础上，Pisanix 还为爱奇艺提供了多种治理能力：

• SQL 流量治理：通过解析 SQL，实现多种负载均衡策略、限流等；
• 访问控制：根据用户和数据权限关系，实现细粒度的权限控制；
• SQL 防火墙：阻止高危 SQL 语句执行；
• 可观测性：暴露各种数据库访问指标：如吞吐、延时等。

对于爱奇艺而言，基于 Pisanix 实现 Java 业务和非 Java 业务都能够在云环境下的高性能分片，将确保更多业务未来能够在 Pisanix 的支持下顺畅运转。

2、读写分离，有效提升数据库吞吐量

为了达到提升系统吞吐量以及可用性等需求，许多系统往往会采用主从数据库架构的配置模式，但是这种主从模式也为业务的使用带来了一定的复杂性。因此，在读请求明显高于写请求的情况下，需要在此基础上使用读写分离来突破数据库在实际应用场景中性能瓶颈问题。

作为业界在主从场景下提升数据库吞吐量最常用的技术方案之一，读写分离能够达到在实际场景中提高查询性能、降低服务器负载的目的。不过读写分离也带来了与数据分片同样的问题，它同样会使得应用开发以及运维人员对数据库的操作变得更加复杂。

目前爱奇艺通过一主多从的配置方式，将查询请求均匀分散到多个数据副本，进而提升系统的处理能力。这种方式不但能够提升系统的吞吐量，还能够有效提升系统可用性，进而达到在任何一个数据库宕机、甚至磁盘物理损坏的情况下仍然不影响系统的正常运行的目标。

在规划过程中，爱奇艺计划使用 Pisanix 的动态感知读写分离功能来管理多主多从的数据库集群。在接入 Pisanix 后，爱奇艺将可以利用读写分离功能管理主从数据库，实现透明化的读写分离功能，让用户像使用一个单体数据库一样使用主从架构的数据库。

目前，爱奇艺内部对 ShardingSphere-JDBC 的改造已经基本完成，未来也将计划应用 Pisanix 配合 ShardingSphere 的能力，在爱奇艺内部实现对 MySQL 的统一治理。在 ShardingSphere 社区和 Database Mesh 社区的大力推动下，Pisanix 也将结合用户使用场景不断打磨云上解决方案，为爱奇艺的业务部门提供可靠的技术支撑，加速云上业务拓展。

不过，毕竟 Pisanix 是一个非常年轻的项目，因此在实际应用中还是存在一些不足。在爱奇艺的测试应用过程中，目前 Pisanix 对于分库分表的表达式支持程度有限，对于 SQL 的特殊配置程度有待进一步提升。此外如 Pisanix 运行状况的可视化、metrics、熔断降级策略、trace 等与线上性能相关的能力将会是社区接下来的发展重点。SQL 审计、Pisa-Controller 与 Istio 合并等兼容性及性能问题，也已经被社区所注意到并提上了日程。

未来爱奇艺将基于 ShardingSphere-JDBC 以及 Database Mesh 理念正在迭代中的 Pisanix，搭建起基于 MySQL 的统一数据访问规范和解决方案。通过统一配置中心与定制化 sidecar，爱奇艺将逐步实现数据库访问细节对业务开发人员完全透明，降低使用复杂度的同时增强数据库访问的安全性，加速构建数据库统一配置中心，协助应用上云。

上面IT袋网为您介绍的ShardingSphere + Database Mesh 爱奇艺的云上数据治理实践的具体内容，供大家参考操作。