致力技术分享,碰撞思想火花。
12月18日,以“云原生-数据和未来”为主题的2021年度3306π技术分享会在深圳收官。延续以往的技术干货分享风格,分享会现场汇聚分享会现场汇聚阿里云、华为云、腾讯云、青云、万里数据库、爱可生、vivo、Datafuse Labs等国内知名云和数据库技术专家,围绕会议主题,展开数据库技术路线和应用实践的相关分享。
下午,由万里数据库开源生态负责人叶金荣老师开场,围绕《GreatSQL特性介绍及未来展望》主题,向大家介绍了万里数据库GreatSQL开源分支的技术特性优势和未来规划。
叶老师表示,金融应用场景对MySQL的服务稳定性、数据一致性、业务连续性有较高要求,且要尽可能实现RPO=0 & RTO=0。相较传统MySQL主从复制或PXC,MGR更适用于金融场景,因为它基于shared-nothing架构,提供数据⼀致性及⾼可⽤集群⽅案,自带高可用特性,可实现故障自动监测及自动切换,支持单主、多主模式,且可实现弹性扩展,快速增删节点。
相反,传统的主从复制如异步复制容易产生延迟、异步或半同步存在众多因素导致数据不一致、无官方提供的配套高可用方案,持续校验数据不适合数据高一致性的业务场景等缺点,不适合金融类场景。
而GreatSQL就是万里数据库针对MGR打造的开源分支版本,尤其适用于金融级高可用业务场景。GreatSQL新增的地理标签功能可解决多机房数据同步的问题,每个机房配置一组服务器,事务提交时每组中至少有一个节点确认事务,且每个机房中至少有一个节点有最新事务。
GreatSQL中优化了流控机制,通过重新设计流控算法的方式,增加主从延迟时间来计算流控阈值,并同时考虑大事务处理与主从节点的同步问题。在流控颗粒度上更细致,不会出现MySQL中存在的每秒小抖动问题。
此外,尤其值得一提的是,GreatSQL新增了InnoDB并⾏查询优化和事务锁优化特性。前者特别适⽤于周期性数据汇总报表之类的SAP、财务统计等业务,可对B+多个⼦树并⾏扫描后再聚合,提升查询效率。在TPC-H测试中,使用InnoDB并⾏查询组件,速度最⾼可提升30倍,平均提升15倍以上。后者可将原来的红⿊树改为⽆锁哈希结构,在⾼并发场景中有效提升事务并发性能超10%。
同时,GreatSQL成功解决了多主模式或切主时可能丢数据的问题及节点异常退出集群时导致的性能抖动问题,解决了磁盘空间爆满时导致MGR集群阻塞的问题,并支持AFTER模式下多数派写机制。通过重新设计事务认证队列清理算法,提升一致性读写性能等手段提升MGR性能。
面向GreatSQL未来发展,叶老师提及,未来GreatSQL一方面将引入日志节点,保障可靠性的同时降低成本;另一方面,将打造快速单主模式,提高单主模式下的性能。提升大事务的支持,应对更多业务场景,且不断优化Paxos RTT响应,对并⾏DDL&DML兼容更友好。
GreatSQL致力于打造更流畅的用户使用体验,未来,GreatSQL将汇聚更多的技术人才,培育技术生态,与3306π在内的众多技术社区同心协力,为中国的开源生态走向更健康、更强大贡献源源不断的技术力量!