232024.08

新版本 | GreatSQL 8.0.32-26全新发布 增强“四高”诸多新特性

2024.08.23

近日,GreatSQL开源数据库社区正式发布 GreatSQL 8.0.32-26新版本,在高可用、高性能、高兼容、

高安全等诸多方面进行了特性增强,修复多个缺陷,并详细说明了多个典型应用场景下,升级/降级到

GreatSQL 8.0.32-26的操作策略。


版本信息:


  • 发布时间:2024年08月05日

  • 版本号:8.0.32-26, Revision a68b3034c3d

  • 下载链接:https://gitee.com/GreatSQL/GreatSQL/releases/tag/GreatSQL-8.0.32-26

  • 用户手册:https://greatsql.cn/docs/8.0.32-26/


特性增强


GreatSQL 8.0.32-26 版本在等多方面都增强了新特性,包括 Clone 增量备份、压缩备份,MGR新加入

成员节点时自动选择最新数据节点为donor节点,NUMA亲和性优化,非阻塞式DDL,无主键表导入优化

以及更多的Oracle兼容用法,最后登录信息,基于规则的数据脱敏功能等多个新特性。


高可用


当有新成员节点加入MGR时,如果选择Clone方式复制数据,支持自动选择从最新事务数据的成员节点复制数据

,可有效提升Clone速度,提升MGR的服务可靠性。当新加入节点触发Clone方式复制数据时,也支持该特性。

参数group_replication_donor_threshold用于定义选择donor节点时判断事务延迟阈值,取值范围 [1, MAX],

默认值为 MAX。MAX 值取决于 CPU 类型,在32-bit系统中是2147483647(231-1),而在64-bit系统中是

9223372036854775807(263-1)。


当新成员节点加入 MGR 时,新成员节点只会选择那些延迟小于 group_replication_donor_threshold 的节点

作为 donor 节点。


假设 group_replication_donor_threshold = 100,那么:


1、MGR中有A、B两节点,它们的GTID分别是[1-300]、[1-280]:新节点 C 加入,由于A & B节点的

GTID差值小于预设阈值,则随机选择A或B其中一个节点作为donor节点。


2、MGR中有A、B两节点,它们的GTID分别是[1-400]、[1-280]:新节点C加入,由于A & B节点的

GTID 差值大于预设阈值,则只会选择A作为donor节点。


3、MGR中有A、B、C三节点,它们的GTID分别是 [1-400]、[1-350]、[1-280]:新节点D加入,由于

C节点的GTID差值大于预设阈值,A & B节点GTID延迟小于预设阈值,则会随机选择A或B其中一个作为

donor节点。


在主从复制中,由从节点向主节点发起Binlog读取请求。如果读取太快或并发线程太多就会加大主节点的压力。

新增参数 rpl_read_binlog_speed_limit 用于控制从节点上向主节点发起Binlog读取请求的限速,这对于控制

主从复制中的网络带宽使用率、降低主节点压力或在数据恢复过程中降低资源消耗非常有用,该参数可在从

节点端设置生效。


Binlog 读取限速 ➥

https://greatsql.cn/docs/8.0.32-26/5-enhance/5-2-ha-binlog-speed-limit.html


优化了快速单主模式下relay log应用逻辑,提升MGR整体性能;优化了当relay log存在堆积时的applier线程

的内存消耗异常情况。


快速单主模式➥https://greatsql.cn/docs/8.0.32-26/5-enhance/5-2-ha-mgr-fast-mode.html


优化了asynchronous connection

failover中的故障检测效率,特别是发生网络故障时,备用集群能更快完成主从复制通道调整,降低主从

复制链路断开的时间,提高整体可用性。以设置MASTER_RETRY_COUNT

= 2 为例(slave_net_timeout和MASTER_CONNECT_RETRY默认值均为 60),在主从复制通道间发生

网络故障时导致的复制中断持续约3分钟,优化后故障影响时长缩短到 10 - 20秒以内。可以利用

asynchronous connection failover实现两个MGR集群间的主从复制,实现跨机房间的高可用切换方案。


asynchronous connection failover ➥

https://dev.mysql.com/doc/refman/8.0/en/replication-asynchronous-connection-failover.html


地理标签功能中包含两个参数 group_replication_zone_id(默认值为 0)和

group_replication_zone_id_sync_mode(默认值为ON)。在旧版本中,要求各节点的

group_replication_zone_id_sync_mode 保持一致,否则无法加入 MGR。新版本中,允许仲裁节点设置不

同的group_replication_zone_id_sync_mode。例如,节点 A1、A2设置group_replication_zone_id = 0 

& zone_id_sync_mode = ON;节点 B1、B2 设置group_replication_zone_id = 1,它们也必须设置 

zone_id_sync_mode = ON;仲裁投票节点C设置 group_replication_zone_id = 2,但可以设置

group_replication_zone_id_sync_mode = OFF。


地理标签 ➥https://greatsql.cn/docs/8.0.32-26/5-enhance/5-2-ha-mgr-zoneid.html


当启用 greatdb_ha Plugin 时,新增支持 IPv6。


更多信息详见文档:高可用 ➥ https://greatsql.cn/docs/8.0.32-26/5-enhance/5-2-ha.html


高性能

1、支持非阻塞式DDL操作。当执行DDL操作的表上有大事务或大查询未结束时,会导致DDL请求长时间

等待MDL锁。利用该特性,可以避免数据库因为必须尽快完成 DDL操作而导致业务请求大量被阻塞的问题。

详见:非阻塞式 DDL ➥

https://greatsql.cn/docs/8.0.32-26/5-enhance/5-1-highperf-nonblocking-ddl.html


2、NUMA 亲和性优化。通过 NUMA 亲和性调度优化,将前端用户线程和后台线程绑定到固定 NUMA 

节点上以提升线程处理性能。

详见:NUMA 亲和性优化 ➥

https://greatsql.cn/docs/8.0.32-26/5-enhance/5-1-highperf-numa-affinity.html


3、无显式主键表并行导入性能优化。对无显式主键表并行导入数据时,会随着并发数的增加,性能明显下降,

GreatSQL针对这种情况也提供了优化方案。

详见:并行 LOAD DATA ➥

https://greatsql.cn/docs/8.0.32-26/5-enhance/5-1-highperf-parallel-load.html


更多信息详见文档:高性能 ➥ https://greatsql.cn/docs/8.0.32-26/5-enhance/5-1-highperf.html


高兼容


1、新增支持在 LOOP 循环使用 CONTINUE 语法

详见:CONTINUE

https://greatsql.cn/docs/8.0.32-26/5-enhance/sql-compat/5-3-easyuse-ora-sp-continue.html


2、新增支持用 CREATE OR REPLACE 语法创建/修改触发器;新增支持在触发器中使用 DECLARE BEGIN 语法。

详见:触发器 ➥

https://greatsql.cn/docs/8.0.32-26/5-enhance/sql-compat/5-3-easyuse-ora-sp-trigger.html


3、新增支持在匿名块中使用 DECLARE BEGIN 语法

详见:匿名块 ➥

https://greatsql.cn/docs/8.0.32-26/5-enhance/sql-compat/5-3-easyuse-ora-sp-anony-block.html


4、新增支持在 FOR/FOR ALL … LOOP 用法中使用符号和参数相连,例如 FOR var1…var2 LOOP。


详见:FOR LOOP

➥https://greatsql.cn/docs/8.0.32-26/5-enhance/sql-compat/5-3-easyuse-ora-sp-for-loop.html

FORALL LOOP

https://greatsql.cn/docs/8.0.32-26/5-enhance/sql-compat/5-3-easyuse-ora-sp-forall-loop.html


更多信息详见文档:高兼容 ➥ https://greatsql.cn/docs/8.0.32-26/5-enhance/5-3-easyuse.html


高安全


1、新增支持记录指定用户的最后一次登入时间,便于管理员查询,进一步提升数据库安全性。


详见:最后登录信息 ➥

https://greatsql.cn/docs/8.0.32-26/5-enhance/5-4-security-last-login.html


2、新增支持基于规则的数据脱敏功能。


详见:数据脱敏

https://greatsql.cn/docs/8.0.32-26/5-enhance/5-4-security-data-masking.html


更多信息详见文档:高安全 ➥ https://greatsql.cn/docs/8.0.32-26/5-enhance/5-4-security.html


其他


1、支持采用 Clone 实现在线全量热备和增备以及恢复(类似 Xtrabackup),结合 Binlog 可实现恢复到

指定时间点。此外,Clone 备份还支持压缩功能。


详见:Clone 备份 ➥

https://greatsql.cn/docs/8.0.32-26/5-enhance/5-5-clone-compressed-and-incrment-backup.html

2、合并龙芯支持 patch,参考:add loongarch64 support ➥ https://gitee.com/src-openeuler/greatsql

/pulls/54/files


3、由于 GreatSQL 已支持 Rapid 引擎,以及未来还将推出 dplan 特性,因此从 GreatSQL 8.0.32-26 开始,

不再推荐使用 InnoDB 并行查询特性(同时会删除用户手册中的入口链接)。


缺陷修复


1、修复了在部分 ARM 架构环境中无法使用并行复制的问题


详见:MySQL Bug 110752 ➥ https://bugs.mysql.com/bug.php?id=110752

2、修复了最后登录信息和审计日志入表时未处理 Binlog 可能导致主从异常的问题。在新版本中,最后登录

信息和审计日志都不会记录 Binlog,避免因为主从复制(也包括 MGR)中各实例都开启该特性记录 Binlog 

而造成主从复制失败(或 MGR 报错)。


3、修复了数个因为 SQL 注入可能导致数据库实例发生 coredump 的问题,大幅提升 GreatSQL 对 SQL 

注入风险的抵御能力。


4、修复了 Oracle 模式下 NULL 值唯一约束问题。在原来的 Oracle 模式下,插入 NULL 值会触发唯一

约束冲突;而在 Oracle 数据库中,是允许向唯一约束列中重复写入 NULL 值的。在新版本中修复了这个问题。


-- 在老版本中
greatsql> SET sql_mode = ORACLE;
greatsql> CREATE TABLE t1 (c1 INT UNIQUE);
greatsql> SHOW CREATE TABLE t1\G
*************************** 1. row ***************************
       Table: t1
Create Table: CREATE TABLE "t1" (
  "my_row_id" bigint unsigned NOT NULL AUTO_INCREMENT /*!80023 INVISIBLE */,
  "c1" int DEFAULT NULL,
  PRIMARY KEY ("my_row_id"),
  UNIQUE KEY "c1" ("c1") /* nulls are equal in unique index as oracle does */
) ENGINE=InnoDB DEFAULT CHARSET=utf8mb4 COLLATE=utf8mb4_0900_ai_ci
greatsql> INSERT INTO t1 SELECT NULL;
Query OK, 1 row affected (0.01 sec)
Records: 1  Duplicates: 0  Warnings: 0
greatsql> INSERT INTO t1 SELECT NULL;
ERROR 1062 (23000): Duplicate entry 'NULL' for key 't1.c1'


在新版本中修复了这个唯一性约束问题:


-- 在新版本中
greatsql> SET sql_mode = ORACLE;
greatsql> CREATE TABLE t1 (c1 INT UNIQUE);
greatsql> SHOW CREATE TABLE t1\G
*************************** 1. row ***************************
       Table: t1
Create Table: CREATE TABLE "t1" (
  "my_row_id" bigint unsigned NOT NULL AUTO_INCREMENT /*!80023 INVISIBLE */,
  "c1" int DEFAULT NULL,
  PRIMARY KEY ("my_row_id"),
  UNIQUE KEY "c1" ("c1") /* nulls are equal in unique index as oracle does */
) ENGINE=InnoDB DEFAULT CHARSET=utf8mb4 COLLATE=utf8mb4_0900_ai_ci
greatsql> INSERT INTO t1 SELECT NULL;
Query OK, 1 row affected (0.01 sec)
Records: 1  Duplicates: 0  Warnings: 0
-- 不再报告唯一性约束冲突
greatsql> INSERT INTO t1 SELECT NULL;
Query OK, 1 row affected (0.01 sec)
Records: 1  Duplicates: 0  Warnings: 0


5、修复了开启线程池后,当逻辑 CPU 核数大于 128 时会触发 coredump 的问题


详见:mysqld debug version will core if the number of cpu cores is larger than 128 ➥ https://

github.com/GreatSQL/GreatSQL/issues/5


6、修复了在 greatdb_ha Plugin 中启用 VIP 后因系统环境问题或配置不当可能导致 GreatSQL 在启动

 MGR 后发生 coredump 的问题


详见:Issue#I9VTF8 ➥

https://gitee.com/GreatSQL/GreatSQL/issues/I9VTF8?from=project-issue


7、修复了用RPM包和TAR二进制包不同方式安装会造成 lower_case_table_names 的默认设置不同的问题。


8、修复了在空跑或低负载时,进程 CPU 消耗较高的问题。


9、修复了默认安装多了sys_audit库 问题

详见:Issue#I8TL52 ➥

https://gitee.com/GreatSQL/GreatSQL/issues/I8TL52?from=project-issue


10、修复了 merge view 后导致 assert fail 问题

详见:Issue#IABSE6 ➥

https://gitee.com/GreatSQL/GreatSQL/issues/IABSE6?from=project-issue


11、修复了 full join 执行计划不正确问题

详见:Issue#IADFD7 ➥

https://gitee.com/GreatSQL/GreatSQL/issues/IADFD7?from=project-issue



升级/降级到 GreatSQL 8.0.32-26


升级到 GreatSQL 8.0.32-26


以下是升级到 GreatSQL 8.0.32-26 的几种不同场景说明。


1、旧版本是 GreatSQL 8.0.32-25,且未使用 Rapid 引擎:可以直接在原来的 datadir 基础上,

修改 basedir 后,原地(in-place)启动 GreatSQL 8.0.32-26 后会 完成自动升级。


2、旧版本是 GreatSQL 8.0.32-25,且已启用 Rapid 引擎:这种情况下暂时先不要升级,可以等到

后续发布带新版本 Rapid 引擎的 GreatSQL 8.0.32-26 版本后再升级。


3、旧版本是 GreatSQL 8.0.32-24、8.0.25-*、5.7.36-39 等系列版本:可以直接在原来的 datadir 基础上,

修改 basedir 后,原地(in-place)启动 GreatSQL 8.0.32- 26 后会完成自动升级。


4、 MySQL 8.0.(<= 8.0.32 版本)、Percona Server 8.0.(<= 8.0.32 版本)等系列版本:可以直接

在原来的 datadir 基础上,修改 basedir 后,原地(in-place )启动 GreatSQL 8.0.32-26 后会完成自动升级。


5、MySQL 8.0.(> 8.0.32 版本)、Percona Server 8.0.(> 8.0.32 版本)等系列版本:需要利用逻辑

备份方式导出数据、再导入的方式完成升级,不支持原地(in-pla ce)升级到 GreatSQL 8.0.32-26。


6、MySQL 5.7.(>= 5.7.23 版本)、Percona Server 5.7.(<= 5.7.23 版本)等系列版本:可以直接

在原来 datadir 基础上修改 basedir 后,原地(in-place )启动 GreatSQL 8.0.32-26 后会完成自动升级。


降级到 GreatSQL 8.0.32-26


从MySQL/Percona 8.0.32 之后的版本降级到 GreatSQL 8.0.32-26 版本,则需要采取逻辑备份

 + 逻辑导入方式完成降级操作,并且在逻辑备份导入完成后的首次重启时, 务必设置 upgrade =

 FORCE 强制升级所有数据表,包括系统表。