首页 > 其他分享 >MogDB openGauss 角色切换后sequence为什么不连续

MogDB openGauss 角色切换后sequence为什么不连续

时间:2024-03-14 12:14:10浏览次数:30  
标签:log sequence plain MogDB value 序列 openGauss id seqtest

本文出处:https://www.modb.pro/db/569272

背景

今天在客户现场做高可用切换测试,为了验证数据库节点角色切换后无数据丢失,我单独创建一张使用了自增 sequence 的表,通过 vip 方式访问数据库,并 1s 插入一条数据。

因为数据库本身是通过 benchmarksql 工具加压的,数据库服务器的 CPU 使用率达到 70%,所以如果这张表的序列是连续的,且切换时间与数据插入时间对的上,那就可以认定数据无丢失,但当我切换数据库角色后,神奇的现象出现了,切换时间是对的上的,但序列却是跳跃的。

复现

准备测试表

MogDB=# create table seqtest(id serial,ip_address varchar(32),ctime timestamptz default now());
NOTICE:  CREATE TABLE will create implicit sequence "seqtest_id_seq" for serial column "seqtest.id"
CREATE TABLE
MogDB=# \d+ seqtest
                                                        Table "public.seqtest"
   Column   |           Type           |                      Modifiers                       | Storage  | Stats target | Description
------------+--------------------------+------------------------------------------------------+----------+--------------+-------------
 id         | integer                  | not null default nextval('seqtest_id_seq'::regclass) | plain    |              |
 ip_address | character varying(32)    |                                                      | extended |              |
 ctime      | timestamp with time zone | default now()                                        | plain    |              |
Has OIDs: no
Options: orientation=row, compression=no

MogDB=# \d+ seqtest_id_seq
            Sequence "public.seqtest_id_seq"
    Column     |  Type   |        Value        | Storage
---------------+---------+---------------------+---------
 sequence_name | name    | seqtest_id_seq      | plain
 last_value    | bigint  | 1                   | plain
 start_value   | bigint  | 1                   | plain
 increment_by  | bigint  | 1                   | plain
 max_value     | bigint  | 9223372036854775807 | plain
 min_value     | bigint  | 1                   | plain
 cache_value   | bigint  | 1                   | plain
 log_cnt       | bigint  | 0                   | plain
 is_cycled     | boolean | f                   | plain
 is_called     | boolean | f                   | plain
 uuid          | bigint  | 0                   | plain
Owned by: public.seqtest.id

MogDB=#

准备测试脚本

这个脚本可以放到脚本里,也可以直接终端显示日志

while true; do gsql -h 192.168.xxx.xxx postgres -Uur -Wu@123456 -p 25000 -c "insert into seqtest(ip_address) select setting from pg_settings where name='local_bind_address'"; sleep 1s ; done

切换测试

当我们把数据库角色切换后,会发现序列的 id 值由 13 直接跳到了 34
image.png

原理

问题分析

当在现场出现这种情况后,想到了以下几种可能:

  • 有连接再消耗序列 id,但是数据没有写入成功,因为即使事务回滚序列也不会回滚
  • 序列本身有 cache,有 cache 序列不连续是正常的
  • 数据库序列自身设计,需要查看源码

有了这三个方向后,开始再次进行测试,但很快前两种可能就排除了,因为在数据库切换过程中,vip 被卸载掉了,数据库不可用,不存在有连接继续消耗序列;序列本身的 cache_value = 1,所以不存在缓存的问题。

但是在查看序列结构的时候,发现了一个之前没有注意的字段:log_cnt,有意思的是随着序列值增加,这个值减少,当减少到 0 后会从 32 开始继续减少,以此循环。
image.png

那序列不连续会不会与这个 log_cnt 有关系呢?

查看源码

在源码 src/gausskernel/optimizer/commands/sequence/sequence.cpp 中找到了 log_cn 的相关信息

image.png

从这段内容我们可以看到序列会给未来的 wal records 分配一些"log",是因为每产生 32 个序列值才记一次 WAL,这相当于对序列做了全局缓存,这也是为什么 sequence 生成速度快的原因。当数据库 crash 的时候,这些"log" 会被跳过,而这些"log"的数量由 log_cn 来计数。数据库 switchover 只是切换数据库角色并没有 crash,角色切换后,最新的序列值应该是 last_value + log_cnt,那切换之前主备的当前序列值是多少呢?

image.png

原因找到了,我们知道备库是一个只读节点,不能进行数据库写入,虽然主备之间的数据保持一致,但是序列值却不一样,备库序列的 last_value 值永远等于主库的 last_value + log_cnt,这也就很好的说明为啥角色切换后序列会跳 log_cnt 了,因为这部分 buffer,备库已经提前做加法了。

总结

  • MogDB/openGauss 的序列的 cache 不是只有 cache_value,还有 log_cn。
  • 备库的序列值永远大于主库的序列值(备库 last_value = 主库 last_value + log_cnt),但备库不可进行数据写入。

标签:log,sequence,plain,MogDB,value,序列,openGauss,id,seqtest
From: https://www.cnblogs.com/renxyz/p/18072554

相关文章

  • MogDB openGauss wal日志解析工具 mog_xlogdump
    MogDB/openGausswal日志解析工具mog_xlogdump本文出处:https://www.modb.pro/db/398124概述mog_xlogdump是云和恩墨独立开发的wal日志离线解析工具。熟悉PG的小伙伴应该都使用pg_xlogdump/pg_waldump查看过PG数据库的wal文件,解析的wal数据结果是没有办法直接拿......
  • MogDB-openGauss default privileges 使用方法
    MogDB/openGaussdefaultprivileges使用方法权限是用户访问数据库对象的首要条件,每个新增用户默认属于PUBLIC角色组成员,也就是具有PUBLIC角色组的权限,但在日常业务使用中,仅仅具有PUBLIC权限是远远不够的,还需要具有额外的权限,在MogDB/openGauss数据库支持的业务中经常需......
  • openGauss 由于RemoveIPC未关闭导致数据库crash
    openGauss由于RemoveIPC未关闭导致数据库crashsemop引发的数据库crash--主库FATAL:semop(id=xxxxx)failed:IdentifierremovedFATAL:semctl(xxxxxx,11,SETVAL,0)failed:Invalidargument--备库FATAL:semctl(xxxxxx,11,SETVAL,0)failed:InvalidargumentLOG......
  • MogDB openGauss 自定义snmptrapd告警信息
    MogDB/openGauss自定义snmptrapd告警信息本文出处:https://www.modb.pro/db/232391在之前的文章MogDB/openGauss监控告警配置介绍了如何通过alertmanager模块将报警通过snmp推送出去,但是在实际使用中,默认的报警规则信息并不能很好的满足snmp服务端的需求,需要定制化报警......
  • MogDB openGauss常用查询汇总
    MogDB/openGauss常用查询汇总概述在MogDB/openGauss日常运维过程中,会经常通过SQL来获取想要查看的信息,这些SQL可以作为监控指标、巡检指标,也可以临时查询使用。通过系统线程id查对应的query#!/bin/bashsource~/.bashrcthread_sets=`ps-ef|grep-igaussdb|g......
  • MogDB openGauss故障排查流程
    MogDB/openGauss故障排查流程前提如果有反馈说数据库响应慢或者压测过程中数据库有报错,第一步先收集数据库服务器资源使用情况,这一步是处理所有故障的前提。--负载top命令htop命令--cpulscpu命令--内存大小free-g--磁盘大小df-Th--磁盘使用跟踪nohupiostat......
  • MogDB openGauss数据库扩缩容的几种方式
    MogDB/openGauss数据库扩缩容的几种方式文本出处:https://www.modb.pro/db/453105随着业务的发展,业务系统对数据库的架构要求也在变化,比如需要读负载均衡、机房搬迁、服务器硬件替换等等,这需要在原数据库主备架构的基础上进行扩/缩容操作,目前MogDB数据库安装方式有三种,分别是......
  • openGauss分区表
    openGauss分区表概述openGauss是基于PostgreSQL9.2.4的内核开发的,在PostgreSQL10之前要达到实现分区表的效果可以有两种方式,一种是使用继承的触发器函数来实现,一种是安装pg_pathman的插件来实现,直到PostgreSQL10才引入了partition的语法;而opengauss从开源发布就可......
  • openGauss备库wal-replay与query冲突
    openGauss备库walreplay与query冲突概述openGauss的物理流复制逻辑继承了PostgreSQL,当一条数据从主库做变更到可以在备库查询到最新的值,在PostgreSQL备库分为三个阶段,分别是写入备库操作系统(remote_write),将缓存中的数据刷入到磁盘(on==flush),从磁盘将数据库回放(remot......
  • openGauss SQL引擎插件开发指导
    开发流程①在openGauss社区Plugin仓进行兼容性相关开发(https://gitee.com/opengauss/Plugin)②通过fastcheck自测以及CI门禁③提供checkin测试报告和开发文档并通过SIG组评审开发要点开放接口函数DLL_PUBLICPG_FUNCTION_INFO_V1_PUBLIC统一管理为了避免......