首页 > 数据库 >PostgreSQL autovacuum 5 怎么监控(autovacuum 扫描表工作的百分比)

PostgreSQL autovacuum 5 怎么监控(autovacuum 扫描表工作的百分比)

时间:2023-06-22 13:04:32浏览次数:48  
标签:百分比 PostgreSQL autovacuum float psa dead pg query


PostgreSQL 最大的问题就是vacuum,只要PG的实现多版本和UNDO的方式不改变,那么这个话题就会一直继续,到永远。

前面四期讲了autovacuum 的触发条件,源代码,怎么调整参数,优化,今天最后一章,的说说怎么进行监控,并且评定你的autovacuum 的工作是合格的。下面的内容主要是基于几点来围绕的

 监控表的dead tumple ,下面的语句可以展示每个表中的dead_tuple的数量,以及占整体表中的行的百分比,以及最近一次表进行autovacuum的时间。通过下图可以看到有些表并没有进行 autovacuum 的操作,哪怕是一次,但已经有88万行的dead tuple ,定期通过语句和匹配的条件可以对一些表长期没有autovacuum  进行关注,或者在自定义的监控系统中增加 dead tuple 预警,达到一定的阀值就需要进行 warning 了。

SELECT schemaname,
relname,
n_live_tup,
n_dead_tup,
n_dead_tup::float/(n_dead_tup::float +n_live_tup::float +100)*100 as percent_of_dead_tuples,
last_autovacuum 
FROM pg_stat_user_tables;

PostgreSQL autovacuum 5   怎么监控(autovacuum 扫描表工作的百分比)_linux

同时可以在监控系统中比对大表,通过获取数据存储容量最大的表的排列来获得需要监控的表的list

SELECT
       relname AS "table_name",
       pg_size_pretty(pg_table_size(C.oid)) AS "table_size"
FROM
       pg_class C
LEFT JOIN pg_namespace N ON (N.oid = C.relnamespace)
WHERE nspname NOT IN ('pg_catalog', 'information_schema') AND nspname !~ '^pg_toast' AND relkind IN ('r')
ORDER BY pg_table_size(C.oid)
DESC LIMIT 10;

PostgreSQL autovacuum 5   怎么监控(autovacuum 扫描表工作的百分比)_tensorflow_02

接下来在系统中执行 autovacuum 时需要注意的是,系统中是否正在有正在工作的 autovacuum 的进程, 并且这些进程在做什么操作

SELECT psa.pid,granted,query FROM pg_locks pl LEFT JOIN pg_stat_activity psa ON pl.pid = psa.pid where locktype='relation' and query like '%vacuum%' and query not like '%SELECT%';

PostgreSQL autovacuum 5   怎么监控(autovacuum 扫描表工作的百分比)_linux_03

通过语句可以看到正在进行的 autovacuum 工作,并且还可以通过下面的语句来查看当前 autovacuum的工作状态。

select pid,datname,relid,phase,(heap_blks_scanned ::float + 1::float)/(heap_blks_total::float + 1::float) * 100 as scanned_percent  from pg_stat_progress_vacuum ;

PostgreSQL autovacuum 5   怎么监控(autovacuum 扫描表工作的百分比)_人工智能_04

通过上面的语句可以查看当前 autovacuum 扫描了的百分比,这样就可以了解到多长时间 autovacuum 会完成。

SELECT now() - xact_start, state, usename,query FROM pg_stat_activity where query like 'autovacuum%';

最后就是时间的问题,通过上面的语句获得一个正在运行的autovacuum,已经工作的时间。 

SELECT psa.pid,granted,query,now() - psa.xact_start as running_time, psa.state, psa.usename  

FROM pg_locks pl 

LEFT JOIN pg_stat_activity psa ON pl.pid = psa.pid 

where locktype='relation' and query like '%vacuum%' and query not like '%SELECT%';

PostgreSQL autovacuum 5   怎么监控(autovacuum 扫描表工作的百分比)_tensorflow_05

截止,目前AUTOVACUUM 已经写了5篇,基本上涵盖了大部分的autovacuum的原理和问题。

PostgreSQL autovacuum 5   怎么监控(autovacuum 扫描表工作的百分比)_java_06

标签:百分比,PostgreSQL,autovacuum,float,psa,dead,pg,query
From: https://blog.51cto.com/u_14150796/6534678

相关文章

  • PostgreSQL REPMGR “靠谱”的高可用方式
    REPMGR是一种方便简单的适合企业使用的高可用方式,为什么选择REPMGR作为单体PG的高可用方式1 REPMGR是这三种里面最简单的高可用的方式,这里的意思是结构节点,搭建简单,处理简单2 在网络有波动的情况下,比较好控制,如果遇到网络上的短暂的问题,REPMGR通过一系列的方式可以避免......
  • POSTGRESQL 事务控制(一) (写着费力,看着费劲系列)
    最近发现一个问题, 最近写的关于感性的文字如 DBA职业迷茫何去何从,和另外一篇都是较高的用户读取量,而反观到技术性的文字,基本上都不太高,能到400以上就属于"上帝帮助"了原因我是明白的, 大众化的东西受众必然很多,反而纯技术性的文字实撰写困难,首先自己要理解,然后在......
  • PostgreSQL 怎么通过命令来恢复删除的数据
    最近一段工作较忙,更新的速度可能会减慢,敬请见谅,后期采用隔天更新的方式误删除数据的情况,一般都是通过备份,或日志来进行恢复,当然ORACLEFLASHBACK的模式实际上也是对一定期限的数据进行数据的恢复。 对于POSTGRESQL是否可以进行这样的操作,根据POSTGRESQL的原理来说是可以的。下面......
  • POSTGRESQL 15 pg_basebackup 新功能,LOCAL backup 与 数据强力压缩
    与MYSQL不一样,开源XTRABACKUP的备份软件无法跟上MYSQL版本的更迭,PG这点做的是一贯的好。从来没有让人失望过。所以POSTGRESQL数据的备份一直就不是一个问题,众多的工具以及pg_basebackup良好的功能,让POSTGRESQL备份起来速度与硬件有关。但基于POSTGRESQL本身的原理,数据库表......
  • POSTGRESQL 提高POSTGRESQL性能的一些习惯 (1)
    PostgreSQL是一个很有意思的数据库,在使用中有一些习惯可以在同等的硬件下,更加有效的使用硬件提供的资源,让管理和使用POSTGRESQL获得更多的性能。下面就说说一些使用POSTGRESQL的习惯。1 是否需要降低文件的数量POSTGRESQL的文件很多,这里指的文件的数量,主要指两方面的的文件,数......
  • POSTGRESQL VS MYSQL 到底那个数据库 RDS 技术含量高 ?
    以下内容纯属个人看法云数据库的RDS产品,在传统开源的系列里面大致可以选择的是POSTGRESQL和MYSQL两种,诚然在RDS的里面大部分产品最终的选择还是MYSQL,今天不想讨论产品的量,而是想讨论以下产品的难度,RDS产品在POSTGRESQL和MYSQL两种产品的难度问题。先说结果,POSTGRESQL......
  • Postgresql 如何降低 wal 占用磁盘空间,降低磁盘存储成本
    POSTGRESQLWAL的存储一直是一个值得讨论的问题,到底一个POSTGRESQL在极端的情况下,可以用多少的空间来存储WAL日志。这里不是要讨论逻辑复制槽,也不是讨论ARCHIVE,这里要讨论是一种极端的方法,尝试将POSTGRESQLWAL占用的磁盘空间最小化。这里主要针对的对象是,单机的POSTGRESQL,不......
  • POSTGRESQL 存储过程--如何写出新版本PG的存储过程的小案例
    随着问问题的同学越来越多,公众号内部私信回答问题已经很困难了,所以建立了一个群,关于各种数据库的问题都可以,目前主要是POSTGRESQL,MYSQL,MONGODB,POLARDB,REDIS,SQLSERVER等,期待你的加入,最近在开始研究POSTGRESQL的存储过程,主要的原因有以下几个1因为要开发适合目前公司中......
  • POSTGRESQL 提高POSTGRESQL性能的一些习惯 (3)
    随着问问题的同学越来越多,公众号内部私信回答问题已经很困难了,所以建立了一个群,关于各种数据库的问题都可以,目前主要是POSTGRESQL,MYSQL,MONGODB,POLARDB,REDIS,SQLSERVER等,期待你的加入这个系列写到第三期了,实际上POSTGRESQL的优化和一个核心之一,这就是VACUUM,一个弄不清vac......
  • POSTGRESQL 统计信息与数据查询的准确性与多种统计信息类型
    开头还是介绍一下群,如果感兴趣polardb,mongodb,mysql,postgresql,redis等有问题,有需求都可以加群群内有各大数据库行业大咖,CTO,可以解决你的问题。自己做了一个统计分析有关的,思维导图之前有一期说过,对于一些特殊的查询中的优化,可以在不建立索引和SQL优化的情况下,我们通过统计......