首页 > 其他分享 >openGauss 参数调优与诊断

openGauss 参数调优与诊断

时间:2024-03-28 10:25:28浏览次数:21  
标签:数据库 benchmark 用户 调优 参数 openGauss 运行

参数调优与诊断

可获得性

本特性自openGauss 1.0.0版本开始引入

特性简介

本功能是一款数据库集成的参数调优工具,通过结合深度强化学习和全局搜索算法等AI技术,实现在无需人工干预的情况下,获取最佳数据库参数配置。本功能不强制与数据库环境部署到一起,支持独立部署,脱离数据库安装环境独立运行。

客户价值

该工具可以在任意场景下,快速给出当前负载的调参配置,减少DBA的人工干预,提升运维效果,满足客户期望。

特性描述

调优程序包含三种运行模式,分别是:

  • recommend: 通过用户指定的用户名等信息登录到数据库环境中,获取当前正在运行的workload特征信息,根据上述特征信息生成参数推荐报告。报告当前数据库中不合理的参数配置和潜在风险等;输出根据当前正在运行的workload行为和特征;输出推荐的参数配置。该模式是秒级的,不涉及数据库的重启操作,其他模式可能需要反复重启数据库
  • train: 通过用户提供的benchmark信息,不断地进行参数修改和benchmark的执行。通过反复的迭代过程,训练强化学习模型,以便用户在后面通过tune模式加载该模型进行调优。
  • tune: 使用优化算法进行数据库参数的调优,当前支持两大类算法,一种是深度强化学习,另一种是全局搜索算法(全局优化算法)。深度强化学习模式要求先运行train模式,生成训练后的调优模型,而使用全局搜索算法则不需要提前进行训练,可以直接进行搜索调优。

特性增强

特性约束

  • 数据库状态正常、客户端能够正常连接、且要求数据库内导入数据,以便调优程序可以执行benchmark测试调优效果。
  • 使用本工具需要指定登录到数据库的用户身份,要求该登录到数据库上的用户具有足够的权限,以便可以获得充足的数据库状态信息。
  • 使用登录到数据库宿主机上的Linux用户,需要将$GAUSSHOME/bin添加到PATH环境变量中,即能够直接运行gsql、gs_guc、gs_ctl等数据库运维工具。
  • Python版本建议为Python3.6及以上,且运行环境中已经安装相应依赖,并能够正常启动调优程序。您可以独立安装一个python3.6+的环境,无需设置到全局环境变量中。不建议使用root用户权限安装本工具,如果以root身份安装本完毕工具,使用其他用户身份运行本工具时,需要确保配置文件有读取权限。
  • 本工具支持以三种模式运行,其中tune和train模式要求用户配置好benchmark运行环境,并导入数据,本工具将会通过迭代运行benchmark来判断修改后的参数是否有性能提升。
  • recommend模式建议在数据库正在执行workload的过程中执行,以便获得更准确的实时workload信息。
  • 本工具默认带有TPC-C、TPC-H、TPC-DS以及sysbench的benchmark运行脚本样例,如果用户使用上述benchmark对数据库系统进行压力测试,则可以对上述配置文件进行适度修改或配置。如果需要适配用户自己的业务场景,需要您参照benchmark目录中的template.py文件编写驱动您自定义benchmark的脚本文件。

依赖关系

标签:数据库,benchmark,用户,调优,参数,openGauss,运行
From: https://www.cnblogs.com/renxyz/p/18100931

相关文章

  • openGauss 产品定位
    产品定位openGauss是一款支持SQL2003标准语法,支持主备部署的高可用关系型数据库。多种存储模式支持复合业务场景,新引入提供原地更新存储引擎。NUMA化数据结构支持高性能。Paxos一致性日志复制协议,主备模式,CRC校验支持高可用。支持全密态计算,账本数据库等安全特性,提供全方位......
  • openGauss 备机事务内透明写转发
    备机事务内透明写转发可获得性本特性自openGauss5.1.0版本开始引入,仅适用于资源池化架构。特性简介本特性是在传统主备架构下的备机事务写转发特性基础上,在资源池化架构下进行的特性增强。传统架构下的备机写转发特性是只要在备机上有开启事务操作,会将整个事务全部转发给主机......
  • openGauss 备机增加删除
    备机增加删除可获得性本特性自openGauss2.0.0版本开始引入。特性简介支持新增和删除备节点。客户价值当主库的读取压力较大,或者用户想要提升数据库灾难恢复能力,需要新增备节点。当集群中的某些备节点发生故障无法短时间内进行修复时,为保证集群状态正常,用户可以先将故障节点......
  • openGauss 表级别并行恢复优化
    表级别并行恢复优化可获得性本特性自openGauss5.1.0版本开始引入。特性同时合入3.0.5。特性简介允许用户在配置表级别并行恢复时,通过更多的参数控制回放行为,以达到增加恢复效率的目的。客户价值通过wal恢复效率提升可减小备库wal日志积压,减小磁盘存储压力。在switchover......
  • openGauss X_Tuner_参数调优与诊断
    X-Tuner:参数调优与诊断可获得性本特性自openGauss1.0.0版本开始引入。特性简介X-Tuner是一款数据库集成的参数调优工具,通过结合深度强化学习和全局搜索算法等AI技术,实现在无需人工干预的情况下,获取最佳数据库参数配置。本功能不强制与数据库环境部署到一起,支持独立部署,脱......
  • openGauss Xlog-no-Lock-Flush
    XlognoLockFlush可获得性本特性自openGauss2.0.0版本开始引入。特性简介取消WalInsertLock争抢及WalWriter专用磁盘写入线程。客户价值在保持原有XLog功能不变的基础上,进一步提升系统性能。特性描述对WalInsertLock进行优化,利用LSN(LogSequenceNumber)及LRC(LogRecor......
  • openGauss SMP并行执行
    SMP并行执行可获得性本特性自openGauss1.1.0版本开始引入。特性简介openGauss的SMP并行技术是一种利用计算机多核CPU架构来实现多线程并行计算,以充分利用CPU资源来提高查询性能的技术。客户价值SMP并行技术充分利用了系统多核的能力,来提高重查询的性能。特性描述在复杂查......
  • openGauss SQL-by-pass
    SQLbypass可获得性本特性自openGauss1.0.0版本开始引入。特性简介通过对OLTP场景典型查询的定制化执行方案来提高查询性能。客户价值提升OLTP类查询的性能。特性描述在典型的OLTP场景中,简单查询占了很大一部分比例。这种查询的特征是只涉及单表和简单表达式的查询,因此......
  • openGauss SQLdiag_慢SQL发现
    SQLdiag:慢SQL发现可获得性本特性自openGauss1.1.0版本开始引入。特性简介SQLdiag是一个SQL语句执行时间预测工具,通过模板化方法,实现在不获取SQL语句执行计划的前提下,依据语句逻辑相似度与历史执行记录,预测SQL语句的执行时间。客户价值工具不需要用户提供SQL执行计划,对数......
  • openGauss Session性能诊断
    Session性能诊断可获得性本特性自openGauss1.0.0版本开始引入。特性简介Session性能诊断提供给用户Session级别的性能问题诊断。客户价值查看最近用户Session最耗资源的事件。查看最近比较占资源的SQL把资源都消耗在哪些等待事件上。查看最近比较耗资源的Session把资源......