首页 > 数据库 >openGauss AI4DB-数据库自治运维

openGauss AI4DB-数据库自治运维

时间:2024-04-15 16:44:06浏览次数:21  
标签:运维 AI4DB 数据库 DBMind Prometheus openGauss

AI4DB: 数据库自治运维

如上文所述,AI4DB主要用于对数据库进行自治运维和管理,从而帮助数据库运维人员减少运维工作量。在实现上,DBMind的AI4DB框架具有监控和服务化的性质,同时也提供即时AI工具包,提供开箱即用的AI运维功能(如索引推荐)。AI4DB的监控平台以开源的Prometheus为主,DBMind提供监控数据生产者exporter, 可与Prometheus平台完成对接。DBMind的AI4DB服务架构如下图所示:

图 1 DBMind AI4DB服务架构

图中各关键组件说明:

  • DBMind Service: DBMind后台服务,可用于定期离线计算,包括慢SQL根因分析、时序预测等;
  • Prometheus-server: Prometheus 监控指标存储的服务器;
  • metadatabase: DBMind在离线计算结束后,将计算结果存储在此处,支持openGauss、SQLite等数据库;
  • client: 用户读取DBMind离线计算结果的客户端,目前仅实现命令行客户端;若采用openGauss等数据库存储计算DBMind计算结果,则用户可以自行配置Grafana等可视化工具对该结果进行可视化;
  • openGauss-exporter: 用户从openGauss数据库节点上采集监控指标,供DBMind服务进行计算;
  • node-exporter: Prometheus官方提供的exporter, 可用于监控该节点的系统指标,如CPU和内存使用情况;
  • reprocessing-exporter: 用于对Prometheus采集到的指标进行二次加工处理,例如计算CPU使用率等。

环境配置

DBMind外置AI功能需要运行在Python 3.6版本及以上,需要的第三方依赖包记录在AI功能根目录($GAUSSHOME/bin/dbmind)的requirements.txt文件中(包括requirements-x86.txt与requirements-arrch64.txt,用户可根据自己平台类型选择)中,可以通过pip install命令安装依赖,如:

pip install requirements-x86.txt

如果用户没有安装齐全所需的依赖,则当用户执行gs_dbmind命令时,会再次提醒用户安装第三方依赖。需要注意,该文件提供了DBMind所需的第三方依赖,若用户环境存在第三方包冲突等情况,可由用户根据实际情况进行处理。

标签:运维,AI4DB,数据库,DBMind,Prometheus,openGauss
From: https://www.cnblogs.com/renxyz/p/18136263

相关文章

  • openGauss DB4AI-Snapshots数据版本管理
    DB4AI-Snapshots数据版本管理DB4AI-Snapshots是DB4AI模块用于管理数据集版本的功能。通过DB4ai-Snapshots组件,开发者可以简单、快速地进行特征筛选、类型转换等数据预处理操作,同时还可以像git一样对训练数据集进行版本控制。数据表快照创建成功后可以像视图一样进行使用,但是一经......
  • openGauss DBMind部署
    DBMind安装和部署1.安装准备1.1环境信息假设在主控节点192.168.100.4上部署DBMind,有一套端口号为19999的集群环境,环境信息如下:nodenode_ipstate主节点192.168.100.1Primary备节点1192.168.100.2Standby备节点2192.168.100.3Standby假设需要在test......
  • openGauss Anomaly-detection-异常检测使用指导
    使用指导假设指标采集系统运行正常,并且用户已经初始化了配置文件目录confpath,则可以通过下述命令实现本特性的功能:仅启动异常检测功能:gs_dbmindservicestart--confconfpath--only-runanomaly_detection对于某一指标,在全部节点上,从timestamps1到timestamps1时间段内的数......
  • openGauss component子命令
    component子命令该子命令可以用于启动DBMind的组件,包括可用于监控指标的exporter,以及AI功能等。该命令可以将用户通过命令行传入的命令转发给对应的子组件,故不同的子组件命令需参考其功能的对应说明,详见后文各个子组件对应章节,此处不再赘述。命令参考用户可以通过--help选项......
  • openGauss DB4AI-Query-模型训练和推断
    DB4AI-Query:模型训练和推断openGauss当前版本支持了原生DB4AI能力,通过引入原生AI算子,简化操作流程,充分利用数据库优化器、执行器的优化与执行能力,获得高性能的数据库内模型训练能力。更简化的模型训练与预测流程、更高的性能表现,让开发者在更短时间内能更专注于模型的调优与数据......
  • openGauss Anomaly-detection-异常检测获取帮助
    获取帮助模块命令行说明:gs_dbmindcomponentanomaly_detection--help显示如下帮助信息:usage:anomaly_detection.py[-h]--action{overview,plot}-cCONF-mMETRIC-sSTART_TIME-eEND_TIME[-HHOST][-aANOMALY]WorkloadAnomalyd......
  • openGauss Anomaly-detection-异常检测命令参考
    命令参考表1命令行参数说明参数参数说明取值范围-h,--help帮助命令---action动作参数overview:概览plot:可视化-c,--conf配置文件目录--m,--metric-name指定显示指标名--H,--host指定数据来源地址信息,通过地址信息进行过滤-ip地址或......
  • openGauss Anomaly-analysis-命令参考
    命令参考表1命令行参数说明参数参数说明取值范围-h,--help帮助命令--c,--conf配置文件目录--m,--metric指定显示指标名--H,--host指定数据来源地址信息,通过地址信息进行过滤-ip地址或者ip地址加端口号-s,--start-time显示开始时间的......
  • openGauss Anomaly-analysis-使用指导
    使用指导假设指标采集系统运行正常,并且用户已经初始化了配置文件目录confpath,则可以通过下述命令实现本特性的功能:对于某一指标,在特定节点上,分析其他指标与该指标从timestamps1到timestamps1时间段内的数据的相关性:gs_dbmindcomponentanomaly_analysis--confconfpath--met......
  • openGauss Anomaly-analysis-获取帮助
    获取帮助模块命令行说明:gs_dbmindcomponentanomaly_detection--help显示如下帮助信息:usage:anomaly_analysis.py[-h]-cCONF-mMETRIC-sSTART_TIME-eEND_TIME-HHOST[--csv-dump-pathCSV_DUMP_PATH]WorkloadAnomalyanalysis:A......