首页 > 其他分享 >TIDB 初级课程体验 8 (文件和日志 与监控)

TIDB 初级课程体验 8 (文件和日志 与监控)

时间:2023-06-22 13:03:47浏览次数:35  
标签:deploy TIDB 初级 tidb 日志 data port dir


TIDB 初级课程体验 8 (文件和日志 与监控)_分布式

TIDB 是一个分布式数据库,那么与单机相比,他的文件的分布式使用与单机架构的数据库是有不同的。

一般我们的数据库包含有如下几类问题

1  数据文件

2  配置文件

3  数据日志文件

4  告警错误文件

TIDB 初级课程体验 8 (文件和日志 与监控)_java_02

从图中看,TIDB分布式数据库的文件的分布和其他的数据库是不同的,TIDB作为客户端来说他不具有数据文件, 而PD中的数据文件是整体系统的元数据文件存储位置。TIKV 是用户数据的存储的位置。

通过tiup cluster edit-config 命令可以打开整体集群的配置文件,其中包含

deploy_dir  和 data_dir  两个文件存放地。

TIDB 初级课程体验 8 (文件和日志 与监控)_mysql_03

在安装TIUP 的节点,我们直接使用TIDB 的TIUP 打开配置文件的命令

tiup cluster edit-config tidb-test

直接打开配置文件

TIDB 初级课程体验 8 (文件和日志 与监控)_java_04

配置文件的内容可以了解不少TIDB 集群的信息

global:

  user: root    #当前操作TIDB 的LINUX 账号是什么 (这里偷懒了,使用ROOT)

  ssh_port: 22 # 集群之间服务器的沟通的通道(免密)

  ssh_type: builtin 

  deploy_dir: /tidb-deploy   tidb 执行文件的部署目录

  data_dir: /tidb-data           tidb 数据文件的部署的目录

  os: linux

  arch: amd64

tidb_servers:       #tidb server 配置的信息

- host: 192.168.198.100

  ssh_port: 22

  port: 4000

  status_port: 10080

  deploy_dir: /tidb-deploy/tidb-4000

  log_dir: /tidb-deploy/tidb-4000/log

  arch: amd64

  os: linux

tikv_servers:       #tikv 配置信息

- host: 192.168.198.101

  ssh_port: 22

  port: 20160

  status_port: 20180

  deploy_dir: /tidb-deploy/tikv-20160

  data_dir: /tidb-data/tikv-20160

  log_dir: /tidb-deploy/tikv-20160/log

  arch: amd64

  os: linux

- host: 192.168.198.102

  ssh_port: 22

  port: 20160

  status_port: 20180

  deploy_dir: /tidb-deploy/tikv-20160

  data_dir: /tidb-data/tikv-20160

  log_dir: /tidb-deploy/tikv-20160/log

  arch: amd64

  os: linux

从上面的配置文件可以很清晰的看到,整体集群的信息,其中可以看到有些配置模块是没有 data_dir  但deploy 和  log 都有相关的配置.

其中tidb  的文件夹中包含, conf文件, 二进制程序文件,日志文件 ,另外在tidb_data中存放的是tidb server的监控数据。

TIKV 节点在 /tidb_deploy  与TIDB server 的文件夹一致, 而tidb_data中包含了 tikv-20160 文件夹,与TIKV 有关的数据文件等

PD节点, 与上面的节点一致,主要的不同在 tidb_data  ,  其中包含 region-meta  和整体的成员数据。

在TIDB 的节点中,我们可以在日志目录发现三类日志

TIDB 初级课程体验 8 (文件和日志 与监控)_linux_05

分别是 tidb 日志,  tidb慢查询文件  , tidb 标准错误输出

tidb 的配置文件

TIDB 初级课程体验 8 (文件和日志 与监控)_java_06

也可以从脚本中看到tidb  启动的命令

TIDB 初级课程体验 8 (文件和日志 与监控)_分布式_07

TIDB 的监控通过两个组件完成,普罗米修斯的监控和grafana 展示系统

TIDB 初级课程体验 8 (文件和日志 与监控)_数据库_08

同时还包含另一个TIDB的监控系统 tidb dashboard ,这个是部署在PD节点中的,这个监控不是你愿意不愿意部署,在按住TIDB 就部署在TIDB 系统中的。

TIDB 初级课程体验 8 (文件和日志 与监控)_java_09

其中TIDB DASHBORAD 包含整体系统的状态,

1 集群的整体运行情况

2 组件与组件的运行状态

3 分析集群读写与写流量分布于趋势分析

4  SQL 慢查询分析

5  SQL 语句执行的信息

6  自动判断集群的状态与产生报告,并且可以汇总整体节点的日志信息,分析各个组件的性能数据。

TIDB 初级课程体验 8 (文件和日志 与监控)_mysql_10

这里两个访问的系统的地址和断开

grafana的地址在3000 断开 而 TIDB 的dashboard 在 PD 的2379端口

TIDB 初级课程体验 8 (文件和日志 与监控)_linux_11

报警的参数设置在proetheus 中,报警系统的报警级别包含

1  警告级别:类似数据库中的warning信息

2  严重级别 :性能异常

3  紧急级别:节点可能DOWN机

在 grafana中包含常用的指标 system_info

CPU, 内存, CPU&内存使用率,网络状态

Service port status 可以查看整体系统中DOWN掉的节点

TIDB 初级课程体验 8 (文件和日志 与监控)_java_12

TIKV 的监控中可以查看每个节点的热度与数据的均衡性。

TIDB 初级课程体验 8 (文件和日志 与监控)_mysql_13

系统的TIDB Dashboard  是在 PD中的监控,通过监控PD来了解当前的系统的状态。

TIDB 初级课程体验 8 (文件和日志 与监控)_数据库_14

这里对TIDB的监控系统的总结

1  TIDB 的监控包含两个系统,需要单独安装,和自动就继承在系统中的系统

2  Monitor 系统包含对所有节点的数据的监控和报警选择,dashboard  是对PD 中的数据进行监控,其中可以分析整体系统的运行的情况

首先我们先确认TIDB 集群的状态

tiup cluster display tidb-test

TIDB 初级课程体验 8 (文件和日志 与监控)_数据库_15

从http://192.168.198.103:2379/dashboard  PD 节点上查看 TIDB dashboard

TIDB 初级课程体验 8 (文件和日志 与监控)_mysql_16

这里通过PD 中的信息进行一些监控如慢查询 ,系统架构信息

TIDB 初级课程体验 8 (文件和日志 与监控)_mysql_17

TIDB 初级课程体验 8 (文件和日志 与监控)_java_18

TIDB 初级课程体验 8 (文件和日志 与监控)_分布式_19

TIDB 初级课程体验 8 (文件和日志 与监控)_linux_20

标签:deploy,TIDB,初级,tidb,日志,data,port,dir
From: https://blog.51cto.com/u_14150796/6534681

相关文章

  • 那些年我面过的「六年经验」的Android初级工程师
    前言不知不觉,作为一个Android团队负责人已经好几年了,在这几年中面试过很多同学,有实习生、有初级的、有中级的、也有高级的。近来回顾以往面试过程,感觉有一些求职者的工作经验和自身能力不匹配,比如六年经验的初级工程师,当然这里只是感觉。不从技术能力来判断,是从一些非技术能力来判......
  • 每次调试打印日志都很头痛
    引子当代码的运行效果不符合预期时就得进行调试,排查下整个数据链路上到底是哪个环节出了问题。断点调试当然是首选,因为它可以单步执行程序,并查看当前执行步骤中所有的数据值。但有些场景下,断点调试就显得笨拙。比如大量异步并发的场景,当程序不是线性执行而是跳来跳去时,就会发生你期......
  • TiDB简介与应用场景
    引言在当今互联网时代,数据的规模和复杂性不断增长,传统关系型数据库面临着无法满足高并发和大规模数据存储需求的挑战。为了解决这一问题,开源社区涌现出了一系列分布式数据库解决方案,其中TiDB作为一种新兴的分布式数据库引起了广泛的关注。本文将介绍TiDB的基本概念、特点以及适用......
  • Window 2008 R2 软件限制策略的默认调整,导致记录事件日志的权限不足
    我电脑升级成Window2008R2后,一个企业服务的项目出现如下错误:未找到源,但未能搜索某些或全部事件日志。不可访问的日志:Security。在这个企业服务中,当有错误发生时候,会把错误记录到Windows的事件日志中,这部分的代码如下:usingSystem;usingSystem.Collections.Generic;using......
  • 基于消息队列的实时日志处理与监控
    目录1.引言2.技术原理及概念3.实现步骤与流程4.示例与应用"基于消息队列的实时日志处理与监控"随着软件开发和监控的深入发展,日志处理和监控已经成为软件开发中不可或缺的一部分。实时日志处理和监控技术在保障系统稳定性和可靠性方面发挥着越来越重要的作用。在本文中,我们将介......
  • Django 日志配置
    Django项目日志配置记录业务运行过程中的一些关键信息,方便查看程序运行情况以及排查报错等详细日志配置settings.py配置文件中新增日志配置#设置时区,日志输出时间为utc-8时区#TIME_ZONE='UTC'TIME_ZONE='Asia/Shanghai'#日志配置LOGGING={'versio......
  • 如何实现带有颜色文本的日志框_使用HTMLEditor模拟
    如何实现带有颜色文本的日志框_使用HTMLEditor模拟HTMLEditor是一个强大的html编辑器,可以方便的编辑各种html元素并得到html文本。比之TextArea要强大很多,因为TextArea中所有的文本只能有一种样式。如果想要实现一个日志框,其中普通信息、警告信息、错误信息使用不同......
  • mysql的二进制日志和中继日志文件的分析、恢复、清理
    1.mysql的二进制日志目录1.mysql的二进制日志1.1.概述1.2.MySQL中二进制日志(binlog)3种不同的格式(Mixed,Statement,Row)1.2.1.Row1.2.2.Statement1.2.3.Mixed1.3.binglog格式设置1.4.二进制日志文件的清理1.4.1.自动清理binglog1.4.1.修改过期时间1.4.2.手动清除......
  • mysql日志基本概念和启用
    1.mysql日志目录1.mysql日志1.1.概述1.2.MySQL日志文件分类1.2.1.错误日志1.2.2.二进制日志1.2.3.通用查询日志1.2.3.1.定位查询慢的sql1.2.3.2.慢查询日志的启动和参数说明;1.2.4.慢查询日志1.2.5.Innodb的在线redo日志1.2.6.更新日志1.3.日志启动1.4.总结1.4.1.b......
  • docker-k8s-日志分析
    1.mac安全模式关了2.docker源改了,国内的3、k8s的git仓库,匹配到版本后,下载了。依旧无法正常启动···2023062113:36:45第一次日志记录2023-06-2113:31:23.630123+0800localhostcom.docker.backend[17097]:(0fd28985)ead7cf58-KubernetesManagerC<-Sd75b0a51-VMD......