首页 > 其他分享 >Sentry 清理数据

Sentry 清理数据

时间:2023-04-21 11:32:50浏览次数:28  
标签:node 清理 postgres nodestore -- Sentry table sentry 数据


1. 修改 Sentry 程序根目录下 .env 配置
SENTRY_EVENT_RETENTION_DAYS=14
2. 数据软清理

进入 worker 容器:

docker exec -it sentry_onpremise_worker_1 /bin/bash

保留多少天的数据,cleanup 使用 delete 命令删除postgresql数据,但对于 delete、update 等操作,只是将对应行标志为 DEAD,并没有真正释放磁盘空间:

sentry cleanup --days 14
3. PostgreSQL 数据清理

进入 PostgreSQL 容器:

docker exec -it sentry_onpremise_postgres_1 /bin/bash

运行清理:

vacuumdb -U postgres -d postgres -v -f --analyze
4. crontab 添加定时清理,根据公司数据量调整时间
0 16 * * 5 cd /App/sentry && { time docker-compose run --rm worker cleanup --days 14; } &> /tmp/sentry-cleanup.log
0 16 * * 6 { time docker exec -i $(docker ps --format "table {{.Names}}" | grep postgres) vacuumdb -U postgres -d postgres -v -f --analyze; } &> /tmp/sentry-vacuumdb.log
5. 当第三步清理数据库一直耗时过长,无法完成,可以直接新建空表 nodestore_node ,然后再执行第三步清理

进入 PostgreSQL 容器:

docker exec -it sentry_onpremise_postgres_1 /bin/bash

登录 PostgreSQL 数据库:

su - postgres
psql

删除表前后可以先查看下该表占用的空间,一般 nodestore_node 数据表占用磁盘空间最大:

SELECT
    table_schema || '.' || table_name AS table_full_name,
    pg_size_pretty(pg_total_relation_size('"' || table_schema || '"."' || table_name || '"')) AS size
FROM information_schema.tables
ORDER BY
pg_total_relation_size('"' || table_schema || '"."' || table_name || '"') DESC limit 10;

新建备份表结合重命名方式,可以实现不影响 Sentry 服务正常运行时删除数据。此操作可能耗时较长,可以使用 tmux 或者 screen 工具后台执行:

ALTER TABLE nodestore_node RENAME TO nodestore_node_old;
CREATE TABLE nodestore_node (LIKE nodestore_node_old INCLUDING ALL);
ALTER TABLE nodestore_node_old DISABLE TRIGGER ALL;
DROP TABLE nodestore_node_old CASCADE;

标签:node,清理,postgres,nodestore,--,Sentry,table,sentry,数据
From: https://blog.51cto.com/dongsong/6212368

相关文章

  • Python无框架分布式爬虫,爬取范例:拼多多商品详情数据,拼多多商品列表数据
    拼多多是中国领先的社交电商平台之一,是一家以“团购+折扣”为主要运营模式的电商平台。该平台上有海量的商品,对于商家和消费者来说都具有非常大的价值,因此,拼多多商品数据的采集技术非常重要。本文将介绍拼多多商品数据的采集技术。一、拼多多商品的数据结构拼多多的商品数据包含了......
  • 如何清理电热水壶的水垢教程 All In One
    如何清理电热水壶的水垢教程AllInOne生活常识tipsdemos上海市自来水厂的水质太差了小米电热水壶2,1.7L,1800W(......
  • mysql索引--普通索引,唯一索引,主键索引,参照完整性约束,数据完整性约束
    --方法1:createindex--对employee表的员工部门号列创建普通索引depart_ind--createindexdepart_indonemployees(员工部门号);--对employee表的姓名和地址列创建复合索引ad_ind;--createindexad_indonemployees(姓名,地址);--对departments表的部门名称列......
  • 零样本文本分类应用:基于UTC的医疗意图多分类,打通数据标注-模型训练-模型调优-预测部署
    零样本文本分类应用:基于UTC的医疗意图多分类,打通数据标注-模型训练-模型调优-预测部署全流程。1.通用文本分类技术UTC介绍本项目提供基于通用文本分类UTC(UniversalTextClassification)模型微调的文本分类端到端应用方案,打通数据标注-模型训练-模型调优-预测部署全流程,可快速......
  • PO模式介绍、PO模式封装、数据驱动
    一、PO模式介绍1、认识PO模式 2、PO模式页面对象 3、PO如何做Base层:存放所有页面的公共方法Page层:基于页面或者模块单独封装当前页面要操作的对象Script层:脚本测试+unittest  ......
  • python_数据分析与挖掘实战_词云
    #-*-coding:utf-8-*-#代码12-1评论去重的代码importpandasaspdimportreimportjieba.possegaspsgimportnumpyasnp#去重,去除完全重复的数据reviews=pd.read_csv("../../data/0404/reviews.csv")reviews=reviews[['content','content_ty......
  • 数据库关联查询(左连接、右连接)
    在项目中用到多表联合查询,发现2个现象,今天解决这2个疑问:1、left join连接2张表,on后的条件第一个生效,用and连接的其他条件不生效;2、一旦加上where,则显示的结果等同于inner join;先写结论:过滤条件放在:where后面:是先连接然生成临时查询结果,然后再筛选on后面:先根据条件过滤筛选......
  • 【数据中台商业化】数据中台微前端实践
    作者:京东科技 陈云飞一,需求背景1业务背景在以往的业务场景中,用户进入五花八门的菜单体系中,往往会产生迷茫情绪,难以理解平台名称及具体作用,导致数据开发与管理学习成本较高,降低工作效率。为此我们整合从数据接入,数据开发,数据管理的全链路流程,期望让用户体验一站式数据开发与管理的......
  • 速卖通网站使用群体分析及常用接口数据返回展示
    用户群体分析随着电子商务的快速发展,速卖通已经成为全球最大的跨境电商平台之一。作为一个面向全球消费者的在线市场,速卖通网站的使用群体是非常广泛的,因此对于速卖通网站的使用群体分析是非常必要的。本文将从以下几个方面对速卖通网站的使用群体进行分析。一、用户画像  年龄......
  • kafka业务数据到ODS层处理小记
    kafka业务数据到ODS层处理小记1:kafka消息partition分区,应以表主键为key2:kafka消息落地后,同一批次数据中取主键+offset最大的一条,再删除基础数据中此批次数据,最后将此批次数据按数据处理类型(delete、insert、update),先insert、update,再delete。......