首页 > 数据库 >mysql 清除重复数据

mysql 清除重复数据

时间:2024-04-24 21:14:58浏览次数:20  
标签:重复 清除 mysql db sql table id select delete

python代码

def clean_table(db: Session):
    select_sql = ('SELECT MIN(id) as id,col1,col2,COUNT(*) FROM table '
                  'GROUP BY col1,col2 '
                  'HAVING COUNT(*) > 1 LIMIT 200 ')
    while True:
        select_sql_res = db.execute(select_sql).fetchall()
        if not select_sql_res:
            break
        delete_ids = [str(item["id"]) for item in select_sql_res]
        delete_sql = ('DELETE FROM table '
                      f'WHERE id in ({",".join(delete_ids)}) ')
        db.execute(delete_sql)
        db.commit()

标签:重复,清除,mysql,db,sql,table,id,select,delete
From: https://www.cnblogs.com/bitterteaer/p/18156354

相关文章

  • 8.prometheus监控--监控Mysql8.0
    一、环境搭建docker-compose安装mysqlmkdir/data/mysql-pcd/data/mysqlcat>docker-compose.yaml<<"EOF"version:'3.1'services:db:image:mysql:8.0restart:alwayscontainer_name:mysqlenvironment:TZ:......
  • Linux统计文件内容重复行
    需求:在一个文件中,如下文件内容有许多乱序的重复值,那我们想要快速知道哪些是重复值怎么办?试问你能靠眼里10秒内找到吗?哈哈哈 解决方案:先使用sort命令将文件内容进行排序,再使用uniq命令进行统计重复值uniq常用参数-c#在每行前统计重复的次数......
  • MySQL Error_code: 1756
    电话告警故障:MySQL从库异常宕机。查看MySQLerror日志:[ERROR]SlaveSQLforchannel'':...Theslavecoordinatorandworkerthreadsarestopped,possiblyleavingdataininconsistentstate.Arestartshouldrestoreconsistencyautomatically,althoughusingn......
  • MySQL分区为什么采取质数101呢?
    MySQL分区为什么采取质数101呢?质数101个分区的底层原理涉及到MySQL分区的工作机制以及质数在分布均匀性方面的特性。MySQL分区机制:MySQL支持分区表,可以将表按照一定的规则分成多个分区,每个分区可以独立地进行管理和操作。分区表可以提高查询效率、降低维护成本、提高可用性等。......
  • mysql慢sql优化流程
    #查询慢sqlselectdb,time,infofromINFORMATION_SCHEMA.processlistwhereinfoisnotnull;#查看执行计划explainSELECTCOUNT(1)FROMtables_nameWHEREvalid=1;#查看表索引showindexfromtables_name; #查看表数据selectcount(*)fromtables_nam......
  • linux 离线安装 mysql8.0
    一、下载linuxmysql8.0离线安装包mysql下载地址:https://dev.mysql.com/get/Downloads/MySQL-8.0/mysql-8.0.20-linux-glibc2.12-x86_64.tar.xzmysql官方下载最新版本:https://dev.mysql.com/downloads/mysql/ 然后选择linux把下载的压缩包上传到要安装的服务器上,解压mysql t......
  • MySQL 分库分表方案,总结太全了。。
    来源:https://www.cnblogs.com/405845829qq/p/7552736.html前言公司最近在搞服务分离,数据切分方面的东西,因为单张包裹表的数据量实在是太大,并且还在以每天60W的量增长。之前了解过数据库的分库分表,读过几篇博文,但就只知道个模糊概念,而且现在回想起来什么都是模模糊糊的。今天......
  • mysql系列文章---sql优化的7个方面
    1、主键优化主键存储规则:在innoDB引擎中,表数据都是根据主键顺序存放的,主键索引的叶子节点存的是这一行的行数据,非叶子节点只存索引主键设计的原则:a、主键最好顺序生成,否则在插入数据时会产生页分分裂。b、主键不要过长c、不要使用身份证作主键d、业务操作时尽量避免对主键......
  • mysql 数据库远程连接
    安装mysqlwindows的安装相对简单不做演示演示使用redhat9安装mysql:使用yum对关键字进行搜索:yumsearchmysql安装:yuminstallmysql-server启动服务:systemctlstartmysqld尝试进入mysql视图:默认没有密码输入命令:mysql然后给root赋予一个密码默认用户表存储在mysql.......
  • mysql学习
     来源:https://www.cnblogs.com/mrlwc/p/12079149.htmlhttp://c.biancheng.net/view/2574.htmlmysql-uroot-p;登陆本地mysqlmysql-h10.7.14.449-P3306-uroot-p;登陆远程mysql常用数据库命令showdatabases;查看所有的数据库createdatabasetest;创建一个叫t......