首页 > 数据库 >mysql 清除重复数据

mysql 清除重复数据

时间:2024-04-22 15:57:52浏览次数:27  
标签:重复 清除 mysql db sql table id select delete

python代码

def clean_table(db: Session):
    select_sql = ('SELECT MIN(id) as id,col1,col2,COUNT(*) FROM table '
                  'GROUP BY col1,col2 '
                  'HAVING COUNT(*) > 1 LIMIT 200 ')
    while True:
        select_sql_res = db.execute(select_sql).fetchall()
        if not select_sql_res:
            break
        delete_ids = [str(item["id"]) for item in select_sql_res]
        delete_sql = ('DELETE FROM table '
                      f'WHERE id in ({",".join(delete_ids)}) ')
        db.execute(delete_sql)
        db.commit()

标签:重复,清除,mysql,db,sql,table,id,select,delete
From: https://www.cnblogs.com/bitterteaer/p/18150763

相关文章

  • mysql添加数据报错
    1452-Cannotaddorupdateachildrow:aforeignkeyconstraintfails('db_student_manager_web'.'s_student',CONSTRAINT'student_clazz_id_foreign'FOREIGNKEY('clazz_id)REFERENCES's_clazz'('id')......
  • MySQL精选60道面试题 ( 含答案 )
    2024的4月招聘季如此卷,没点真本事真技术,没点面试经验,不了解点职场套路,如何过五关斩六将?找工作最重要的一步自然是面试,马上跳槽季,网上出现了各种面试题,一时会让人眼花缭乱,分不清最该看哪个。虽然不提倡背答案,但是该看的面试题还是得看,这里给大家总结了一些MySQL的通用面试题,不管......
  • 前端如何防止接口重复提交
    什么是接口重复提交?接口重复提交指的是在网络通信中,同一个请求被客户端多次发送到服务器端的情况。这种情况可能由于多种原因导致,例如用户在等待期间多次点击提交按钮、网络超时后客户端重新发送请求、客户端发送的请求在网络传输过程中出现重复等。接口重复提交可能会导致多种......
  • MySQL如何使用字符集配置选项
    MySQL中与character_set有关的配置选项有8个,分别是:mysql>showvariableslike'character_set%';+--------------------------+-------------------------------------+|Variable_name      |Value               |+------......
  • [数据库] 排查MySQL锁表情况及解决思路 [转]
    0序1排查方法:查看当前锁表事务由于出现的是锁表的问题,所以第一步从数据库入手,查看导致锁表的SQL语句是什么;查看是否锁表SQL语句;SELECT*FROMINFORMATION_SCHEMA.INNODB_LOCKS;该命令的输出结果包含了当前事务等待的锁资源的相关信息,包括事务ID、锁的类型、锁的模式、被......
  • docker安装mysql
    下载最新的官方镜像dockerpullmysql:latest启动mysqldockerrun-d-p3306:3306\--privileged=true\-v/app/mysql/log:/var/log/mysql\-v/app/mysql/data:/var/lib/mysql\-v/app/mysql/conf:/etc/mysql/conf.d\......
  • mysql
    Mysql的基本架构是什么样的?MySQL大致可以分为server层和存储引擎层两部分Server层包括连接器、查询缓存、分析器、优化器、执行器等,所有跨存储引擎的功能都在这一层实现,比如存储过程、触发器、视图等。存储引擎层负责数据存储和提取,支持InnoDB、MyISAM、Memory等多个存储引......
  • MYSQL explain的使用
     #1.table:表名#查询的每一行记录都对应着一个单表EXPLAINSELECT*FROMs1;#s1:驱动表s2:被驱动表EXPLAINSELECT*FROMs1INNERJOINs2;#2.id:在一个大的查询语句中每个SELECT关键字都对应一个唯一的idSELECT*FROMs1WHEREkey1='a';SELECT*FROMs1INNER......
  • [MYSQL] MYSQL ERROR CODE 错误编号合集
    1[MYSQL]MYSQLERRORCODE错误编号合集错误码错误解释备注说明错误:1236SQLSTATE:HY000(ER_MASTER_FATAL_ERROR_READING_BINLOG)消息:从二进制日志读取数据时,获得来自主服务器的致命错误%d:’%s’。错误:1237SQLSTATE:HY000(ER_SLAVE_IGNORED_TABLE)消息:......
  • MySQL-06.索引的数据结构
    1.为什么使用索引索引是存储引擎用于快速找到数据记录的一种数据结构,就好比一本书的目录部分,通过目录中找到对应文章的页码,便可快速定位到需要的文章。MySQL中的索引也是一样的道理,进行数据查找时,首先查看查询条件是否命中某条索引,符合则通过索引查找相关数据,如果不符合则需要全......