首页 > 数据库 >mysqlworkbench导入csv文件方法2(代码版)

mysqlworkbench导入csv文件方法2(代码版)

时间:2025-01-14 15:33:48浏览次数:1  
标签:## mysqlworkbench Server 导入 file MySQL path csv

方法二:缺点--需要写代码,步骤稍多;优点--数据几秒内就可导完,以下是我实际工作场景
步骤一:建表:

步骤二:查看本地文件导入权限目录


步骤三:将csv文件移到C:/ProgramData/MySQL/MySQL Server 8.0/Uploads/此目录,并转为utf8,cmd可实现

powershell -Command "(Get-Content -Path 'D:/工作文件/提成复核/24财年/12月核算/数据源/毛利数据/业绩单商品明细/629973ProductDetail1736831527735.csv' -Encoding Default) | Set-Content -Path 'C:/ProgramData/MySQL/MySQL Server 8.0/Uploads/qd1_utf8.csv' -Encoding utf8"

步骤四:简单清洗数据,如果数据不需要清洗可忽略此项,因为我这个数据是否仓发列为null的数据乱码(用的python)

import pandas as pd

加载CSV文件

input_file_path = 'C:/ProgramData/MySQL/MySQL Server 8.0/Uploads/qd1_utf8.csv'
df = pd.read_csv(input_file_path)

删除“是否仓发”字段为空的行

df_cleaned = df.dropna(subset=['是否仓发'])

将清理后的数据保存到新的CSV文件

output_file_path = 'C:/ProgramData/MySQL/MySQL Server 8.0/Uploads/qd2_utf8.csv'
df_cleaned.to_csv(output_file_path, index=False)
print(f"已成功删除包含空值的行,并保存到 {output_file_path}")
print(f"已成功删除包含空值的行,并保存到 {output_file_path}")

步骤五:数据拆分行,如果数据不大不用拆,我这个数据比较大,不拆执行会导致超载,如果显示超载也可以不拆,修改配置执行时长也可以

import pandas as pd

chunk_size = 100000 # 每个文件的大小,这里设置为每10万行一个文件
input_file_path = 'C:/ProgramData/MySQL/MySQL Server 8.0/Uploads/qd2_utf8.csv'

for i, chunk in enumerate(pd.read_csv(input_file_path, chunksize=chunk_size)):
output_file_path = f'C:/ProgramData/MySQL/MySQL Server 8.0/Uploads/qd2_{i+1}.csv'
chunk.to_csv(output_file_path, index=False)

步骤六:sql语法导入

以下为sql所有语法:
select * from qd1

SET SQL_SAFE_UPDATES = 0; ##解除更新和删除表内容禁制:
delete from qd1 ##清空表内容
select * from qd1 ##再检查一下表内数据是否清空

show variables like '%secure%'; ##用于查看本地文件导入权限是否开启
set global local_infile =1; ##打开权限
show global variables like '%secure_file_priv%';##找到权限的目录

use shopingmall; ##先运行一下数据库

LOAD DATA INFILE 'C:/ProgramData/MySQL/MySQL Server 8.0/Uploads/qd2_1.csv'
INTO TABLE qd1
FIELDS TERMINATED BY ','
ENCLOSED BY '"'
LINES TERMINATED BY '\n'
IGNORE 1 ROWS;

标签:##,mysqlworkbench,Server,导入,file,MySQL,path,csv
From: https://www.cnblogs.com/zhuangyu2023/p/18670868

相关文章

  • MySQLworkbench导入csv文件步骤方法一
    方法一:优点--无需写代码;缺点--对于数据量较大的,导入很费时间,1000行大概需要三小时才能导完......
  • Python扫描枪读取发票数据导入Excel
    财务需要一个扫描枪扫描发票文件,并将主要信息录入Excel的功能。文件中sheet表的列名称,依次为:发票编号、发票编码、日期、金额、工号、扫描日期。扫描的时候,Excel文件需要关闭,否则会报错。importopenpyxlimportdatetimedefwrite_line_excel(text):iftext=='':......
  • 使用Python爬虫将抓取的数据保存到CSV文件
    在爬虫开发中,数据的存储是至关重要的一步。通常情况下,爬取的数据需要存储在一种易于后续分析和处理的格式中。CSV(Comma-SeparatedValues,逗号分隔值)是一种非常流行的数据存储格式,因其简单、易于处理以及与许多数据分析工具(如Excel、Pandas等)兼容,成为了很多爬虫项目中常用的......
  • 页面导入样式时,使用link和@import有什么区别?
    在前端开发中,link和@import都可以用来引入CSS样式,但它们之间有一些重要的区别。来源与本质:link:是HTML提供的方式,用于链接外部资源。不仅可以用于加载CSS,还可以用于加载其他类型的资源,如RSS等。@import:是CSS提供的方式,只能在CSS文件或<style>标签中使用,用于在一个CSS文件中导......
  • 导出和导入word样式模板
    对于自己配置过之后常用的word样式可以导出作为样式模板,可以重复使用.举例说一下哪些是常用的word样式,例如:(常见的):中文的内容的样式,中英文分别设置不同的样式(比较高级的)多级标题自动编号,题注跟随标题的编号word功能word自带导出导入模板样式的功能.word样式......
  • 使用Python和Neo4j驱动程序来实现小规模数据的CSV导入
    要将CSV数据导入到Neo4j数据库中,你可以使用Neo4j提供的工具,比如neo4j-adminimport命令(适用于大规模数据导入),或者使用Python的Neo4j驱动程序通过Cypher查询逐行插入数据(适用于小规模数据导入)。下面我将介绍如何使用Python和Neo4j驱动程序来实现小规模数据的CSV导入。步骤1......
  • CSV库写数据 生成Excel表格数据 Python
    一维数据1.代码importcsvlist1=["name","age","school","address"]filew=open('asheet.csv',"w")filew.write(",".join(list1))filew.close()filew=open('asheet.csv','r')lin......
  • as-v1000视频监控平台导入导出功能,在平台迁移时快速导入设备信息
    目录一、背景说明二、导出操作三、导入操作四、视频播放五、在平台迁移中的应用    1、快速部署    2、减少错误    3、保持连续性六、总结一、背景说明        在视频监控领域,随着技术的不断进步和应用场景的不断拓展,系统升级与......
  • NocoBase 本周更新汇总:支持大规模数据量的导入和导出
    汇总一周产品更新日志,最新发布可以前往我们的博客查看。NocoBase目前更新包括的版本更新包括三个分支:main,next和develop。main:截止目前最稳定的版本,推荐安装此版本。next:包含即将发布的新功能,经过初步测试的版本,可能存在部分已知或未知问题。主要面向测试用户,用于收集反......
  • [rustGUI][iced]基于rust的GUI库iced(0.13)的部件学习(03):图像的导入、显示、调整(暨image
    前言本文是关于iced库的部件介绍,iced库是基于rust的GUI库,作者自述是受Elm启发。iced目前的版本是0.13.1,相较于此前的0.12版本,有较大改动。本合集是基于新版本的关于分部件(widget)的使用介绍,包括源代码介绍、实例使用等。环境配置系统:window10平台:visualstudiocode语言:rust......