首页 > 数据库 >mysql使用load data infile导入数据

mysql使用load data infile导入数据

时间:2022-10-19 13:23:55浏览次数:53  
标签:load mysql 导入 sql data infile

做阿里天池编程题时候,需要导入sql数据,但是sql数据很大,总共有2g多。

 

 由于没怎么做过运维,不会搞大批量数据的导入,就把里面的sql复制粘贴出来,然后粘贴到sqlyog里面慢慢执行,效率其低而且还出错不好验证。

 大批量sql导入MySQL,参考了网上的帖子,使用load data infile导入,效果显著

参考

https://blog.csdn.net/weixin_41013322/article/details/105658594 百万级数据导入mysql的几种方式

https://blog.csdn.net/longzhoufeng/article/details/112377942 load data infile命令的参数详解

 

首先需要打开mysql命令行登录mysql     选择好数据库。

初次使用 load data infile 命令 ,我一上来就执行,结果报错。

 

 

 后来到网上搜索了一番,发现是导入时候文件路径不对,所以又调整了一下

 

还是报错不能执行该命令,就有点困惑了。。指定了文件路径,还是报1290错误。。继续找原因。。

看到网上帖子说,要查看一下secure_file_priv变量是否指定了值,就是是否限制使用load data infile输入输出,发现我的参数是有值得,就在安装的mysql的Uploads目录下面:

 

 

 

既然指定了文件路径,为啥还不能执行呢。。继续找原因。。

找了好多帖子才发现,我的local_infile变量值是off,需要设置为on打开,才能使用load data命令   set global local_infile=ON;

 

 

 

 需要顺带提一下,这个地方也要检查一下sql_mode的值,不能是严格的sql,要设置为空

设置后再次查询sql_mode已经没有strict 模式了,现在再次用Load导入看看

 

 

设置完之后再次导入还是报错,,这个时候报错信息是2068,路径错误。。非常愁,但此时离成功已经很近了。仔细排查发现是路径写法不对,要用//代替\,要不然识别不出来。重新测试之后导入成功,4898条数据一共0.31s,效率很高

 以此类推,将其他几个文件也导入进去

 

 

 

 

 

 

 

 

 

 

 1142w条,4分3秒

 

 至此导入完毕。

以上就是我导入大批量数据排错的全过程,估计许多码农第一次导入也遇到类似的问题,欢迎参考。

 

标签:load,mysql,导入,sql,data,infile
From: https://www.cnblogs.com/konglei1989/p/16805853.html

相关文章

  • DataSet与DataLoaders使用教程
    title:DataSet与DataLoaders使用教程mathjax:truedate:2022-10-0409:13:43tags:DataSetDataLoaderDataSet与DataLoaders使用教程4、PyTorch的Dataset与Data......
  • mysql联合索引和复合主键
    最近优化一个页面,数据5GB(可能要算上索引),单个查询要300s左右,数据表建有联合索引,顺便复习总结下联合索引的东西,本文内容皆来自网络,如有侵权,请联系我删除。联合索引单一索......
  • Dinky的使用——snappy2mysql
    需求:将压缩文件snappy的数据同步到mysql数据库snappy可以作为orc文件的压缩格式存在,所以在添加依赖包的时候,直接添加orc的依赖包就可以了还有一点注意的是,在创建hive表的......
  • C#DataTable(转List /JSON/字典 互转)【工具类】
    #region数据表DataTable转键值对集合List///<summary>///数据表DataTable转键值对集合List///把DataTable转成List集合,存每一行......
  • MySQL的日志文件
    本文将重点介绍MySQL的日志文件类型,并讲解其作用,并结合一定实操演示,相信跟着做下来你会对MySQL有更深的理解。文件的概念在开始讲MySQL日志文件之前,首先我们要明确一下文......
  • MySQL与Redis缓存的同步方案
    本文介绍MySQL与Redis缓存的同步的两种方案通过MySQL自动同步刷新Redis,MySQL触发器+UDF函数实现解析MySQL的binlog实现,将数据库中的数据同步到Redis一、方案1(UDF)场景......
  • 使用DataX将oracle中的数据同步到MySQL
    1.环境准备(1).在oracle上创建表及数据createtableORACLE_DATAX1(user_codeVARCHAR2(20)notnull,user_nameVARCHAR2(50));insertintoORACLE_DATAX1(user_code,......
  • windows下mysql安装(5.6版本)
    1.到mysql官网下载mysql压缩包下载页面:https://downloads.mysql.com/archives/community/2.将压缩包解压到要安装的位置,将bin文件夹添加到环境变量3.如果要将mysql......
  • Dinky的使用——orc2mysql
    需求:将orc格式的数据文件同步数据到mysql数据库由于orc格式的文件不能直接通过文本编辑器打开,也不是说简单的通过记事本写入一些数据,把扩展名改成orc就可以了为了生成标......
  • el-upload多文件上传组件封装
    文件多次上传,保留进度条<template><divclass="upload-file"><el-upload:action="uploadFileUrl":on-success="handleUploadSuccess"......