首页 > 数据库 >(MySQL)从本地导入1000w的记录表

(MySQL)从本地导入1000w的记录表

时间:2023-07-08 11:01:15浏览次数:43  
标签:COMMENT 1000w 记录表 DEFAULT MySQL varchar NULL infile

ERROR 1148 (42000): The used command is not allowed with this MySQL version

SHOW VARIABLES LIKE 'local_infile';
  1. 修改/etc/my.ini
loose-local-infile = 1
  1. 使用set global
mysql -u root -p 
Enter password: [输入密码]
SET GLOBAL local_infile = 1;

配置完毕之后,重新启动MySQL服务器进行测试,查看慢日志文件中记录的信息(Windows系统--win+D--services.msc),找到MySQL,手动重启。

  1. 使用DataGrip导入
    表结构tb_sku
CREATE TABLE `tb_sku` (
  `id` int(11) NOT NULL AUTO_INCREMENT COMMENT '商品id',
  `sn` varchar(100) NOT NULL COMMENT '商品条码',
  `name` varchar(200) NOT NULL COMMENT 'SKU名称',
  `price` int(20) NOT NULL COMMENT '价格(分)',
  `num` int(10) NOT NULL COMMENT '库存数量',
  `alert_num` int(11) DEFAULT NULL COMMENT '库存预警数量',
  `image` varchar(200) DEFAULT NULL COMMENT '商品图片',
  `images` varchar(2000) DEFAULT NULL COMMENT '商品图片列表',
  `weight` int(11) DEFAULT NULL COMMENT '重量(克)',
  `create_time` datetime DEFAULT NULL COMMENT '创建时间',
  `update_time` datetime DEFAULT NULL COMMENT '更新时间',
  `category_name` varchar(200) DEFAULT NULL COMMENT '类目名称',
  `brand_name` varchar(100) DEFAULT NULL COMMENT '品牌名称',
  `spec` varchar(200) DEFAULT NULL COMMENT '规格',
  `sale_num` int(11) DEFAULT '0' COMMENT '销量',
  `comment_num` int(11) DEFAULT '0' COMMENT '评论数',
  `status` char(1) DEFAULT '1' COMMENT '商品状态 1-正常,2-下架,3-删除',
  PRIMARY KEY (`id`) USING BTREE
) ENGINE=InnoDB DEFAULT CHARSET=utf8mb4 COMMENT='商品表';

DataGrip不行,使用命令行执行指令:

mysql --local-infile=1 -u root -p
Enter password: [输入密码]
use itcast;
load data local infile 'F:/work/SQLData/tb_sku1.sql' into table `tb_sku` fields terminated by ',' lines terminated by '\n';

成功
mysql> load data local infile 'F:/work/SQLData/tb_sku1.sql' into table tb_sku fields terminated by ',' lines terminated by '\n';
Query OK, 0 rows affected, 65535 warnings (21.70 sec)
Records: 2000000 Deleted: 0 Skipped: 2000000 Warnings: 2001610

注意 :
由于1000w的数据量较大 , 如果直接加载1000w , 会非常耗费CPU及内存 ; 已经拆分为5个部分 , 每一个部分为200w数据 , load 5次即可 ;


ERROR 1148 (42000): The used command is not allowed with this MySQL version
转载Mysql load data infile用法(万级数据导入,在几秒之内)
MySQL中LOAD DATA INFILE

标签:COMMENT,1000w,记录表,DEFAULT,MySQL,varchar,NULL,infile
From: https://www.cnblogs.com/xumeng2022/p/17536887.html

相关文章

  • mysql 慢查询处理
    mysql执行EXPLAINSELECT`post`.*,`category_post`.`category_id`FROM`mj_portal_post``post`INNERJOIN`mj_portal_category_post``category_post`ON`post`.`id`=`category_post`.`post_id`WHERE`post`.`post_status`=1AND`post`.`post_type`=1AND`post`......
  • 一文彻底搞懂MySQL基础:B树和B+树的区别 转载 https://blog.csdn.net/a519640026/arti
    写在前面大家在面试的时候,肯定都会被问到MySql的知识,以下是面试场景:面试官:对于MySQL,你对他索引原理了解吗?我:了解面试官:MySQL的索引是用什么数据机构的?我:B+树面试官:为什么要用B+树,而不是B树?我:…面试官:用B+树作为MySql的索引结构,用什么好处?我:…B树和B+树是MySQL索引使用的数据结构......
  • MySQL常用知识点总结
    MySQL常用知识点总结参考地址:(https://maifile.cn/est/a3206887806899/pdf)【一】知识点总结【二】多表查询【三】常用函数【四】Excel数据清洗......
  • (MySQL)开启慢查询日志
    MySQL的慢查询日志默认没有开启,我们可以查看一下系统变量slow_query_log。showvariableslike'slow_query_log';修改/etc/my.ini如果要开启慢查询日志,需要在MySQL的配置文件(E:\ProgramData\MySQL\MySQLServer8.0\my.ini)中配置如下信息:#开启MySQL慢日志查询开关slow_......
  • 一次删除mysql中多个表 的方法
     需要一次性删除大量满足特定条件的表名(一般是表名称满足某些关键字)1、首先生成删除drop语句2、执行语句  mysql-uroot-p1111usedb1;--查询构建批量删除表语句(根据数据库中的表名称模糊查询)selectconcat('droptables',TABLE_NAME,';')asdroptablefr......
  • Mysql8.0配置Mysql主从复制GTID复制和延迟从库应用
    一、Mysql主从复制1、Mysql主从复制的作用和原理  1)主从复制的作用  防止单节点数据库故障数据丢失 增强数据的安全性和可靠性 2)原理  主Mysql开启二进制日志 从数据库监听主Mysql二进制日志变化 从复制二进制日志到本地 读取复制的二进制日志执行二进制日......
  • 百转千回!记一次MySQL主从同步异常的排查记录
    一、现象最近项目的测试环境遇到一个主备同步的问题:备库的同步线程停止了,无法同步主库的数据更改。备库报错如下:从库同步报错信息完整的错误信息:Relaylogreadfailure:Couldnotparserelaylogevententry.Thepossiblereasonsare:themaster'sbinarylogis......
  • Java技术分享:SpringBoot+mysql+...
    放个效果图: 准备项目首先在MySql控制台输入一下sql语句创建student数据库和student。createdatabsestudent;usestudent;CREATETABLE`student`(`stu_id`bigint(20)NOTNULL,`stu_name`varchar(45)DEFAULTNULL,`stu_sex`varchar(6)DEFAULTNUL......
  • docker-compose安装MySQL8并开启远程登录(1045)
    docker-compose安装MySQL8并开启远程登录(1045)编写docke-compose.yml文件vimdocker-compose.ymlversion:'3'services:mysql:image:mysql:8.0.31container_name:mysqlenvironment:#时区上海TZ:Asia/Shanghai#root密码M......
  • MySQL
    初识MySQLJavaEE:企业级Java开发Web前端(页面:展示,数据!)后台(连接点:连接数据库JDBC,连接前端(控制,控制视图跳转,和前端传输数据传递))数据库(存数据,Txt,Excel,Word)只会写代码,学好数据库,基本混饭吃;操作系统,数据结构与算法!当一个不错的程序员。离散数学,数字电路,体系结构,编译原理。+实战......