简述
大数据采用数据切分批量插入数据库的方法
内容
数据导入功能,数据量为360W,按照我们通常的比较笨的方法则的遍历数据一条条的往数据库插入;经实验证明这个方法确实可以完成这个工作,但是它的插入数据的速度太慢,尤其当随着数据库的数据增加,速度会越来越慢;
首先,我们知道一条条插入数据是比较慢的,插入数据批量插入数据才最快。
单条插入:INSERT INTO table_name (列1, 列2,...) VALUES (值1, 值2,....)
批量插入:INSERT INTO table_name (列1, 列2,...) VALUES (值1, 值2,....), (值1, 值2,....), (值1, 值2,....).....
将数据分为多个批量插入语句,在切分成多个sql语句后,我们可以分几次插入数库,在插入语句中我们可以休眠一段时间再执行下一次插入,为的就是中间腾出一些时间给其它的连接操作
标签:语句,批量,数据库,....,c++,插入,数据 From: https://blog.51cto.com/u_15996251/6353396