首页 > 其他分享 >数据导入导出

数据导入导出

时间:2022-08-25 15:39:46浏览次数:129  
标签:-- 数据库 导出 导入 mysql 数据

 

1、HIVE数据导入到mysql

(1) shell脚本 连接数据库 创建对应表信息

mysql -hIP地址 -u用户名 -p密码 数据库 -P16063 -e"执行sql脚本"

(2) 通过sqoop 导出数据到mysql

sqoop export -Dmapred.job.queue.name=队列名称 \
--connect "" \
--username "${mysql_user}" \
--password ${mysql_pass} \
--table 表名 \
--export-dir /user/hive/warehouse/数据库名.db/表名 \
--input-fields-terminated-by '数据分隔符'


注意:

hive结果表格式需text格式 并且指定其分隔符
mysql 建表需与hive表字段顺序保持一致
mysql 建表是需注意主键约束 数据中存在相同的数据导入会失败
mysql 建表需注意字段长度 结合数据设置字段长度
mysql 建表需注意主键字段需not null

2、HIVE数据导入到mysql
(1) 通过hdfs表数据源路径将数据下载到本地

hdfs dfs -getmerge hive表源数据路径 导出的文件名

 

(2) 连接mysql 导入数据

mysql -h IP地址 -P 16063 -u 用户名 -p密码 -D 数据库 -A <<EOF
mysql 语句;
load date local infile '源数据文件名' into table 表名 fields terminated by '|';

EOF

 


3、Oracle 数据库 数据导入
(1) 创建ctl格式文件 保证数据文件第一行就是数据

load data
CHARACTERSET UTF8
infile 'path/file.txt'
replace into table table_name
fields terminated by "," trailing nullcols
(
col1,
col2,
col3,
col4 DATE "yyyy-mm-dd hh24:mi:ss" ,
col5
)

 


(2)通过sqlldr 执行ctl格式文件

sqlldr 'user/"password"@IP:port/databasedb' control=path/test.ctl log=file_log.log bad=file_bad.bad errors=100000 rows=10000 streamsize=10485760 date_cache=3000 direct=y

 

4、Oracle 数据库 数据导出
(1)导出dmp:exp 用户名/密码@oracle 的连接地址:端口/需要导出的服务名 file=路径/文件名.dmp log=e:/hbdw.log full=y;

(2)导入dmp:imp 用户名/密码@oracle 的连接地址:端口/需要导出的服务名 file=路径/文件名.dmp

(3)Oracle 通过PL/SQLDeveloper 实现导入导出

 


5、Mysql 数据导出

select * from tb_words into outfile '/home/fuyun/datas/words.txt' fields terminated by ',' enclosed by '"' lines terminated by '\n';

 

整库导出,只会导出sql语句

mysqldump -u root -p test > /temp/database_dump.sql

 

备份所有库数据,只会导出sql语句

mysqldump -u root -p --all-databases > all_databases_dump.sql

 

将指定主机的数据库拷贝到本地

mysqldump -h other-host -P port -u root -p database_name > dump.txt

 


注意两个服务器之间是否相通

第三方软件导入导出

标签:--,数据库,导出,导入,mysql,数据
From: https://www.cnblogs.com/zhongxuzhi/p/16624411.html

相关文章

  • HIVE 数据导出成 csv 格式
    1、hive数据导出到hdfsinsertoverwritedirectory'hivehouse'rowformatdelimitedfieldsterminatedby'|'select*fromtable_name;2、hdfs数据导出到本地......
  • HIVE数据倾斜解决办法
    在map和reduce两个阶段中,最容易出现数据倾斜的阶段是reduce阶段因为从map到reduce会经过shuffle阶段,shuffle默认按照key进行hash如果相同的key太多,那么hash的......
  • 分页数据展示后台代码
    类别id传递点击了不同的分类后将来看到的旅游线路不一样的。通过分析数据库表结构,发现旅游线路表和分类表是一个多对一的关系   CategoryServiceImpl实现类:publ......
  • 数据篇(MongoDB+ElasticSearch+Minio+TiDB+MySQL+Redis)
    一. 简介1. MongoDB  2. ElasticSearch  3. Minio   4. TiDB  5. MySQL   6. Redis         二. 目录  ......
  • redis 数据备份与恢复
    redis数据备份与恢复RedisSAVE命令用于创建当前数据库的备份redis有两种备份机制AOF:每次执行命令,都会把命令记录下来,存放到aof文件里,恢复的时候,相当于让redis把这些......
  • 使用{{}}展示或更新页面数据时出现闪烁问题:当网速比较慢时,会让用户先看到表达式{{msg}
    可使用以下方式解决:1、使用v-cloak指令,然后为其设置css样式display:none;即上述代码可修改为:但有时添加完毕后变量仍会显示(即闪烁问题没解决),这是因为v-cloak 的displa......
  • el-table 高亮行:只有设置表格数据才生效
    需求:表格若有数据,则默认高亮第一行。之前高亮的行,若在查询结果列表中,则保持高亮不变;反之,则高亮第一行。解决办法需求1很容易实现:created(){//默认高亮第......
  • ArrayList集合存储基本数据类型
    ArrayList集合存储基本数据类型 如果希望向集合ArrayList当中存储基本类型数据,必须使用基本类型对应的“包装类”基本类型包装类byteByteshor......
  • 通用导出excel服务
    1. 一般的后管在分页列表管理里都有导出功能我们的项目是先有分页管理,后面需求要求所有的分页再增加导出功用,所以后端采用统一导出的策略根据不同业务场景,多次调用对应......
  • VS2019使用dbml数据文件
    1.场景:以前的项目数据库对象用的是dbml,但是因为VS使用的是2019,打开就没有图像了(只能手动写映射类对象属性)2.处理方式;安装【LINQtoSQL工具】和【EntityFramework6......