首页 > 其他分享 >每日总结

每日总结

时间:2023-11-15 23:44:06浏览次数:23  
标签:总结 -- 每日 sqoop hive connect mysql import

今天学习了使用sqoop将hive的表数据导入到mysql里面,经过查询资料,下面是我的总结:

SQOOP是用于对数据进行导入导出的。
(1)把MySQL、Oracle等数据库中的数据导入到HDFS、Hive、HBase中
(2)把HDFS、Hive、HBase中的数据导出到MySQL、Oracle等数据库中
1.把数据从mysql导入到hdfs(默认是/user/<username>)中
sqoop import --connect jdbc:mysql://hadoop0:3306/hive --username root --password admin --table TBLS --fields-terminated-by '\t' --null-string '**' -m 1 --append --hive-import
sqoop import --connect jdbc:mysql://hadoop0:3306/hive --username root --password admin --table TBLS --fields-terminated-by '\t' --null-string '**' -m 1 --append --hive-import --check-column 'TBL_ID' --incremental append --last-value 6
2.把数据从hdfs导出到mysql中
sqoop export --connect jdbc:mysql://hadoop0:3306/hive --username root --password admin --table ids --fields-terminated-by '\t' --export-dir '/ids'
3.设置为作业,运行作业
sqoop job --create myjob -- import --connect jdbc:mysql://hadoop0:3306/hive --username root --password admin --table TBLS --fields-terminated-by '\t' --null-string '**' -m 1 --append --hive-import
4. 导入导出的事务是以Mapper任务为单位。

标签:总结,--,每日,sqoop,hive,connect,mysql,import
From: https://www.cnblogs.com/baijingyun/p/17835153.html

相关文章

  • 11.15每日总结2
    子组件使用this.$emit()向父组件传值首先必须在父组件中引用子组件,然后实现传值第一步在父组件中引入子组件使用import引入组件importindexImportOrderfrom'./components/indexImportOrder'声明//定义组件components:{indexImportOrder,},使用<indexI......
  • 11月15日总结
    一.今天做了什么上午两节英语课,轮到我做演讲了,昨天才把稿子写出来,准备的太不充分了,上台的时候又紧张,读的是结结巴巴狗屁不是,尴尬死了,感恩英语老师帮我解围二.遇到的问题,如何解决无......
  • 每日反省自己
    一、买点在什么时候出现?主力很小量洗盘的时候只有拉升,、没有主力或小主力竞价量微量的短红线的时候资金由流出变流入股价在分时支撑位附近强线下方、弱线低很多小量的主力加异动小量主力后开始拉升小量主力洗盘后开始拉升微微走强容易出买点,走强德道支撑容易上涨二、什......
  • 2023.11.14——每日总结
    昨天忘记发了,补上学习所花时间(包括上课):9h代码量(行):0行博客量(篇):1篇今天,上午学习,下午学习;我了解到的知识点:1.mybatis明日计划:学习......
  • 2023.11.15——每日总结
    学习所花时间(包括上课):9h代码量(行):0行博客量(篇):1篇今天,上午学习,下午学习;我了解到的知识点:1.mybatis明日计划:学习......
  • 2023-2024 20231313《计算机基础与程序设计》第八周学习总结
    2023-202420231313《计算机基础与程序设计》第八周学习总结作业速达作业课程班级链接作业要求计算机基础与程序设计第八周学习总结作业内容《计算机科学概论》第9章《C语言程序设计》第7章并完成云班课测试,功能设计与面向对象设计,面向对象设计过程,面向对象语......
  • 每日总结
    今日收获将数据库实验写完啦~~写完了软件构造的第七章的作业题(第一次尝试将jar包转exe文件成功!);学习英语;将前几天的调研报告整理总结一下子交喽~~~今天倒是没啥时间弄C#那个团队项目;明天预计希望,软件设计作业顺利写完~~~希望,建民老师的课程顺利通过~~~学习英语六级去~~~......
  • 11.15每日总结
    1114lombok的使用和注册接口与登录接口细节   先导入lombok的依赖,加上@Data注解  这是pojo包下的result,使用的两个注解是无参构造和有参构造controller:书写 service接口书写: serviceImol书写: 其中@Service把把该类注入到容器中,@Autowired注解是依赖注......
  • 2023-2024-1 20231329《计算机基础与程序设计》第8周学习总结
    作业信息这个作业属于哪个课程https://edu.cnblogs.com/campus/besti/2023-2024-1-CFAP这个作业要求在哪里https://www.cnblogs.com/rocedu/p/9577842.html#WEEK08这个作业的目标计算机科学概论第9章并完成云班课测试《C语言程序设计》第7章并完成云班课测试作......
  • 11月15日总结
    实验12:外观模式本次实验属于模仿型实验,通过本次实验学生将掌握以下内容:1、理解外观模式的动机,掌握该模式的结构;2、能够利用外观模式解决实际问题。[实验任务一]:计算机开启在计算机主机(Mainframe)中,只需要按下主机的开机按钮(on()),即可调用其他硬件设备和软件的启动方法,如内存(......