首页 > 其他分享 >Sqoop面试题

Sqoop面试题

时间:2022-08-31 23:25:49浏览次数:87  
标签:面试题 Sqoop string sqoop non Null null

sqoop概述

sqoop是连接关系型数据库和hadoop的桥梁,主要有两个方面(导入和导出):
A. 将关系型数据库的数据导入到Hadoop 及其相关的系统中,如 Hive和HBase
B. 将数据从Hadoop 系统里抽取并导出到关系型数据库

1、Sqoop导入导出Null存储一致性问题

Hive中的Null在底层是以“\N”来存储,而MySQL中的Null在底层就是Null,为了保证数据两端的一致性,转化的过程中遇到null-string,null-non-string数据都转化成指定的类型,通常指定成"\N"。在导出数据时采用–input-null-string “\N” --input-null-non-string “\N” 两个参数。导入数据时采用–null-string “\N” --null-non-string “\N”。

2、sqoop底层是怎样实现的?

sqoop底层是用MapReduce实现数据传输的,并且MR程序中只有map任务没有reduce任务。
sqoop详解与应用

 

标签:面试题,Sqoop,string,sqoop,non,Null,null
From: https://www.cnblogs.com/huanghanyu/p/16644893.html

相关文章

  • ClickHouse高频面试题
     1、简单介绍一下ClickHouseClickHouse是一个用于联机分析(OLAP)的列式数据库管理系统(DBMS)。主要用于WEB流量分析。ClickHouse的全称是ClickStream,DataWareHouse......
  • Spark面试题
     一、Spark基础篇1、Spark是什么?Spark是一个通用分布式内存计算引擎。2009年在加州大学伯克利分校AMP实验室诞生,2014年2月,Spark成为Apache的顶级项目。......
  • Flink面试题
    1.什么是ApacheFlink(为什么使用Flink替代Spark?)        ApacheFlink是一个开源的基于流的有状态计算框架。它是分布式地执行的,具备低延迟、高吞吐的优秀性......
  • Flink CDC 高频面试题
      1cdc简介CDC(ChangeDataCapture)是一种用于捕捉数据库变更数据的技术,Flink从1.11版本开始原生支持CDC数据(changelog)的处理,目前已经是非常成熟的变更......
  • 面试题之:SpringMVC框架
    1、谈一下你对SpringMVC框架的理解(了解)SpringMVC是一个基于Java的、实现了MVC设计模式的请求驱动类型的轻量级Web框架,通过把Model,View,Controller分离,将we......
  • 前端面试题每日3题——2022/08/30
    1以下代码执行后,控制台中的输出内容为?for(leti=0;i<3;i++){setTimeout(()=>{console.log(i);});}for(varj=0;j<3;j++){setTimeout......
  • JAVA面试题总结归纳
    问题一:JAVA的原始数据类型有哪些,它们的大小以及其对应的封装类是什么?数据类型对应大小对应的封装类boolean1bit,boolean类型单独使用是4个字节,而在数组中又是1个......
  • 面试题-什么叫优雅降级和渐进增强?
    优雅降级和渐进增强印象中是随着CSS3流出来的一个概念。由于低级浏览器不支持CSS3,但CSS3的效果又太优秀不忍放弃,所以在高级浏览中使用CSS3而低级浏览器只保证最......
  • JS面试题一
    1、所有对象都有原型吗?并不是所有对象都有原型;比如使用Object.create()创建一个对象,我们传递一个参数,那么创建的对象的原型则会指向传递的那个对象;而不传参数,也就是创......
  • 杭州市民卡面试题【杭州多测师】【杭州多测师_王sir】
    市民卡面试题:1.自我介绍2.项目介绍一下3.项目里做接口的部分是哪些4.自动化做过么5.接口用什么做的6.自动化用什么做的7.Linux查文件命令8.数据库用过么  ......