首页 > 数据库 >spoon、mysql数据导入hive,分别使用hdfs导入,或者修改配置

spoon、mysql数据导入hive,分别使用hdfs导入,或者修改配置

时间:2024-09-12 19:24:49浏览次数:12  
标签:hdfs 文件 hive 导入 报错 mysql

一、mysql通过hdfs导入到hive—spoon

        首先要在要在主对象树里边ADD一个hadoop

然后在文件安装位置找到这个

next后会出现这个,然后就可以把这页面关闭

然后新建项目

选择这两个,如果没有选择选项,重启软件就会有了

然后选择这几个文件

从服务器hadoop etc的配置文件中下载如下4个配置文件,覆盖kettle的plugins\pentaho-big-data-plugin\hadoop-configurations\hdp25中的4个同名文件

后边就只填hdfs的信息,ip地址和端口号

然后点击这个

出现这个代表,hdfs配置好了

然后建立文件传输

配置如下

获取字段后,就可以运行上传到hdfs上边

注意!!!!!!!!!!!!一下这一点

在配置hdfs的上传路径的时候又两个选择

一、:路径上写一个hdfs没有同名的文件路径,他会自动创建,否则会报以下错误

二、:出现以上报错,可以给同名的文件路径赋权限,给最高的777权限

hdfs dfs -chmod -R 777 /home

给权限之后,就不会报这个错误

hdfs,传数据到hive

当数据传到hdfs后才能下载到hive上边,这时候需要在spoon上边执行sql语句,但是在执行sql语句前hive要提前建好一个和hdfs字段一样的表才能下载到hive上边

步骤如下

执行sql语句后,就可以下载到hive,当然hdfs的上创建的文件也会没有,回到hive上边

二、mysql直接导到hive

如果mysql直接导入hive会报错,不能直接导入,需要调一下设置

当出现这个错误的时候需要调,如果没有就不需要调

有时候,运行成功,有时候只能导入 2 条数据,然后报错,可以在 hive 的 conf 下的 .hiverc 下,添加如下:

set hive.stats.column.autogather=false;

标签:hdfs,文件,hive,导入,报错,mysql
From: https://blog.csdn.net/KasarJ/article/details/142183354

相关文章

  • Oracle数据库中的归档日志(Archive Log)详解与应用
    在Oracle数据库中,归档日志(ArchiveLog)是数据库恢复和备份策略中的一个重要组成部分。归档日志是已填充的重做日志文件组的副本,它们在数据库运行在ARCHIVELOG模式下时被保存到一个或多个脱机目标。本文将详细介绍归档日志的概念、配置、管理以及在数据库恢复中的应用。1.......
  • [AHK2] 将绝对路径导入转化为相对路径导入
    问题起源在使用AHK写稍大些的项目时,就会拆分文件,将脚本存放到不同的位置;同时,也会引用别人的工具类等。这些情况下就会使用#Include导入脚本;可能是绝对路径,也可能是相对路径。在绝对路径的情况下,想要将项目分享给他人就会带来许多麻烦。因为需要解决绝对路径导入问题。我曾经......
  • 动态导入封装的模块的方法
    具体架构应为,使用的方法为webpack的require的context()require.context(directory,useSubdirectories,regExp)1.directory(必需):要搜索的目录,可以是相对路径或绝对路径。2.useSubdirectories(可选):布尔值,指示是否还应该搜索子目录。默认值为true。3.r......
  • 学习笔记 | endnote导入
    1.txt导入在万方网站上碰到了导出txt格式的文件,打开以后格式如下为将它导入进入EndNote,可以将其后缀名,改为“.ciw”文件,双击点开该文件,即可将导出的文献加载到EndNote数据库中。2.下载过的PDF文献一键导入EndNote数据库对于已经下载好的文件(要求是PDF格式,最好是有DIO号,并且......
  • ass字幕文件怎么导入视频?ass字幕怎么编辑?简单几招学会视频加字幕!
    ass字幕文件怎么导入视频?ass字幕怎么编辑?在视频编辑过程中,ass字幕文件因其具有丰富的样式和效果而越来越受到创作者的青睐。ASS(AdvancedSubStationAlpha)字幕不仅能提供基本的文本显示,还能实现复杂的排版、动态特效和精细的时间控制,使得视频内容更加生动和引人入胜。这种灵活......
  • Hadoop之HDFS读写流程
    HDFS读写流程1.写入的流程1.Client客户端发送上传请求,通过RPC与NameNode建立通信,NameNode检查该用户是否有上传权限,以及上传的文件是否在HDFS对应的目录下重名,如果这两者有任意一个不满足,则直接报错,如果两者都满足,则返回给客户端一个可以上传的信息;2.Client根据文件的大......
  • Camstar电子套件CTT导入基础资料
    1、安装CTT 2、双击打开,并打开执行的文件OpentheOpcenterExecutionCoreTransactionTester.SelectFile>OpenandnavigatetothelocationoftheES_InitialConfigurationLoad.cfgscriptfile,locatedbydefaultin:\AdministrationTools\Scripts\Common.......
  • 基于SSM的图书馆管理系统的设计与实现 (含源码+sql+视频导入教程+文档+PPT)
    ......
  • 基于springboot的学生成绩管理系统的设计与实现 (含源码+sql+视频导入教程+论文+PPT)
    ......
  • 使用java对栅格数据的处理,对栅格文件进行导入导出
    需求背景:对栅格文件进行导入导出(使用代码的方式,非命令方式);当然也可以使用代码和GDAL的方式进行,但是GDAL配置部署不便捷,故选用GeoTools方式来实现。ps:若是使用命令方式,首先打开PostgreSQL的安装目录【\PostgreSQL\14\bin】,然后使用如下命令即可实现把栅格文件导入到数据库中......