首页 > 其他分享 >Sqoop(二)遇到的问题

Sqoop(二)遇到的问题

时间:2024-09-05 13:21:56浏览次数:12  
标签:sqoop java 遇到 Sqoop 问题 manager apache org

sqoop list-databases --connect jdbc:mysql://m1:3306 -username root -password Fuhong119@

1.Sqoop连接数据库报错,报错信息为:

Exception in thread "main" java.lang.NoClassDefFoundError: org/apache/commons/lang/StringUtils
        at org.apache.sqoop.manager.MySQLManager.initOptionDefaults(MySQLManager.java:73)
        at org.apache.sqoop.manager.SqlManager.<init>(SqlManager.java:89)
        at com.cloudera.sqoop.manager.SqlManager.<init>(SqlManager.java:33)
        at org.apache.sqoop.manager.GenericJdbcManager.<init>(GenericJdbcManager.java:51)
        at com.cloudera.sqoop.manager.GenericJdbcManager.<init>(GenericJdbcManager.java:30)
        at org.apache.sqoop.manager.CatalogQueryManager.<init>(CatalogQueryManager.java:46)
        at com.cloudera.sqoop.manager.CatalogQueryManager.<init>(CatalogQueryManager.java:31)
        at org.apache.sqoop.manager.InformationSchemaManager.<init>(InformationSchemaManager.java:38)
        at com.cloudera.sqoop.manager.InformationSchemaManager.<init>(InformationSchemaManager.java:31)
        at org.apache.sqoop.manager.MySQLManager.<init>(MySQLManager.java:65)
        at org.apache.sqoop.manager.DefaultManagerFactory.accept(DefaultManagerFactory.java:67)
        at org.apache.sqoop.ConnFactory.getManager(ConnFactory.java:184)
        at org.apache.sqoop.tool.BaseSqoopTool.init(BaseSqoopTool.java:272)
        at org.apache.sqoop.tool.ListDatabasesTool.run(ListDatabasesTool.java:44)
        at org.apache.sqoop.Sqoop.run(Sqoop.java:147)
        at org.apache.hadoop.util.ToolRunner.run(ToolRunner.java:76)
        at org.apache.sqoop.Sqoop.runSqoop(Sqoop.java:183)
        at org.apache.sqoop.Sqoop.runTool(Sqoop.java:234)
        at org.apache.sqoop.Sqoop.runTool(Sqoop.java:243)
        at org.apache.sqoop.Sqoop.main(Sqoop.java:252)
Caused by: java.lang.ClassNotFoundException: org.apache.commons.lang.StringUtils
        at java.net.URLClassLoader.findClass(URLClassLoader.java:382)
        at java.lang.ClassLoader.loadClass(ClassLoader.java:424)
        at sun.misc.Launcher$AppClassLoader.loadClass(Launcher.java:349)
        at java.lang.ClassLoader.loadClass(ClassLoader.java:357)
        ... 20 more

解决方法:
在apache 上下载commons-lang-2.6.jar包并上传到lib下即可,下载地址:
http://mirrors.tuna.tsinghua.edu.cn/apache//commons/lang/binaries/commons-lang-2.6-bin.zip

2. Sqoop连接数据库报错,报错信息为:

2024-08-31 05:28:19,868 ERROR sqoop.Sqoop: Got exception running Sqoop: java.lang.RuntimeException: Could not load db driver class: com.mysql.jdbc.Driver
java.lang.RuntimeException: Could not load db driver class: com.mysql.jdbc.Driver
        at org.apache.sqoop.manager.SqlManager.makeConnection(SqlManager.java:875)
        at org.apache.sqoop.manager.GenericJdbcManager.getConnection(GenericJdbcManager.java:59)
        at org.apache.sqoop.manager.CatalogQueryManager.listDatabases(CatalogQueryManager.java:57)
        at org.apache.sqoop.tool.ListDatabasesTool.run(ListDatabasesTool.java:49)
        at org.apache.sqoop.Sqoop.run(Sqoop.java:147)
        at org.apache.hadoop.util.ToolRunner.run(ToolRunner.java:76)
        at org.apache.sqoop.Sqoop.runSqoop(Sqoop.java:183)
        at org.apache.sqoop.Sqoop.runTool(Sqoop.java:234)
        at org.apache.sqoop.Sqoop.runTool(Sqoop.java:243)
        at org.apache.sqoop.Sqoop.main(Sqoop.java:252)

cp mysql-connector-java-5.1.46.jar /export/software/sqoop-1.4.7/lib/

 3.ARN tool.BaseSqoopTool: Setting your password on the command-line is insecure. Consider using -P instead.
2024-08-31 05:34:23,498 INFO manager.MySQLManager: Preparing to use a MySQL streaming resultset.
Sat Aug 31 05:34:23 EDT 2024 WARN: Establishing SSL connection without server's identity verification is not recommended. According to MySQL 5.5.45+, 5.6.26+ and 5.7.6+ requirements

解决办法,加入useSSL=false

sqoop list-databases --connect jdbc:mysql://m1:3306?useSSL=false -username root -password Fuhong119@

标签:sqoop,java,遇到,Sqoop,问题,manager,apache,org
From: https://blog.csdn.net/sadfasdfsafadsa/article/details/141755501

相关文章

  • Sqoop(四)将HDFS上的数据导出到MySQL中
    将HDFS上的数据导出到MySQL中 在MySQL中建表createtableorders(orderidintprimarykey,orderdatevarchar(10),productidint,numint);导出到MySQL中hdfs中准备数据hadoopfs-chmod777/orders/orders/order.txt1,202406,12,300002,202406,13,350003,2024......
  • floyd算法,三重循环的顺序问题,不要写错了
     最外层的循环应该是,中间节点的变量从1~n:1for(k=1;k<=n;k++)2for(i=1;i<=n;i++)3for(j=1;j<=n;j++)4dist[i][j]=min(dist[i][j],dist[i][k]+dist[k][j]);  正确代码1#include<bits/stdc++.h>2usingname......
  • python代码商城的返佣和退款问题
    使用Python来开发一个返佣接口,根据描述,接口需要处理三个核心功能:根据售价或租金计算返佣金额(20%)。不同人数分享返佣规则:一人分享返佣20%,二人分享每人分别返佣10%。在用户收到货物一周后,并且没有发生退款的情况下,进行结算返佣。步骤创建Flask应用:使用Flask框架来开发接口......
  • Redis篇 - 深入了解查询缓存与缓存带来的问题
    引言在现代Web应用程序中,为了提高数据访问速度和减轻数据库的压力,缓存技术变得越来越重要。Redis作为一款高性能的键值存储系统,在缓存领域有着广泛的应用。然而,随着缓存的引入,一系列新的挑战也随之而来。本文将探讨查询缓存的基本概念以及常见的几个问题:读写不一致、缓存穿透......
  • 网站提示“PHP配置错误:如内存限制、执行时间限制等问题”错误如何解决
    当您遇到“PHP配置错误”,如内存限制、执行时间限制等问题时,这通常意味着您的PHP脚本超过了PHP.ini配置文件中设定的某些限制。这类问题可能导致脚本执行中断或产生错误。以下是一些解决这些问题的方法:常见的PHP配置错误内存限制(memory_limit):当PHP脚本消耗的内存超过memory_l......
  • 论 LLMs 如何解决长文本问题?
    一、长文本的核心问题与解决方向1.1文本长度与显存及计算量之关系要研究清楚长文本的问题,首先应该搞清楚文本长度在模型中的地位与影响。那么我们便以Decoder-base的模型为例来进行分析1.1.1模型参数量Decoder-base的模型主要包括3个部分:embedding,decoder-laye......
  • MySQL 中如何定位 DDL 被阻塞的问题
    经常碰到开发、测试童鞋会问,线下开发、测试环境,执行了一个DDL,发现很久都没有执行完,是不是被阻塞了?要怎么解决?包括在群里,也经常会碰到类似问题:DDL被阻塞了,如何找到阻塞它的SQL?实际上,如何解决DDL被阻塞的问题,是MySQL中一个共性且高频的问题。下面,就这个问题,给一个清晰明了......
  • 易优CMS使用过程遇到问题汇总
    列表页模板不显示数据确认模型是否关联正确。检查模板标签是否书写正确。单页模板无法显示内容确认单页是否已发布。检查单页模板路径是否正确。图片无法上传或显示检查服务器是否开启了文件上传权限。确认上传目录是否有写入权限。文章详情页链接错误重......
  • 网站维护过程中经常遇到的错误信息有哪些
    在网站维护过程中,常见的错误信息包括以下几种:HTTP状态码错误404NotFound:请求的资源未找到。500InternalServerError:服务器内部错误。502BadGateway:网关或代理服务器从上游服务器收到无效响应。503ServiceUnavailable:服务器暂时无法处理请求。数据库相关错误......
  • 重生之当IT管理员遇到数据摆渡界“悟空”!
    您可以搜索“飞驰云联”了解更多信息。关于飞驰云联飞驰云联是中国领先的数据安全传输解决方案提供商,长期专注于安全可控、性能卓越的数据传输技术和解决方案,公司产品和方案覆盖了跨网跨区域的数据安全交换、供应链数据安全传输、数据传输过程的防泄漏、FTP的增强和国产化替代......