首页 > 其他分享 >sqoop导数到hive任务状态一直是Accepted或Running

sqoop导数到hive任务状态一直是Accepted或Running

时间:2023-05-21 11:33:25浏览次数:36  
标签:mb sqoop yarn Running hive nodemanager Accepted 昨天晚上

昨天晚上装了sqoop准备将数据从pg库导入Hive库备用,写了个sqoop脚本,运行脚本本后从yarn ui上看任务状态一直 Accepted,卡了三四个小时,最后发现是 yarn-site.xml 配置问题,给的资源太少,无法运行任务。

在 yarn-site.xml 中添加下面的内容:

        <property>
                <name>yarn.nodemanager.resource.memory-mb</name>
                <value>20480</value>
        </property>
        <property>
                <name>yarn.scheduler.minimum-allocation-mb</name>
                <value>2048</value>
        </property>
        <property>
                <name>yarn.nodemanager.vmem-pmem-ratio</name>
                <value>2.1</value>
        </property>

昨天晚上就看到类似的解决方案,但是 yarn.nodemanager.resource.memory-mb 这个配置项只给了2g的内存。
昨天晚上搞到两点,一直想着这个问题,今天早上醒来就在手机上百度一下,想着试试,结果真解决了这个问题。

image

标签:mb,sqoop,yarn,Running,hive,nodemanager,Accepted,昨天晚上
From: https://www.cnblogs.com/chenxii81/p/17418378.html

相关文章

  • hive(三)
    HQL基础语法Hive中的语句叫做HQL语句,是一种类似SQL的语句,基本上和SQL相同但是某些地方也是有很大的区别.数据库操作创建数据库1.创建一个数据库,数据库在HDFS上的默认存储路径是/hive/warehouse/*.db。createdatabasehive01;避免要创建的数据库已经存在错误,增加ifn......
  • 二、Hive平台安装
    解压文件:tar-zxvfapache-hive-2.0.0-bin.tar.gz重命名:mv/usr/local/src/apache-hive-2.0.0-bin/usr/local/src/hive卸载MariaDB数据库:rpm-qa|grepmariadbrpm-e--nodepsmariadb-libs-5.5.56-2.el7.x86_64安装mysql数据库:rpm-ivhmysql-community-common-5.7.......
  • 五、Sqoop平台安装
    实验任务一:下载和解压Sqoop解压sqoop:tar-zxvfsqoop-1.4.7.bin__had.gz重命名:mvsqoop-1.4.7.bin__hadoop-2.6.0/sqoop实验任务二:配置Sqoop环境切换目录:cd/usr/local/src/sqoop/conf复制sqoop-env-template.sh模板:cpsqoop-env-template.shsqoop-env.sh编辑文......
  • Hive学习之抽样(Sampling)
    当数据量特别大时,对全体数据进行处理存在困难时,抽样就显得尤其重要了。抽样可以从被抽取的数据中估计和推断出整体的特性,是科学实验、质量检验、社会调查普遍采用的一种经济有效的工作和研究方法。    Hive支持桶表抽样和块抽样,下面分别学习。所谓桶表指的是在创建表时使用......
  • 大数据Spark “蘑菇云”行动第93课:Hive中的内置函数、UDF、UDAF实战
     大数据Spark“蘑菇云”行动第93课:Hive中的内置函数、UDF、UDAF实战selectsum_all(age)from...hive>usedefault;showtables;select*fromemployeeforhaving;一:udf编码importorg.apache.hadoop.hive.ql.exec.UDF;importorg.apache.hadoop.io.Text;pub......
  • 第92课作业,通过SerDes的方式对一下数据进行Hive的存储和查询操作
     第92课作业,通过SerDes的方式对一下数据进行Hive的存储和查询操作: 0^^Hadoop^^America^^5000|8000|12000|level8^^male1^^Spark^^America^^8000|10000|15000|level9^^famale2^^Flink^^America^^7000|8000|13000|level10^^male3^^Hadoop^^America^^9000|11000|12000|level10^^f......
  • hive(一)
    数据仓库数据仓库,英文名称为DataWarehouse,可简写为DW。是一个用于存储,分析,报告的数据系统.数据仓库的目的是构建面向分析的集成化数据环境,分析结果为企业提供决策支持.数据库和数据仓库区别数据库和数据仓库的区别实际就是OLTP和OLAP的区别OLTP系统的典型应用就是RDBMS,也......
  • HIVE跨集群迁移
    查看mysql使用端口ps-ef|grepmysqlss-antp|grep[ps查出来的pid]停止HIVE写入服务创建备份路径mkdir-p/root/hivebackup/执行备份数据库命令:(在目标集群执行)mysqldump-uroot-pPassword-h1.1.1.1-P3306--databaseshive_prode>/root/jws/hiveba......
  • impala jdbc导出hive数据字典
    业务需求太多了,给完整导出为html文件,以及之前搞的publicstaticvoidmain(String[]args)throwsException{kerberos();}publicstaticvoidkerberos(){URLresource=Thread.currentThread().getContextClassLoader().getResource("");......
  • Mac安装Sqoop
    一:简介Sqoop是一款用于Hadoop(Hive)与关系型数据库(mysql等)间进行数据的传递的ETL工具。二:安装sqoop1.安装sqoopbrewinstallsqoop2.配置环境变量Hadoop,Hive,HBaseandZooKeepermustbeinstalledandconfiguredforSqooptowork.vi~/.bash_profileexportZOOKEEPER_H......