首页 > 其他分享 >hive报错Execution Error, return code 2 from org.apache.hadoop.hive.ql.exec.mr.MapRedTask

hive报错Execution Error, return code 2 from org.apache.hadoop.hive.ql.exec.mr.MapRedTask

时间:2024-09-24 12:50:04浏览次数:13  
标签:code exec hadoop hive 报错 apache org ql

问题:查看hive日志

进入日志文件下 查看hiveserver2.log

我的hive日志在如下文件夹下:

cd /var/log/my_hive_log

如果日志中显示如下错误:

Maximum was set to 100 partitions per node, number of dynamic partitions on this node: 101

这个错误信息表明在某个节点上动态生成的分区数量超过了设置的最大分区数限制。每个节点被设置为最多可以有100个分区,但是当前节点上却生成了101个分区。

Caused by: org.apache.hadoop.hive.ql.metadata.HiveFatalException: [Error 20004]: Fatal error occurred when node tried to create too many dynamic partitions. The maximum number of dynamic partitions is controlled by hive.exec.max.dynamic.partitions and hive.exec.max.dynamic.partitions.pernode. Maximum was set to 100 partitions per node, number of dynamic partitions on this node: 101
	at org.apache.hadoop.hive.ql.exec.FileSinkOperator.getDynOutPaths(FileSinkOperator.java:1190)
	at org.apache.hadoop.hive.ql.exec.FileSinkOperator.process(FileSinkOperator.java:938)
	at org.apache.hadoop.hive.ql.exec.vector.VectorFileSinkOperator.process(VectorFileSinkOperator.java:111)
	at org.apache.hadoop.hive.ql.exec.Operator.vectorForward(Operator.java:966)
	at org.apache.hadoop.hive.ql.exec.Operator.forward(Operator.java:939)
	at org.apache.hadoop.hive.ql.exec.vector.VectorSelectOperator.process(VectorSelectOperator.java:158)
	at org.apache.hadoop.hive.ql.exec.Operator.vectorForward(Operator.java:966)
	at org.apache.hadoop.hive.ql.exec.Operator.forward(Operator.java:939)
	at org.apache.hadoop.hive.ql.exec.TableScanOperator.process(TableScanOperator.java:125)
	at org.apache.hadoop.hive.ql.exec.vector.VectorMapOperator.process(VectorMapOperator.java:889)
	... 10 more

 解决方案:

在运行sql命令前运行以下命令即可:

set hive.exec.max.dynamic.partitions.pernode=10000;

标签:code,exec,hadoop,hive,报错,apache,org,ql
From: https://blog.csdn.net/m0_57764570/article/details/142486446

相关文章

  • VS Code远程调试Nodejs项目
    本文介绍了如何配置VSCode进行远程开发,包括在Ubuntu环境中开启SSH服务,Windows上安装RemoteDevelopment插件,以及设置VSCode进行远程Node.js项目的断点调试。此外,还详细讲解了在Windows和Linux之间设置SSH免密登录的步骤,通过生成秘钥对并将其添加到Linux的authorized_keys文件中,实......
  • Leetcode 43. 字符串相乘
    1.题目基本信息1.1.题目描述给定两个以字符串形式表示的非负整数num1和num2,返回num1和num2的乘积,它们的乘积也表示为字符串形式。注意:不能使用任何内置的BigInteger库或直接将输入转换为整数。1.2.题目地址https://leetcode.cn/problems/multiply-strings/descripti......
  • LeetCode 1014. 最佳观光组合
    题目简介:给你一个正整数数组 values,其中 values[i] 表示第 i 个观光景点的评分,并且两个景点 i 和 j 之间的 距离 为 j-i。一对景点(i<j)组成的观光组合的得分为 values[i]+values[j]+i-j ,也就是景点的评分之和 减去 它们两者之间的距离。返回一对观......
  • 【CTF Web】BUUCTF SQLi-LABS Page-1(Basic Challenges) Less-3 Writeup(SQL注入+GET请
    sqli-labs1点击启动靶机。SQLi-LABSPage-1(BasicChallenges)解法发送GET请求,id作为参数。http://b38e0f15-7e65-40e6-abf2-fc99e50b38e4.node5.buuoj.cn/Less-3/?id=1返回了用户名和密码。?id=1'发生报错。闭合括号:?id=1');--+正常输出。判断......
  • 【CTF Web】BUUCTF SQLi-LABS Page-1(Basic Challenges) Less-4 Writeup(SQL注入+GET请
    sqli-labs1点击启动靶机。SQLi-LABSPage-1(BasicChallenges)解法发送GET请求,id作为参数。http://b38e0f15-7e65-40e6-abf2-fc99e50b38e4.node5.buuoj.cn/Less-4/?id=1返回了用户名和密码。?id=1'正常输出。?id=1"发生报错。构造闭合:?id=1");--......
  • AtCoder Beginner Contest 372(4/7)
    比赛链接:https://atcoder.jp/contests/abc372开头:过去一个多月了,虽然暑假就上了蓝,但感觉自已一直还没达到蓝的水准,网络赛也打了两场,打的一般,开学之后一直比较忙,现在稳定了下来,接下来打算尽量每周3-4篇atcoder的题解吧,这是这周第一篇,虽然有点水(A.delete.思路:签......
  • .net core 使用QRCoder在linux 下生成带logo的二维码
    1使用nuget安装QRCoder、SkiaSharp、SkiaSharp.NativeAssets.Linux.NoDependenciespublicIActionResultQrCode(stringcontent,intpixel){content=HttpUtility.UrlDecode(content);stringlogoPath=Path.Combine(AppContext.BaseDirectory,"wwwroot"......
  • xcode 约束报错
    报错信息如下MakeasymbolicbreakpointatUIViewAlertForUnsatisfiableConstraintstocatchthisinthedebugger.ThemethodsintheUIConstraintBasedLayoutDebuggingcategoryonUIViewlistedin<UIKitCore/UIView.h>mayalsobehelpful.2024-09-2408:56:2......
  • ridcp_pytorch基于codebook先验知识的图像去雾模型
    RIDCP论文RIDCP:RevitalizingRealImageDehazingviaHigh-QualityCodebookPriorshttps://arxiv.org/pdf/2304.03994.pdf模型结构ridcp先使用Encoder对输入进行特征提取得到Z,特征Z流向Gvq以及G,流向Gvq的Z被替换(CHM方法)为码本中的特征Zvq,然后Zvq通过Gvq获取各个层的......
  • Python可视化过程中.pictures.add这里一直报错,不明原因
    大家好,我是Python进阶者。一、前言前几天在Python白银交流群【沐子山树】问了一个Python可视化的问题,问题如下:importmatplotlib.pyplotasplt#创建一个简单的图表fig,ax=plt.subplots()ax.plot([1,2,3,4])ax.set_ylabel('somenumbers')#保存图表为PNG文件temp......