首页 > 其他分享 >Oozie可能遇到的问题总结

Oozie可能遇到的问题总结

时间:2022-11-11 16:39:13浏览次数:44  
标签:总结 HDFS 配置文件 删除 遇到 mysql Oozie Hadoop oozie


1) Mysql权限配置

授权所有主机可以使用root用户操作所有数据库和数据表

mysql> grant all on *.* to root@'%' identified by '123456';
mysql> flush privileges;
mysql> exit;

2) workflow.xml配置的时候不要忽略file属性

3) jps查看进程时,注意有没有bootstrap

4) 关闭oozie

如果bin/oozied.sh stop无法关闭,则可以使用kill -9 [pid],之后oozie根目录下的oozie-server/temp/xxx.pid文件一定要删除。

5) Oozie重新打包时,一定要注意先关闭进程,删除对应文件夹下面的pid文件。(可以参考第4条目)

6) 配置文件一定要生效

起始标签和结束标签无对应则不生效,配置文件的属性写错了,那么则执行默认的属性。

7) libext下边的jar存放于某个文件夹中,导致share/lib创建不成功。

8) 调度任务时,找不到指定的脚本,可能是oozie-site.xml里面的Hadoop配置文件没有关联上。

9) 修改Hadoop配置文件,需要重启集群。一定要记得scp到其他节点。

10) JobHistoryServer必须开启,集群要重启的。

11) Mysql配置如果没有生效的话,默认使用derby数据库。

12) 在本地修改完成的job配置,必须重新上传到HDFS

13) 将HDFS中上传的oozie配置文件下载下来查看是否有错误。

14) Linux用户名和Hadoop的用户名不一致。

15)sharelib找不到,包括重新初始化oozie

如果部署oozie出错,修复执行,初始化oozie

1、停止oozie(要通过jps检查bootstrap进程是否已经不存在)

2、删除oozie-server/temp/*

3、删除HDFS上的sharelib文件夹

4、删除oozie.sql文件,删除Mysql中删除oozie库,重新创建

5、重新按照顺序执行文档中“初始化oozie"这个步骤

标签:总结,HDFS,配置文件,删除,遇到,mysql,Oozie,Hadoop,oozie
From: https://blog.51cto.com/u_12654321/5845127

相关文章

  • Oozie的使用
    1、案例一:Oozie调度shell脚本目标:使用Oozie调度Shell脚本分步实现:1)解压官方案例模板$tar-zxfoozie-examples.tar.gz 2)创建工作目录$mkdiroozie-apps/ 3)拷贝任......
  • linux shell字符串截取的详细总结(实用!)
    摘自:https://www.jb51.net/article/257063.htm 更新时间:2022年07月27日15:55:23 作者:悟空悟道  在开发的时候经常会自行写一些小的脚本,其中就用到截取字符串的......
  • (转)Hive中JOIN的用法以及一些注意事项总结。
    原文:https://www.dandelioncloud.cn/article/details/1529381803362369537Hive表连接的语法支持如下:join_table:table_referenceJOINtable_factor[join_condition]......
  • 系统稳定性建设实践总结
    目录​​开篇​​​​一、系统稳定性建设是指什么?​​​​二、为什么需要系统稳定性建设?​​​​三、系统稳定性建设为什么难?​​​​3.1面对的挑战比较大​​​​3.2系统......
  • Spring两大核心IOC容器、AOP的使用及总结
    Spring两大核心IOC容器、AOP的使用及总结​Spring框架体系中核心就是IOC容器,IOC容器中文直译为控制反转,顾名思义也就是将组件的控制权交给IOC容器,IOC容器负责管理......
  • mongoDB大数据查询遇到的问题
    有一个30亿量级数据的库,如何全量爬取并分析?因为量级过大无法一次性爬取至本地再分析,考虑使用limit().skip()混合的方法,一次读取1万条数据进行分析存储,30亿数据分成30万份后......
  • MySQL慢查询(下):问题解决,应用总结
    上篇回顾继上两篇:​​MySQL慢查询(上):你知道为啥会慢么?​​​​MySQL慢查询(中):正确的处理姿势,你get到了吗?​​在以上两篇内容中,我们一起探索了这些内容:SQL执行过程查询SQL为什......
  • 【转】内存的堆分配和栈分配 & 字符数组,字符指针,Sizeof总结
    堆和栈的区别一个由C/C++编译的程序占用的内存分为以下几个部分1、栈区(stack)—由编译器自动分配释放,存放函数的参数值,局部变量的值等。其操作方式类似于数据结构中的栈......
  • 电商营销总结
    营销于电商来讲好比市场上生意人的吆喝,讲的好自然来围观来选购的人就多,成交就多,流水多,可能赚钱的机会也多。电商营销可分为以下几类:基础营销互动营销店铺营销会员营......
  • 产品经理面试经验总结
    1.自我介绍篇background:假设面试官是约会中的心仪对象,自我介绍是为了展示优势,并给予未来在一起的确定性公式:我是谁+过去+优势+未来我是谁:面试官您好,我是......