首页 > 其他分享 >WordCount案例教学会遇到的bug

WordCount案例教学会遇到的bug

时间:2024-03-01 21:56:15浏览次数:13  
标签:WordCount hadoop 案例 报错 版本 output bug 集群

《尚硅谷大数据Hadoop教程,hadoop3.x搭建到集群调优,百万播放》P74-78 会遇到的bug

  • Windows机上未配置Hadoop_HOME环境变量。
    解决方法: 需要通过winutils来虚拟hadoop在windows的环境。
  • Windows的IDEA中的所创建wc项目的jdk版本,与Linux虚拟机上的版本不一致,导致在虚拟机集群上,hadoop jar wc.jar报错。
    解决方法:更换windows机IDEA中的JDK版本(需与hadoop集群中的java版本一致)。tips: java版本不可太高,不然hadoop的resourceManger会启动报错。
  • 当上方两个bug都不存在时,报错传入参数类型错误。 ​
    解决方法:需要更改WordCountDriver.class 中的方法参数。

    白色框中的args[0] and args[1];其实是一种泛型参数,在hadoop集群中运行时,需要传入hdfs的input路径和(未被创建的)output路径。
  • 在hadoop集群上运行wc.jar多次,导致output已被创建,但未删除,而报错:传入路径已存在。 ​
    解决方法: 删除output路径。(hadoop -rm -r $output_Path)

标签:WordCount,hadoop,案例,报错,版本,output,bug,集群
From: https://www.cnblogs.com/nikiL/p/18048044

相关文章

  • ems案例第一阶段 验证码生成
    验证码生成步骤:controller代码packagecom.baizhi.controller;importcom.baizhi.utils.VerifyCodeUtils;importorg.springframework.stereotype.Controller;importorg.springframework.web.bind.annotation.RequestMapping;importjavax.servlet.ServletOutputStrea......
  • Debug工具
              ......
  • JAVA案例:买飞机票
    packagecom.itheima.anli;publicclassAnli1{publicstaticvoidmain(String[]args){calculate(1000,8,"经济舱");System.out.println(calculate(1000,8,"经济舱"));}publicstaticdoublecalculate(doubleprice,i......
  • JAVA基础:引用类型参数传递的相关案例(数组的传递) 方法重载 return关键字
    packagecom.itheima.Method;publicclassMethod6{publicstaticvoidmain(String[]args){int[]arrs=newint[]{2,5,6,4};printArray(arrs);}publicstaticvoidprintArray(int[]arr){if(arr!=null){System.out......
  • JAVA基础:方法案例
    方法设计技巧:  packagecom.itheima.Method;publicclassMethod3{publicstaticvoidmain(String[]args){System.out.println(sum(10));pan(5);}publicstaticintsum(intn){intsum=0;for(inti=1;i<=......
  • Vuex系列之(五)求和案例
    求和案例//index.jsimportVuefrom'vue'importVuexfrom'vuex'Vue.use(Vuex)constactions={ //对于不包含业务逻辑也不进行Ajax请求转发的操作可以不经过actions,直接调用mutations中的方法即可 //jia(context,value){ // console.log('actions被调用了',conte......
  • grid布局小案例
    <style>.parent{display:grid;grid-template-columns:25%75%;/*grid-template-columns:1fr3fr;*//*同上*/height:100px;}.child{border:1pxsolidred;}</style><divclass="parent">......
  • 【BUG】axios 长数字精度丢失问题
    问题原因出现改问题是于javascript整数范围问题java中Long类型-2的63次方-2的63次方减去1但是javascript整数范围确没有那么大,导致Long数字过大前端精度丢失使用json-bigint解决安装npmijson-bigint#或yarnaddjson-bigintimportJSONbigfrom'json-......
  • 【专题】2024物联网平台产业研究报告及案例集报告PDF合集分享(附原数据表)
    原文链接:https://tecdat.cn/?p=35235原文出处:拓端数据部落公众号前三季度,我国软件业务收入达87610亿元,同比增长13.5%。统计范围涵盖软件及信息技术服务、集成电路设计、基础软件、工业软件、信息安全、工业互联网平台和数据服务等。软件业务收入由软件产品、信息技术服务、信息......
  • JAVA基础:数组常见案例
    1.数组找最值packagecom.itheima.arry;publicclassArrayDemo7{publicstaticvoidmain(String[]args){//掌握数组元素求最值int[]faceScore={15,9000,10000,20000,9500,-5};intmax=faceScore[0];for(inti=1;i<faceS......