首页 > 其他分享 >1-Hadoop搭建单机模式

1-Hadoop搭建单机模式

时间:2023-09-15 10:32:35浏览次数:44  
标签:programfile 单机 jar hadoop Hadoop 2.9 output input 搭建

一、在Hadoop的安装目录下,创建input目录

cd /opt/programfile/hadoop-2.9.2/etc/hadoop mkdir input

二、拷贝xml文件到input目录下

cp *.xml input/

三、执行Hadoop job

  • job是使用hadoop自带的样例,在input中统计含有dfs的字符串。

#切换到share目录 cd /opt/programfile/hadoop-2.9.2/share/hadoop/mapreduce #启动jar hadoop jar hadoop-mapreduce-examples-2.9.2.jar grep file:///opt/programfile/hadoop-2.9.2/etc/hadoop/input output 'dfs[a-z.]+'

  • 查看输出结果

hadoop fs -cat output/*

  • 从结果中可以看出文件中出现dfs有三次
  • 第二种查看output文件日志,将输出文件从分布式文件系统拷贝到本地文件系统查看:

hadoop fs -get output output


标签:programfile,单机,jar,hadoop,Hadoop,2.9,output,input,搭建
From: https://blog.51cto.com/u_16111396/7478036

相关文章

  • 本机hadoop version命令报错--JAVA_HOME is not set问题的解决
    问题描述输入hadoopversion命令显示JAVA_HOME没有配置,但是本机的jdk配置正常!问题解决编辑hadoop/etc/hadoop目录下的hadoop-env.cmd文件:将JAVA_HOME的值换成本机的绝对路径;保存退出,再次尝试:......
  • 配置本机的hadoop环境
    1、下载对应的hadoop的压缩包和winutils包并将下载好的包解压到自己对应的目录下面;2、添加环境变量在系统变量那里新增hadoop的本机路径:在系统变量的Path里面新增:(C:\ProgramFiles\NVIDIACorporation\NsightCompute2019.5.0;C:\ProgramFiles\NVIDIAGPUComputingToo......
  • 从零开始使用vue2+element搭建后台管理系统(实现按钮权限控制)
    思路:登录后请求用户信息接口,后端返回用户信息中包括权限数组,数据格式belike: 前端对用户信息进行存储(对没错又是假接口)://获取用户信息asyncgetUserInfo(mobile){try{this.loading=true;constres=awaitgetInfo(mobile);......
  • XXL-JOB快速搭建
    1.XXL-JOB简介XXL-JOB是一个分布式任务调度平台,其核心设计目标是开发迅速、学习简单、轻量级、易扩展。现已开放源代码并接入多家公司线上产品线,开箱即用。它的有两个核心模块,一个模块叫做调度中心,另外一个模块叫做执行器,它把任务调度和任务执行分成两个部分。这样调度模块只......
  • ARM平台搭建KVM虚拟化
     一、  硬件环境硬件配置:CPU:Phytium,S2500/64C00架构: aarch64内存:256G系统盘:480G*1数据盘:12*4T系统镜像: Kylin-Server-10-SP1-Release-Build01-20201109-JUN-arm64.iso二、基础环境配置检查机器是否支持虚拟化arm架构:ls-l/dev/kvmls/sys/module/kvm关闭防火墙......
  • (Windows Hadoop环境配置)IDEA:ERROR util.Shell: Failed to locate the winutils bina
    ERRORutil.Shell:Failedtolocatethewinutilsbinaryinthehadoopbinarypath出错原因:还没有在windows上配置hadoop环境变量。解决:在windows上配置hadoop环境变量参考:windows下缺少windutils.exe和hadoop.dll的解决方法_winuntil.exe_许你常欢的博客-CSDN博客下载好对......
  • 培养六大习惯,让你的可视化大屏搭建更高效!
    每个用户的搭建习惯都各有不同,对于大屏的细节处理模式也多种多样,但是养成良好的搭建习惯可以提高工作效率,和降低沟通成本。在现有的可视化经验分享中,很少看见有人写一些关于可视化搭建习惯的内容,这里我们将易知微可视化设计团队过往的经验进行总结,希望能够帮到用户更高效的搭建可视......
  • 【Tomcat】【源码一】Tomcat 源码分析环境搭建
    1 前言ApacheTomcat®软件是JavaServlet、JavaServer页面、Java语言表达式和JavaWebSocket技术的开源实现。JavaServlet、JavaServer页面、Java表达式语言和JavaWebSocket规范都是在Java社区进程下开发的。ApacheTomcat软件是在开放和参与的环境中开发的,并在A......
  • MySQL+MHA搭建&&性能优化
    MHA基础概念MHAMHA(MasterHighAvailability)是一套优秀的MySQL高可用环境下故障切换和主从复制的软件。MHA的出现就是解决MySQL单点的问题。MySQL故障切换过程中,MHA能做到0-30秒内自动完成故障切换操作。MHA能在故障切换的过程中最大程度上保证数据的一致性,以达到真正意义上......
  • 基于开源模型搭建实时人脸识别系统(二):人脸检测概览与模型选型
    续基于开源模型的实时人脸识别系统进行人脸识别首要的任务就是要定位出画面中的人脸,这个任务就是人脸检测。人脸检测总体上算是目标检测的一个特殊情况,但也有自身的特点,比如角度多变,表情多变,可能存在各类遮挡。早期传统的方法有HaarCascade、HOG等,基本做法就是特征描述子+滑窗+......