首页 > 数据库 >数据库:Hadoop实验

数据库:Hadoop实验

时间:2023-06-10 20:35:02浏览次数:40  
标签:bin hdfs czy 数据库 Hadoop dfs hadoop 实验

Hadoop实验

  1. 先单机下载、安装hadoop,启动:

    bin/hdfs namenode -format
    sbin/start-all.sh
    
image-20230420185642321
  1. 腾讯云新建三个机器,分别在两地(香港二区、香港三区),分别命名为master、slave1、slave2。

  2. 修改四个配置文件

    运行hadoop:

image-20230427185622728

分别查看三台机器运行状态:

image-20230427191104719 image-20230427190323140 image-20230427190345849

查看HDFS运行状态:

image-20230427193451215

通过hdfs创建czy文件夹、上传文件

bin/hdfs dfs -mkdir -p /user/ubuntu
bin/hdfs dfs -mkdir czy
bin/hdfs dfs -put ./etc/hadoop/core-site.xml czy
image-20230427185947058

通过dfs将测试文件上传,查看该文件:

image-20230427194145395

ps:每次重启hadoop,需要把/usr/local/hadoop/tmp/dfs/data下的所有内容删掉,因为hadoop不会自己覆盖而是报错

标签:bin,hdfs,czy,数据库,Hadoop,dfs,hadoop,实验
From: https://www.cnblogs.com/czy-blogs/p/17471887.html

相关文章

  • 数据库:SSH远程操作数据库实验
    SSH实验注册两台虚拟机,其中一台命名为Client,另一台命名为Server。并且首先更新软件,安装必需的vim和openssh-server软件:sudoapt-getupdatesudoapt-getinstallvimsudoapt-getinstallopenssh-server设置ssh:首先生成秘钥:cd~/.sshssh-keygen-trsa-C"[email protected].......
  • 物理备库在open数据库时报错ORA-01190
    问题描述:物理备库在open数据库时报错ORA-01190,如下所示:数据库:oracle11.2.0.41、异常重现SYS@orcldg>alterdatabaseopen;alterdatabaseopen*ERRORatline1:ORA-10458:standbydatabaserequiresrecoveryORA-01190:controlfileordatafile1isfrombeforeth......
  • 中国红 实验七 综合软件项目案例 简单高校学生管理软件
    实验七:综合软件项目案例简单高校学生管理软件项目内容班级博客链接2023春软件工程2020级计算机科学与技术本次作业要求链接实验七:综合软件项目案例团队名称中国红团队的课程学习目标完成综合软件项目案例,总结软件开发相关经验这个作业在哪些方面帮助团......
  • Docker实验
    Docker实验1)写出你创建镜像、运行容器的所有操作,要求可复现(即遵循这些操作步骤,可以达到与你相同的实验结果)sudoyuminstalldocker-cedockerversionsudoservicedockerstartdockerversionsudodockerrunhello-worldsudodockerps-asudousermod–......
  • OpenMP实验
    OpenMP实验矩阵乘法的OpenMP实现及性能分析1)运行并测试矩阵相乘程序测试结果:并行加速比表格:线程数1246810121416运行时间(预期)0.0880.0440.0220.0150.0110.0080.0070.0060.0055运行时间(实际)0.0880.0460.0260.0230.0280.0420.0450.0460......
  • 编译原理:词法分析实验
    实验二词法分析实验目的根据PL/0语言的文法规范,编写PL/0语言的词法分析程序。通过设计调试词法分析程序,实现从源程序中分出各种单词的方法;加深对课堂教学的理解;提高词法分析方法的实践能力。掌握从源程序文件中读取有效字符的方法和产生源程序的内部表示文件的法。掌......
  • 实验七
     task4#include<stdio.h>#include<stdlib.h>#include<string.h>#defineN5#defineM80intmain(){inti,k=0;charch;FILE*fp;fp=fopen("data4.txt","r");if(fp==NULL){printf("......
  • 实验六 turtle绘图与python库应用编程体验
    task1_1实验源码:fromturtleimport*defmove(x,y):'''画笔移动到坐标(x,y)处'''penup()goto(x,y)pendown()defdraw(n,size=100):'''绘制边长为size的正n变形'''foriinrange(n):......
  • 202308-啊对对队 实验七 综合软件项目案例
    项目内容班级博客链接2023春软件工程2020级计算机科学与技术本次作业要求链接实验七综合软件项目案例团队名称啊对对队团队课程学习目标1.练习用例图、类图、顺序图、状态图等UML建模技术在软件开发过程中的用途;2.掌握软件项目的数据库逻辑结构设计方法;3.......
  • .locked加密勒索数据库级别恢复---惜分飞
    联系:手机/微信(+8617813235971)QQ(107644445)标题:.locked加密勒索数据库级别恢复作者:惜分飞©版权所有[未经本人同意,不得以任何形式转载,否则有进一步追究法律责任的权利.]有客户数据库被加密成.locked结尾的扩展名,数据库无法正常使用对应的READ_ME1.html文件中信息类似:s......