首页 > 其他分享 >HDFS基本介绍

HDFS基本介绍

时间:2023-12-19 11:36:06浏览次数:29  
标签:基本 HDFS app hadoop 介绍 Hadoop HOME HADOOP

    HDFS作为Hadoop的核心知识,是必须要掌握的,写这篇文章就是总结出HDFS的最核心知识点,那就开始吧!

    

   一:什么是HDFS

        Hadoop Distributed File System,简称 HDFS,是一个分布式文件系统。HDFS 有着高容错性(fault-tolerent)的特点,并且设计用来部署在低廉的(low-cost)硬件上。而且它提供高吞吐量(high throughput)来访问应用程序的数据,适合那些有着超大数据集(large data set)的应用程序。

     注意:分布式文件系统能够横跨N个机器

二:HDFS的基本架构

    HDFS是一个master/slave的架构模式,其中,Namenode充当了master的角色,Datanodes充当了slave的角色。

三:Hadoop之HDFS安装(以本人电脑上的目录结构为例)

下载安装包,并​ 解压:~/app ​

添加HADOOP_HOME/bin到系统环境变量 ​

修改Hadoop配置文件: ​ hadoop-env.sh(在/home/hadoop/app/hadoop-2.6.0-cdh5.15.1/etc/hadoop目录里) ​ export JAVA_HOME=/home/hadoop/app/jdk1.8.0_91

其他配置:

在core-site.xml中:
<property>
  <name>fs.defaultFS</name>
  <value>hdfs://hadoop000:8020</value>
</property>

在hdfs-site.xml中:

<property>
  <name>dfs.replication</name>
  <value>1</value>
</property>

<property>
  <name>hadoop.tmp.dir</name>
  <value>/home/hadoop/app/tmp</value>
</property>

在slaves中:
hadoop000

在 ~/.bash_profile里配置HADOOP_HOME,然后:source ~/.bash_profile

 

四:启动HDFS

$HADOOP_HOME/sbin/start-dfs.sh

 

 

 

 

标签:基本,HDFS,app,hadoop,介绍,Hadoop,HOME,HADOOP
From: https://www.cnblogs.com/tianpan666/p/17913289.html

相关文章

  • HDFS命令行操作
    HDFS的命令行操作很多,但是常用的也就那么几个,现在就总结一下吧:HDFS的常用命令:hadoopfs-ls/查看hdfs根目录hadoopfs-put源文件目标地址将本地文件存储到hdfs目标地址hadoopfs-cp源目标拷贝源到目标hadoopfs-copyFromLocalhadoopfs-moveFro......
  • 制造业CRM系统功能好用吗?制造业CRM系统介绍
      制造业CRM管理系统的线索、订单、销售、营销功能都在制造业务环节中起着重要作用。制造业CRM系统有什么好处?制造业CRM的五大优势。在团队协作优化销售策略等方面都发挥着重要作用。一、提高线索利用率功能:线索管理CRM系统助力企业梳理整合来自官网、广告、第三方媒体等不......
  • *Python基本数据类型
    Python教程如果在定义函数时,*代表收集参数,**代表收集关键字参数。如果在调用函数时,*和**都是分配参数用的在Python中,**有两个主要的用途:作为数学运算符,表示幂运算。例如,2**3的结果是8,因为2的3次方等于8。在函数调用和定义中,表示关键字参数的字典。例如,你可以使用**来将......
  • Kafka核心逻辑介绍
    1、概念Kafka是最初由Linkedin公司开发,是一个分布式、支持分区的(partition)、多副本的(replica)分布式消息系统(kafka2.8.0版本之后接触了对zk的依赖,使用自己的kRaft做集群管理,新增内部主体@metadata存储元数据信息),它的最大的特性就是可以实时的处理大量数据以满足各种需求场景:比如基......
  • 托管班如何提高家长主动的转介绍率?
      托管班运营中会遇到很多问题,招生、续班率等都是机构很重视的问题,转介绍是机构花费时间、精力等比较低的一种招生方法,并且也更有说服力,那托管班如何提高家长转介绍率?  教学质量是根本,但是周期较长,在营销上,适合在学员进入培训机构的几节课就能转介绍,在开始的体验,不仅是学员对老......
  • 数据结构之<图>的介绍
    图(Graph)的概念:在数据结构中,图是由节点(顶点)和边组成的非线性数据结构。图用于表示不同对象之间的关系,其中节点表示对象,边表示对象之间的连接或关系。1.图的基本组成元素:节点(Vertex或Node):表示图中的实体或对象。节点可以有不同的属性和值。在某些情况下,节点也被称为顶点。边(Edge):......
  • Newton-Leibniz公式、可积的充分必要条件、积分中值定理、微积分基本定理
    ......
  • C# 10 完整特性介绍
    C#10完整特性介绍hez2010coreclrcontributor​关注他 你经常看C#话题的内容前言距离上次介绍C#10的特性已经有一段时间了,伴随着.NET6的开发进入尾声,C#10最终的特性也终于敲定了。总的来说C#10的更新内容很多,并且对类型系统做了不小......
  • Java、Kotlin、Flutter、HarmonyOS基本数据类型
    一.Java数据类型基本数据类型整型(byte、short、int、long)、浮点型(float、double)、字符型(char)和布尔型(boolean)1.1整数类型整型是Java中最基本的数据类型之一。它可以用来存储整数值,包括正数、负数和0。Java中的整型有四种类型:byte、short、int和long。byte:占用1个字节,范围从-128......
  • H3CNA-RS+——网络设备文件管理及网络设备基本调试
    网络设备文件管理及网络设备基本调试网络设备文件管理设备存储器ROM:只读存储器,存储了Bootrom程序在Bootrom模式下可以查看密码RAM:内存,存储当前正在运行的数据,断电数据会丢失Flash:闪存,永久存储操作系统文件、配置文件等数据设备的配置文件当前配置:current-configuration设备当前正......