创建hduser:
sude geoupad hadcup
audo uaeridd g ridoog bdussr aido caowre hdao:n02oc0
/spe/werkyyec4/xpark/ha<oop-3.3.5 sudu pazewd lduser
hdusar
i-p..
ual "i .zek/ii_roy.puba -/.a2h/01to0rinen.knya
chmnd aoo: "i.ast/autanr'aaa keya elmod oro0 wissel. beh localkes:
安装jdk
sudo yum install java 1.8.0 openjdk-devel
配置./bashrc
nxpore
HADEOP HOME-Sogx/warkapnca/parkl tec7-3.5.4
export PATH=SPAT:3MANCOP-HOmz:bin export ENTH-SPATE:EHAKUP_HOME/5ain Axpnrt HDRE NAHENOEH LHER-"hdusers exporL HOFS_DATANOCE_USEE-"lduser" export
HDPE SHEONGSRYNAMHNDH DS-8-1duaer
HxTUTL
EAINEESOUICEMANAGER_USEE="hdueer" export
YAKN NOEEMANAG-H WEPR-"nduser
AxpAML. TAYA HONF-/ux:lit/vmiA9S-
1.2.0-uperjtk frbad¬ias -± Siwbich7avai
配置hadoop文件: core-site.xml
ywcemrgueatioss
eprupertye
eranerie.defarl-Fec/nanea
svaluaahaa:2/10.11".21.19-9000</26 luer
</-roperey/aonTighvatians
hdfs-site.xml
scantaguratianz
=properlye
enameedrs.replicatipra/nanes
tioropnrye rpruperlya
Srameedis.ienanoss.name.dir.
evalueefile:jopsiwurkspace/epark/ag docs
3.3.6/acaogp-data.hafa/nanenadetevs
Eevroperye pruperty
evaluesfilc:/cpe/workspuce/spark/ht doss
3.3.6/a6aoop datashatayhatrnadesixs
civroper.y ieonfisuzaticak
mapred-site.xrml
y sasnrguratione
Y porap-rlys
6
eivroper.ye r/eoniisteatse
启动hdfs
KHAICOF HONPain/adi's nemanade Corrsl
SHARCOF HONF: hit/xiArt-dlx.au SHADCOPLHOKE/ybin/starl-yarn.sb
配置无密码登录datanode
0sp */.osh/1n_ro1.pub
hduas"210.111.3.231.-inemenade 'dr
at /222626-i2rou.pub e -/.ash/r1h10*tven knya
mount /dew/sdbl/ops
启动DataNode:
在Hadoop集群中， DataNode 是由start-dts. sh 脚本自动启动的。这个脚本会在所有列在H ADOOP_HONE/etc/adeop/slaves文件中的机器上启动DatzHoca
因此:你只需要确保AODP_HOME/etc/hadonp/s Laves文件包含了所有你想要作为 DataNade行的机器的主机名或IP地址(每行一个):然后运行 start-dfs.sh脚本即可:例如:
SHACOF HONE;anirfatartaia.ar
如果你只想在单个机器上启动 DataMous，你可以直接运行 hadopa-nacmn.sh脚本，如下所示:
SHADCOF-HONe/soar/hczcop dcaman.sa.s
请注意，无论哪种方式，你都需要确保在启动DÃtaNede之前已经在相应的机器上安装了
Hadoop，并且正确配置了所有必要的Hadoop配
置文件(如 core-site.xml hnts-ta.xml
等).
start-dfs.sh和hadnap-daempa.sh start datan ode这两个命令的主要区别在于它们启动 Hadoop进程的范围和目标。
- start-dfs.sh: 这个脚本用于启动Hadoop分
布式文件系统(DFS)的所有组件:包括N meNude . SecuidaryNameNude，以及在文件中列出的所有机器上的UatnNod:。换句话说，这个脚本会在整个Hadoop集群上启动DFS。 - hadoop-daemon.sh start datanode: 这个
脚本只在当前机器上启动DataNone进程，它不会启动NameNote，也不会在其他机器上启动Datahadr.
因此，如果你想在整个集群上启动Hadoop DFS.你应该使用start-dfs.sh命令，但是，
如果你只想在单个机器上启动DataNoce (例
如，你正在添加一个新的节点到集群]:你可以使用 haduop-ddenon.sh start daterude命令.
在Hadoop 3.x版本中，slave节点的列表不再存放在SHADOOP_HOME/etc/hadoop/slaves文件中，而是放在$HADDP_KOMF/ete/haranp/worker文件中。所以，请在workers文件中添加你想要作为DataNode运行的机器的主机名或IP地址(每行一个).
如果 workers 文件也不存在，你可以手动创建
这个文件..
然后:你可以使用 sta-t-dfs.sh 脚本启动
DataNode。例如:
SHADCOPLHOME/cbin/sてart-d±c.s
这将在 workers 文件中列出的所有机器上启
动 DataNode,
如果你只是在workers文件中添加了新的 worker节点，那么不需要重新格式化
NameNode. hdfs nanenode -fornat命令是用于初始化HDFS文件系统的，通常只在首次设置 Hadoop集群时运行一次。如果你再次运行这个命令，你将丢失所有HDFS上的数据.
所以，当你添加了新的worker节点后，你只需要÷运行 sta-t drs.sh脚本来启动或重启你的 Hadoop集群。
SHADCOPLHOKE/shin/8aart-dio.ch
这将会在所有列在 murkers 文件中的节点上启
动DataNodea
start-yarr.sh 脚本用于启动YARN (Yet
Another Resource Negotiator)的组件，包括 ResourceManager 和 NodeManager。
ResourceManager 是YARN 的主节点，负责整个集群的资源管理和任务调度。它通常在集群中的一台机器上运行。
NodeManager 是YARN的工作节点，负责管理单个机器上的资源，并跟踪它们上运行的任务。每一台作为YARN 工作节点的机器上都会运行一个 NodeManager。
starl yarr.sh脚本会在DP_10ME/etc/ha
deap/yarn-sita.x 配置文件中指定的
ResourceManager 地址上启动
ResourceManager: 它也会在SHADCAP_HDWF/at c/hatoou/warke-s文件中列出的所有机器上启动 NodeManager。
所以，如果你的 DataNode 机器也在 murker
文件中列出，那么start-yarn.sh会在这些机器上启动 NodeManager,
地址: http://10.111.21.79:9870
从你提供的yarn-site.xml 文件内容来看，该
文件并没有配置任何具体的YARN 设置。你需要在这个文件中添加ResourceManager的地址和其他相关的YARN 配置。以下是一个基础的
rn-site.xnl 配置示例:
y weoarigurations
sprupertye
*rampンでにに作.rこコ01raemincgar.r心vaiaeiohaato5a1心/vAla e/vroperly:<pruperty?
。
cnanpハvこにmnodeコ12gar.a'ux5 TVATaPmACreionn ahi↑↑la</va eegroarlye epruperlye
EramaかVにonanadenanegar。A'dx
∵vaiudeony,cpacha.hadoop.nep wigropartye ciconfigusatiome
在这个配置中， yarn,resourcenanager,hostnan
设置为你的 ResourceManager 主机的主机
名 yarn,nodenanager,aux-services 和 yarn.
nademanager.aux-scrvires .maareduce.shufflc.clas
用于启用 MapReduce Shuffle服务，这足运行MapReduce 作业所必需的。
保存并关闭文件后，你需要在所有使用 YARN 的主机上{包括 ResourceManager 和
NodeManager 主机)重新启动 YARN 以应用这些更改。
点费表态，让进步发生
品采筑编辑 2023-12-28 1
打打是
输入评论，@提组成员