本周，学习了大数据相关的知识，首先先是在中国大学mood上看了会课程，了解了基本的概念，然后进行配置，然后配置过程太简略，一直配置失败，就在b站上找相关的课程，在黑马程序员那里看的有点人少，毕竟出来bug也不知怎么解决，然后就找到了b站的尚硅谷的大数据进行学习，学习了几天，还行，至少是配置全了，出个几个空格导致的bug，还算顺利。然后周六周日准备了一下的初二初三的课程，教初中生几天的预科，大概是可以讲将近两章，教数学物理数学物理化学，看着不难，不知到教的怎么样。
以下是我本周的知识点总结：关于hadoop的学习记下的一些笔记：
1.整体启动/停止HDFS
start-dfs.sh
stop-dfs.sh
在此sbin目录下：
[atguigu@hadoop102 hadoop-3.1.3]$ sbin/start-dfs.sh
[atguigu@hadoop102 hadoop-3.1.3]$ sbin/stop-dfs.sh
2.整体启动/停止YARN
同样在以上目录下：
[atguigu@hadoop103 hadoop-3.1.3]$ sbin/start-yarn.sh
[atguigu@hadoop103 hadoop-3.1.3]$ sbin/stop-yarn.sh
注意：需在配置ResourceManager 上进行启动和停止yarn
3.对各个服务组件逐一启动/停止(尽量不会使用）
分别启动/停止HDFS组件
hdfs --daemon start datanode/namenode/secondarynamenode
hdfs --daemon stop datanode/namenode/secondarynamenode
停止启动YARN
yarn --daemon start/stop resourcemanager/nodemanager
4.编写脚本进行实现
进入[atguigu@hadoop102 ~]$ cd bin路径
新建脚本：[atguigu@hadoop102 bin]$ vim myhadoop.sh
脚本内容:
#!/bin/bash
if [ $# -lt 1 ]
then
echo "No Args Input..."
exit ;
fi
case $1 in
"start")
echo " =================== 启动 hadoop 集群 ==================="
echo " --------------- 启动 hdfs ---------------"
ssh hadoop102 "/opt/module/hadoop-3.1.3/sbin/start-dfs.sh"
echo " --------------- 启动 yarn ---------------"
ssh hadoop103 "/opt/module/hadoop-3.1.3/sbin/start-yarn.sh"
echo " --------------- 启动 historyserver ---------------"
ssh hadoop102 "/opt/module/hadoop-3.1.3/bin/mapred --daemon start historyserver"
;;
"stop")
echo " =================== 关闭 hadoop 集群 ==================="
echo " --------------- 关闭 historyserver ---------------"
ssh hadoop102 "/opt/module/hadoop-3.1.3/bin/mapred --daemon stop
historyserver"
echo " --------------- 关闭 yarn ---------------"
ssh hadoop103 "/opt/module/hadoop-3.1.3/sbin/stop-yarn.sh"
echo " --------------- 关闭 hdfs ---------------"
ssh hadoop102 "/opt/module/hadoop-3.1.3/sbin/stop-dfs.sh"
;;
*)
echo "Input Args Error..."
;;
esac
赋予权限：[atguigu@hadoop102 bin]$ chmod 777 myhadoop.sh
具体操作：
配合jps脚本使用查看所有服务器启动情况：
新建脚本：
[atguigu@hadoop102 bin]$ vim jpsall
脚本内容：
#!/bin/bash
for host in hadoop102 hadoop103 hadoop104
do
echo =============== $host ===============
ssh $host jps
done
授权脚本：[atguigu@hadoop102 bin]$ chmod 777 jpsall
启动脚本示例：
以下是关于hdfs的笔记：
HDFS的Shell操作
基本语法
hadoop fs 具体命令/hdfs dfs 具体命令
常用命令
创建/sanguo 文件夹：
[atguigu@hadoop102 hadoop-3.1.3]$ hadoop fs -mkdir /sanguo
上传
-moveFromLocal：从本地剪切粘贴到 HDFS
[atguigu@hadoop102 hadoop-3.1.3]$ hadoop fs -moveFromLocal ./shuguo.txt /sanguo // 当前文件夹下的shuguo.txt文件 hdfs集群目录
-copyFromLocal：从本地文件系统中拷贝文件到 HDFS 路径去
hadoop fs -copyFromLocal weiguo.txt /sanguo
-put：等同于 copyFromLocal，生产环境更习惯用 put
[atguigu@hadoop102 hadoop-3.1.3]$ hadoop fs -put ./wuguo.txt /sanguo
-appendToFile：追加一个文件到已经存在的文件末尾
[atguigu@hadoop102 hadoop-3.1.3]$ vim liubei.txt 输入： liubei [atguigu@hadoop102 hadoop-3.1.3]$ hadoop fs -appendToFile liubei.txt /sanguo/shuguo.txt
下载
-copyToLocal：从 HDFS 拷贝到本地
[atguigu@hadoop102 hadoop-3.1.3]$ hadoop fs -copyToLocal /sanguo/shuguo.txt ./ // /sanguo/shuguo.txt HDFS下的目录 ./本地文件夹
-get：等同于 copyToLocal，生产环境更习惯用 get
[atguigu@hadoop102 hadoop-3.1.3]$ hadoop fs -get /sanguo/shuguo.txt ./shuguo2.txt
HDFS直接操作
-ls: 显示目录信息
[atguigu@hadoop102 hadoop-3.1.3]$ hadoop fs -ls /sanguo
-cat：显示文件内容
[atguigu@hadoop102 hadoop-3.1.3]$ hadoop fs -cat /sanguo/shuguo.txt
-chgrp、-chmod、-chown：Linux 文件系统中的用法一样，修改文件所属权限
[atguigu@hadoop102 hadoop-3.1.3]$ hadoop fs -chmod 666 /sanguo/shuguo.txt [atguigu@hadoop102 hadoop-3.1.3]$ hadoop fs -chown atguigu:atguigu /sanguo/shuguo.txt
-mkdir：创建路径
[atguigu@hadoop102 hadoop-3.1.3]$ hadoop fs -mkdir /jinguo
-cp：从 HDFS 的一个路径拷贝到 HDFS 的另一个路径
[atguigu@hadoop102 hadoop-3.1.3]$ hadoop fs -cp /sanguo/shuguo.txt /jinguo
-mv：在 HDFS 目录中移动文件
[atguigu@hadoop102 hadoop-3.1.3]$ hadoop fs -mv /sanguo/wuguo.txt /jinguo [atguigu@hadoop102 hadoop-3.1.3]$ hadoop fs -mv /sanguo/weiguo.txt /jinguo
-tail：显示一个文件的末尾 1kb 的数据
[atguigu@hadoop102 hadoop-3.1.3]$ hadoop fs -tail /jinguo/shuguo.txt
-rm：删除文件或文件夹
[atguigu@hadoop102 hadoop-3.1.3]$ hadoop fs -rm /sanguo/shuguo.txt
-rm -r：递归删除目录及目录里面内容
[atguigu@hadoop102 hadoop-3.1.3]$ hadoop fs -rm -r /sanguo
-du 统计文件夹的大小信息
[atguigu@hadoop102 hadoop-3.1.3]$ hadoop fs -du -s -h /jinguo 27 81 /jinguo [atguigu@hadoop102 hadoop-3.1.3]$ hadoop fs -du -h /jinguo 14 42 /jinguo/shuguo.txt 7 21 /jinguo/weiguo.txt 6 18 /jinguo/wuguo.tx
-setrep：设置 HDFS 中文件的副本数量
[atguigu@hadoop102 hadoop-3.1.3]$ hadoop fs -setrep 10 /jinguo/shuguo.txt //这里设置的副本数只是记录在 NameNode 的元数据中，是否真的会有这么多副本，还得 //看 DataNode 的数量。因为目前只有 3 台设备，最多也就 3 个副本，只有节点数的增加到 10 //台时，副本数才能达到 10。
还有一些的备课的的笔记。
标签：txt,每周,假期,3.1,hadoop,第五,fs,atguigu,hadoop102 From： https://www.cnblogs.com/JIANGzihao0222/p/17576052.html