这周完成了在服务器上部署hdfs集群,了解了hdfs的启停,以及一个图形化界面客户端bigdata的安装,可以在windows查看;还有nfs的挂载。我还了解了hdfs的存储原理,还有hadoop的第二个大框架mapreduce,用来做分布式计算,还有第三个大框架yarn,用来做资源的分配管理。YARN架构的两个核心角色:主:resourcemanager,从:nodemanager,YARN容器是从角色分配资源的手段;两个辅助角色,独立部署web应用代理提供安全保障,历史服务器记录历史信息。此外,我还完成了YARN集群的部署操作,YARN的启停命令;并且完成了mapreduce的单词计数程序在yarn上的运行。下周准备学hive
标签:总结,hdfs,启停,mapreduce,YARN,第二周,暑期,yarn From: https://www.cnblogs.com/liuxuefeng/p/17521276.html