首页 > 其他分享 >暑假第二周总结

暑假第二周总结

时间:2023-07-15 16:13:32浏览次数:36  
标签:总结 HDFS 启停 分布式计算 YARN 第二周 暑假

  本周学习到的内容有HDFS集群启停命令,如何使用命令操作HDFS文件系统,并在DataGrip中安装了图形化Big Data Tools插件用于对HDFS中文件的操作,HDFS的存储原理及数据的读写流程;还学习了分布式计算,MapReduce用来做分布式计算,还有yarn,用来做资源的分配管理。YARN容器是从角色分配资源的手段;两个辅助角色,独立部署web应用代理提供安全保障,历史服务器记录历史信息。此外,我还完成了YARN集群的部署操作,YARN的启停命令;

标签:总结,HDFS,启停,分布式计算,YARN,第二周,暑假
From: https://www.cnblogs.com/ysk0904/p/17556269.html

相关文章

  • 第二周总结
      这周考驾照,本周在菜鸟教程上学习了Hadoop的概念。Hadoop整体设计Hadoop框架是用于计算机集群大数据处理的框架,所以它必须是一个可以部署在多台计算机上的软件。部署了Hadoop软件的主机之间通过套接字(网络)进行通讯。Hadoop主要包含HDFS和MapReduce两大组件,HD......
  • 助教工作总结(计算机组成原理)
    一、助教工作的具体职责和任务助教,顾名思义就是协助老师完成教学任务。这次的助教任务实际上是来自黄老师的邀请,我非常感谢福明老师的信任与对我的认可。这次助教任务的前期,黄老师问我有没有推荐担任助教的同学,我向黄老师推荐了几个我们级优秀的同学担任助教。后期我就和老师申请......
  • JPA + MySQL 开发总结
    本文为博主原创,转载请注明出处:org.springframework.data.jpa是SpringDataJPA框架中的一个包,用于简化与JPA(JavaPersistenceAPI)相关的开发任务。SpringDataJPA提供了一套强大且易于使用的功能,使得与数据库进行持久化操作更加便捷和高效。1.引入JPA,进行常规开发步骤......
  • 2023年第29周个人总结
    文档编辑机器+移动窗口变化率计算投标文档书写本周在公司主要对投标文档的修改:首先表格的脚注很重要,当多个表格在一起时,表格的脚注可以起到非常关键的作用,能够让读者快速弄懂该表格的含义。然后关于文档的错别字,自己写的文档自己是真的不可能能够读懂,所以可以采用通读一遍......
  • 暑假第一周总结
    本周我主要学习了Linux的安装和Shell语言的基础知识,并且遇到了一些困难。首先,我成功安装了Linux操作系统,并对其进行了初步的配置。通过这个过程,我对Linux的安装和基本操作有了更深入的了解,并学会了使用命令行进行各种操作。在学习Shell语言方面,我主要学习了Shell脚本的编写和执行......
  • 暑期第四周总结
    本周花在学习上的时间大概为21小时,花在代码上的时间大概为11小时。花在解决问题上的时间大概为4小时。本周,我完成了创建虚拟机,在虚拟机上完成了部署伪分布式的hdfs,在虚拟机上配置了java的环境变量,还有hadoop的环境变量,我完成了nosql数据库的学习,知道了nosql数据库和传统的关系型数......
  • 第一周总结
    周总结:自学Hadoop大数据技术本周我制定了一个目标,即通过自学来掌握Hadoop大数据技术。我认识到大数据技术对于现代企业和数据分析领域的重要性,因此决定投入时间和精力来深入了解和学习这一领域。在开始学习之前,我进行了一些基础准备工作,包括对分布式系统和数据存储的基本概念的了......
  • 2023.7.10-2023.7.17暑假第一周博客
    2023.7.10今天是暑假第一天,按照自己的计划,在这个假期我希望自己能够多学一些东西,毕竟自己已经上完了大二,马上就要进入大三,大学生活已经过半,在这两个月的事件中,我希望自己能对自己未来的职业有更充分的了解,同时对于大数据技术和数据的清洗,以及自己比较感兴趣的sovits和AI音乐方向......
  • 07.10~07.21 总结
    07.10T1一开始理解错题意,后来看样例才发现。觉得暴力是能过的,推了下两个圆的交点坐标,然后转换成了一个求最多覆盖的问题。先想了下权值线段树,发现做不到。然后想到扫描线的思想,就考虑把点排序,打上+1/-1标记。然后排序。但是一直被排序后初始点在结束点后面的情况给卡住,后面......
  • 快乐暑假第三周
    本周完成了对于大数据的初步学习,完成了对于Linux虚拟机得环境配置,主要完成了服务器的创建、固定ip、防火墙的关闭、HADOOP用户的创建、SSH免密、JDK部署等操作。只展示node1的图片,node2、node3步骤操作大致相同,不在展示。服务器的创建: 固定ip: 防火墙的关闭: HADOOP用......