首页 > 其他分享 >第四周总结

第四周总结

时间:2023-07-29 22:56:22浏览次数:36  
标签:总结 编程 Hadoop MapReduce 学习 集群 四周 节点

          这周没怎么学,考驾照来着。。。。

          这几周学习下来主要就是了解了以下几点:

  1. Hadoop基础知识:Hadoop的概念、体系结构和组件,包括Hadoop分布式文件系统(HDFS)和MapReduce计算模型。理解Hadoop的核心思想和设计原理是建立后续学习的基础。

  2. Hadoop生态系统:包括Hadoop生态系统中的其他工具和框架,例如Hive、Pig、HBase、Spark等。这些工具可以扩展和增强Hadoop的功能,帮助进行数据处理、查询、存储等操作。

  3. 安装和配置Hadoop集群:学习如何在本地搭建Hadoop集群,以便深入理解Hadoop的运行机制和管理,包括主节点和从节点的角色,以及配置文件的设置和调优。

  4. Hadoop编程:学习Hadoop的编程模型和编程接口,主要是MapReduce编程(使用Java或其他编程语言)。了解如何编写MapReduce任务,理解Mapper和Reducer的工作原理,以及如何将任务提交到Hadoop集群进行执行。 

        下周的学习任务主要就是MapReduce编程的内容。

标签:总结,编程,Hadoop,MapReduce,学习,集群,四周,节点
From: https://www.cnblogs.com/ZRGUGUGU818/p/17590728.html

相关文章

  • dp题型总结
    dp专项训练与题型总结(持续更新)目录dp专项训练与题型总结(持续更新)常见题型:(常规模型)刷题1:雷涛的小猫(我称此类题型为EZ模型)我的错在于:总结题型:刷题2:教主的花园(我称此类题型为影响模型)我的错在于:经验(变式)变式1:(NOIP模拟赛T1)变式2:(cfArrayPainting)总结题型:(影响模型)常见题型:(......
  • 7.29总结
    上午醒来选通识课,一开始打算只选一次网课的,下学期再选就够7分,后来发现可以一次性选完,那就一次性选完吧,反正怎么也得选,陆陆续续下了一天雨,也不愿学习,刷了几道题,做了几道报告,今晚有算法协会的组织的课,稍微了解了下,进去看了会。......
  • 本周总结
    过去一周做的事情开启了大数据的学习开端吧,进一步理解了大数据的相关概念;也对SpringBoot的语法概念进行了深度的理解和实践;同时,互联网+比赛的结果也得到了公布,结果不是很理想,果然A1类还得是A1类;遇到的困难大数据初学磨难听挺多的也,FinalShell的下载,浏览器不支持谁懂啊!Spring......
  • 一周总结(第五次)
    这一周将大道至简书籍看了一大半,准备在明天将一千字读后感完成,这周同样完成了pta固定题目集的l196道题目,并完成了对应的实验报告b部分。下周决定通过石铁大算法协会内举行的暑假训练的课程和拉练的题目进行补足一部分算法与数据结构的知识,以帮助自己更好的完成pta上l2的部分,以及......
  • 大数据总结
    这周我学了hive表数据导出、分区表的使用、分桶表创建和分桶表数据加载等,我在这期间也学了学java爬虫和ssm等。hive表数据导出   第二种,是放到了本地的不是放在HFDS里的分区表的使用  分桶表创建 分桶表数据加载 ......
  • 第五周训练总结
    比赛总结牛客多校第三场2/4/11AC:A、H补题:D、J总结:本场比赛我们三个人开题是4,3,3分配的,然后有谁发现签到题,就会找另外一个说一下思路,然后开始敲代码。这场比赛发现A题是签到题,然后就交给了cs来写,因为考虑的时候没有讨论好情况的分类,导致wa了几发,最后换wyf在cs的代码的基础上......
  • 第五周第七天进度总结
    2023年7月29日,今天我Java基础学到了P107-private,Javaweb学到了P95-bootstrap栅格系统-简述。课程选完了,这也意味着我即将进入新的阶段。对于选课,除了必修外,我尽量压缩了选课的数量,给自己留下一部分时间主攻必修课。更多时间我能有更多思考,希望有所感悟,有所成就。......
  • 第三周总结
    本周我主要学习了Hadoop中HDFS的Shell命令和API相关的知识。Hadoop分布式文件系统(HDFS)是Hadoop的核心组件之一,用于存储和处理大规模数据集。掌握HDFS的操作和API将有助于我们更好地管理和处理大数据。在学习HDFS的Shell命令方面,我了解了一些常用的命令和其功能。例如,通过"ls"命......
  • 暑期第六周总结
    本周,我花在学习上的时间大概为15小时,花在代码上的时间大概为12小时。花在解决问题上的时间大概为3小时。本周,我学习了函数的基础定义语法,并针对基础定义做了小小的练习,我了解了函数的传参,还有函数的返回值,并了解了函数的嵌套使用等等。这周我并没有遇到什么问题,学习python,要不放弃......
  • 人工智能学习之机器学习总结1
    人工智能里面分机器学习和深度学习,机器学习里有线性回归,逻辑回归,聚类,深度学习里有卷积神经网络和循环神经网和多层感知器首先学习了线性回归,其思想就是使用梯度下降算法(求导数)对a和b求导数,不断搜索迭代以求最好的线性a,b,使得预测值和真实值的差距越来越小,同时有损失函数MSE和R2......