首页 > 其他分享 >2024.07.13hadoop总结

2024.07.13hadoop总结

时间:2024-07-13 21:42:17浏览次数:15  
标签:总结 2024.07 13hadoop python 虚拟机 hadoop

hadoop基础概念学习

在这之前并不了解hadoop,甚至没怎么听人提起过,直到学习大数据技术需要hadoop和python才开始学习。

 

 

 

 

 

 

 

 

 

 

 

 

 

 

 hadoop的概念还没有完全了解完全,但是它的核心是处理和存储大数据,需要在虚拟机上面进行系统的测试

 

标签:总结,2024.07,13hadoop,python,虚拟机,hadoop
From: https://www.cnblogs.com/dmx-03/p/18300773

相关文章

  • 小学期第二周个人总结
    本周,我投入了大量时间和精力来学习Hadoop生态系统的相关知识。Hadoop生态系统包括Hadoop、Hive和YARN等重要组件,它们在大数据处理和管理中发挥着关键作用。首先,我对Hadoop本身进行了深入了解。Hadoop是一个用于存储和处理大数据的开源框架,提供了分布式存储(HDFS)和分布式计算(MapRed......
  • 周总结
    这周主要练习springboot3+vue3,开发大事件系统,Hadoop还未开始学,计划完成大事件开发后冲击Hadoop,在这里主要说一下我后端的开发心里路程吧。SpringBoot是一种基于Spring框架的开发工具,它旨在简化Spring应用程序的开发和部署过程。作为一名后端开发人员,我对SpringBoot的使......
  • 第二周总结
    1​下载JDK,安装JDK并配置环境变量。​阅读大道至简三至六章学习异常处理​理解类和对象​2.​下一周准备学习继承和多态,接口和抽象类3.困难:语法复杂:Java的语法规则相对较多,理解并记忆这些规则需要一定的时间和努力。编程逻辑难以理解:编程不仅仅是记忆语法,更重要的是理解......
  • Hadoop学习总结
    在我作为初学者探索Hadoop的过程中,我深感兴奋和好奇。Hadoop作为一种开源的分布式存储和计算平台,能够处理大规模数据,这一点让我产生了深刻的震撼和兴趣。刚开始接触时,我面临理解Hadoop核心概念的挑战,特别是涉及到HDFS(Hadoop分布式文件系统)和MapReduce的概念。然而,通过阅读官方文档......
  • 暑假第二周总结(7.9-7.13)
    这周做了什么学习了JAVA的基本内容通过实例认识了JAVA的面向对象编程及一些不同于C++面向对象的知识。时钟类packageClock;publicclassClock{privateDisplayhour=newDisplay(24);privateDisplayminute=newDisplay(60);publicvoidstart(){......
  • 第一周学习总结
    开篇概述随着计算机网络基础设施的完善,社交网络和电商的发展以及物连网的推进,产生了越来越多的大数据,使得人工智能最近几年也有了长足的发展(可供机器学习的样本数据量足够大了),大数据的存储和处理也越来越重要,国家对此也比较重视(可上网搜索关键字“大数据白皮书”关键字,以了解详细......
  • 第二周学习总结
    分布式文件系统主要用来解决如下几个问题:读写大文件加速运算对于某些体积巨大的文件,比如其大小超过了计算机文件系统所能存放的最大限制或者是其大小甚至超过了计算机整个硬盘的容量的文件,这时需要将文件分割为若干较小的块,然后将这些块按照一定的规则分放在集群中若干台节点......
  • 暑假第二周总结
     本周主要学习了如何配置hadoop,真的是超级麻烦。本周完成了对Linux系统的学习,安装了vm虚拟机,配置了3个centos虚拟机,完成了虚拟机之间的免密登录等一系列的操作,虚拟机配置了java环境,hadoop环境,部署了HDFS集群。了解了大数据的软件生态、Hadoop是什么以及为什么需要分布式存储。......
  • 2024/07/13(暑假学习hadoop第一周总结)
    在本周的学习中,我构建了学习Hadoop所需的基础环境,这包括安装虚拟机VMware和部署CentOS操作系统。这些步骤是学习Hadoop开始,也为是深入学习Hadoop技术做好前置的准备工作。下面将详细介绍如何安装VMware和部署CentOS系统:首先,我们需要下载VMware软件并进行安装。在安装过程中,请务必......
  • 暑期每周总结
     每周总结 这一周,我进行大数据技术的学习和应用。首先,我成功配置了Hadoop的YARN和Hive。YARN是Hadoop的资源管理器,它在集群上管理和调度计算资源,而Hive是一个基于Hadoop的数据仓库工具,它提供了类似SQL的查询语言,用于分析存储在Hadoop分布式文件系统(HDFS)中的大数据。通过这次配......