首页 > 其他分享 >暑期每周总结

暑期每周总结

时间:2024-07-13 20:19:35浏览次数:18  
标签:总结 每周 配置 技术 暑期 Hadoop YARN Hive 数据

 每周总结

  这一周,我进行大数据技术的学习和应用。首先,我成功配置了Hadoop的YARN和Hive。YARN是Hadoop的资源管理器,它在集群上管理和调度计算资源,而Hive是一个基于Hadoop的数据仓库工具,它提供了类似SQL的查询语言,用于分析存储在Hadoop分布式文件系统(HDFS)中的大数据。通过这次配置,我更加深入地理解了Hadoop生态系统的工作原理,并掌握了如何高效地管理和分析海量数据。

在配置过程中,我遇到了一些问题,比如YARN的资源调度配置和Hive的元数据存储问题。但是,通过查阅文档和社区资源,以及实际操作中的反复调试,成功实现了系统的配置和运行。提高了我的技术技能,也增强了我解决实际问题的能力和信心。

除了技术配置,我还了解了大数据竞赛的比赛流程。大数据竞赛通常分为多个阶段,包括数据预处理、特征工程、模型训练和结果评估。在每个阶段,参赛者需要充分利用大数据技术和工具,挖掘数据中的潜在价值,提出创新性的解决方案。通过对历届竞赛案例的分析,我认识到,成功的关键不仅在于技术实力,还在于数据的深入理解和对业务问题的准确把握。

此外,我还学习了其他一些大数据技术。比如,了解了如何使用Spark进行大规模数据处理,以及分布式计算框架的原理和应用。

在完成这些学习任务的同时,我还完成了数据库小学期作业。这个作业包括数据库设计、数据表的创建和管理,以及复杂SQL查询的编写。通过这次作业,我不仅巩固了数据库理论知识,还提高了实际操作能力,尤其是在解决实际业务需求时,如何高效地设计和优化数据库结构。

这一周的学习和实践让我在大数据技术领域取得了实质性的进步。未来,我将继续深入学习和探索更多的大数据技术,提升自己的技术水平,并积极参与大数据竞赛和项目实践,进一步锻炼和提升自己的综合能力。

通过这些经历,我深刻认识到,大数据技术不仅仅是工具和方法,更是解决实际问题和推动业务创新的重要手段。在未来的职业发展中,我将不断拓展自己的知识和技能,以应对更加复杂和多样化的技术挑战,为企业和社会创造更大的价值。

标签:总结,每周,配置,技术,暑期,Hadoop,YARN,Hive,数据
From: https://www.cnblogs.com/litianyu1969/p/18300631

相关文章

  • 每周总结:hadoop学习
    在大数据时代的背景下,Hadoop作为一种开源的分布式处理框架,为我打开了一扇通往高效数据处理的大门。通过对Hadoop的学习,我不仅掌握了其核心组件的工作原理,还体验到了分布式计算的强大威力。Hadoop的核心之一HDFS(HadoopDistributedFileSystem),以其高可靠性和高扩展性,为大数据......
  • 周总结一
    hadoop学习总结 一、学习总结1、hadoop集群的搭建。由于之前在学校中学习过伪分布式的搭建,在构建集群时还是比较容易上手的。主要的搭建过程分为以下几步:第一步,配置hosts列表;第二步,安装JDK;第三步,免密钥登录配置;第四步,Hadoop配置部署;第五步,将主节点的配置文件复制到从节点;第六......
  • 小学期第二周总结
    数据结构第二阶段综合应用算法训练自选题,我选择的是文件压缩解压。一、问题描述:名称:基于哈夫曼编码的文件压缩解压目的:利用哈夫曼编码压缩存储文件,节省空间输入:任何格式的文件(压缩)或压缩文件(解压)输出:压缩文件或解压后的原文件功能:利用哈夫曼编码压缩解压文件性能:快速二、......
  • 每周总结1
      HadoopHDFS(核心):Hadoop分布式存储系统;Yarn(核心):Hadoop2.x版本开始才有的资源管理系统;MapReduce(核心):并行处理框架;HBase:基于HDFS的列式存储数据库,它是一种NoSQL数据库,非常适用于存储海量的稀疏的数据集;Hive:ApacheHive是一个数据仓库基础工具,它适用于处理结构化数据......
  • 第二周进度总结
    (1)本周做了什么,花在学习上多长时间,花在代码时间上多长时间,花在解决问题用了多长时间。本周完成了yarn集群和hive数据库的部署使用的命令如下su-aaacd/export/server/hadoop/etc/hadoop/llvimmapred-env.shexportJAVA_HOME=/export/server/jdkexportHADOOP_JOB_HISTORYSERV......
  • 南京大学计算理论之美 (Summer 2024)暑期学校游记
    day-nzero4338和我说有这么个暑校,报名了day0到了钟山风雨地,石头城下水南京到了南京大学(仙林校区),被硬件震撼了一波和zero4338两人互相贩卖焦虑:为啥还没预习这个,也没预习那个到了南京大学(鼓楼校区),和同学转鼓楼校区,和同学和zero4338和同学吃饭回酒店之后说预习预习,但是......
  • 第二周总结
    一、周任务完成情况:1.每天通过书籍与b站网课自主学习Java一小时,完成Java循环,条件及数组部分的语法学习。2.阅读《大道至简》第二章“是懒人创造了方法”与第三章“团队缺乏的不只是管理”。3.每日完成pta基础题目集2~3题。二、下周计划:1.使用Java语言完成部分练习题。2.继续......
  • python基础篇总结:数据类型
    在python中数据类型主要是以下9种分别是1.Int(整型);2.Float(浮点型);3.Bool(布尔型);4.Str(字符串);5.None(空值);6.List(列表);7.Tuple(元组);8.Dict(字典);9.Set(集合)等。一.Int(整数)整数是Python中最基本的数值类型,用于表示整数值。1.定义整数变量:2.使用内置函数处理整数:3.进行算......
  • 可视化课设总结(星巴克网页爬取信息,百度地图网页版爬取信息,百度地图api,pyecharts库,pyth
    一、引言       本博客是本人是基于本人可视化课设所做的总结,其中有些过程的实现可能并不是最优的实现方法,有些实现效果也因为本人的实力有限,并不能达到预期的效果,所以也欢迎大家指点和改良。(刚考完期末回家,终于有时间把这个课设写个博客了,虽然这课设是明天截至的,我今......
  • 2023-2024第二学期的助教工作总结(计算机网络)
    一、助教工作的具体职责和任务 (包括:你和老师是如何配合的、你和课程其他助教是如何配合的(如果有的话))1.及时跟进学生学习进度每周询问老师教学进度,自己复习知识点,随时准备回复学生问题,并对后续进行安排2.编写题目,拓宽题库每周编写5-8题题目,写出答案,并发给老师审核3.和老师......