首页 > 其他分享 >假期第四周总结

假期第四周总结

时间:2023-08-05 21:22:04浏览次数:29  
标签:总结 假期 实践 hive 学习 Apache 一些 Spark 四周

本周学习进行MapReduce&YARN的部署,完成了相关配置文件的修改和分发,集群的启动和历史服务器的启动,

遇到了代码过多且ppt中给的代码为图片的问题,解决方法是发现ppt中的文件可以打开,打开文件进行复制。

进行hive的安装配置,完成了MySQL数据库的安装,Hadoop的配置,hive的下载解压,MySQL驱动包的放置,

hive的配置,元数据库的初始化,hive的启动,HiveServer2的启动,在大数据技术框架上我进一步学习了Apache Spark,

在本地环境上搭建了一个Spark集群,并学习了Spark SQL和数据处理的相关概念。在虚拟机中使用Eclipse开发工具学习一些

项目的学习,对虚拟机的使用进行练习,熟悉使用Hadoop,Hive等,我实践了一些数据分析和处理任务,

并研究了一些优化技巧和最佳实践。打算进一步学习后端开发知识,重点学习Node.js和Express框架。我计划完成一个全栈应用项目,

涉及到前后端的开发和数据交互。之后还将学习更多的大数据技术,比如Apache Kafka和Apache Flink,实践一些数据分析和处理任务,

并研究了一些优化技巧和最佳实践。并完成一些实践任务,以进一步提升我的大数据处理和分析能力。

在本周的学习和项目开发过程中还遇到了一些问题,Spark任务性能上的问题,需要优化和改进代码的执行效率。

下周我将更加深入的学习大数据技术框架和其他相关的知识,继续观看《天道》这部电视剧,完成老师安排的任务。

标签:总结,假期,实践,hive,学习,Apache,一些,Spark,四周
From: https://www.cnblogs.com/-GYP/p/17608655.html

相关文章

  • 第六周训练总结
    比赛总结牛客多校第五场3/4/10AC:C、D、G补题:H总结:本场比赛我们三个人开题是4,3,3分配的,然后有谁发现签到题,就会找另外一个说一下思路,然后开始敲代码。首先发现G题就和之前做过的一道题很相似,直接遍历加上尺取法就可以了,ska很快就敲完代码,然后交上去就直接ac了。然后就......
  • 2023-07-30~08-05第四周暑假生活
    本周每天学习一个小时hdfs,web设计hdfs和linux的操作主要用到命令窗口,大量陌生的命令操作是学习的一大难点主要学习了:hdfs的目录操作cd/usr/local/hadoop./bin/hdfsdfs-mkdir-p/user/hadoop在HDFS中创建一个“/user/hadoop”目录,“–mkdir”是创建目录的操作,“-p”表......
  • 大数据总结
    我这周学了修改表操作、Hive支持的复杂数据类型等修改表操作  修改和删除分区都是修改元数据记录  Hive支持的复杂数据类型  ......
  • 假期周进度报告7
    本周(7.30-8.5)主要开展数学建模知识的学习和python知识的学习。下周继续学习数学建模知识和python知识。周日,进行数学建模知识和python知识的学习,并准备返回学校收拾行李,在家休息一天,未遇到问题。周一,进行数学建模知识和python知识的学习,返校,整理行李,未遇到问题。周二,进行数学建......
  • Cilium系列-13-启用XDP加速及Cilium性能调优总结
    系列文章Cilium系列文章前言将Kubernetes的CNI从其他组件切换为Cilium,已经可以有效地提升网络的性能.但是通过对Cilium不同模式的切换/功能的启用,可以进一步提升Cilium的网络性能.具体调优项包括不限于:启用本地路由(NativeRouting)完全替换KubeProxyI......
  • 第五周总结
      这周主要还是考驾照练车,我们这边暴雨持续了几天。  下周准备看一下《天道》,之前刷抖音的时候看过一遍,但是内容可能不太精细。  在这几周的学习中,学习进度也是很缓慢,也没有学习到什么实质性的知识,这次总结就做一下下周的计划。首先就是完成《天道》的作业任务,以及......
  • LGR-147-Div.3】洛谷网校 7 月普及组月赛 & yLOI2022 总结
    Upd:2023/8/5补T1普及组的题,而且T1,而且叫签到题。所以非常简单,入门难度。没什么好说的。就是统计大写,小写和字母个数。#include<bits/stdc++.h>#definelllonglongusingnamespacestd;constintN=100+5;strings;intmain(){ cin>>s; intx=0,y=0,z=0; for(inti=......
  • 第四周总结
    本周我主要学习了Hadoop中的MapReduce编程模型和相关的内容。MapReduce是Hadoop的核心组件之一,用于大规模数据的分布式处理和计算。在学习MapReduce的过程中,我首先理解了MapReduce的基本概念和原理。MapReduce将大规模的输入数据划分成多个小的数据块,并将每个数据块分配给不同的......
  • 设计原则总结
    目录封装变化针对接口编程,不针对实现编程多用组合(has-a),少用继承(is-a)为交互对象之间的松耦合设计而努力最少知识原则LKP/迪米特法则LawofDemeter好莱坞原则SOLID原则单一职责原则SRP开放关闭原则OCP里氏替代原则LSP接口隔离原则ISP依赖倒置原则DIP......
  • 8.5日第五周总结
    编写一个静态表单页面和一个PHP动态网页,静态网页如下图1所示,在静态网页中通过get方法提交数据,在动态网页中检索这些数据并显示出来,结果如下图2所示,如果该同学的性别为男,则显示“您是一位男生!”,性别为女,则显示“您是一位女生!”。编写一个静态表单和一个PHP动态网页,表单如......