本周学习进行MapReduce&YARN的部署,完成了相关配置文件的修改和分发,集群的启动和历史服务器的启动,
遇到了代码过多且ppt中给的代码为图片的问题,解决方法是发现ppt中的文件可以打开,打开文件进行复制。
进行hive的安装配置,完成了MySQL数据库的安装,Hadoop的配置,hive的下载解压,MySQL驱动包的放置,
hive的配置,元数据库的初始化,hive的启动,HiveServer2的启动,在大数据技术框架上我进一步学习了Apache Spark,
在本地环境上搭建了一个Spark集群,并学习了Spark SQL和数据处理的相关概念。在虚拟机中使用Eclipse开发工具学习一些
项目的学习,对虚拟机的使用进行练习,熟悉使用Hadoop,Hive等,我实践了一些数据分析和处理任务,
并研究了一些优化技巧和最佳实践。打算进一步学习后端开发知识,重点学习Node.js和Express框架。我计划完成一个全栈应用项目,
涉及到前后端的开发和数据交互。之后还将学习更多的大数据技术,比如Apache Kafka和Apache Flink,实践一些数据分析和处理任务,
并研究了一些优化技巧和最佳实践。并完成一些实践任务,以进一步提升我的大数据处理和分析能力。
在本周的学习和项目开发过程中还遇到了一些问题,Spark任务性能上的问题,需要优化和改进代码的执行效率。
下周我将更加深入的学习大数据技术框架和其他相关的知识,继续观看《天道》这部电视剧,完成老师安排的任务。
标签:总结,假期,实践,hive,学习,Apache,一些,Spark,四周 From: https://www.cnblogs.com/-GYP/p/17608655.html