本周花在学习上的时间大约有四五天的时间,每天将近半天,先从安装Spark开始在厦门大学数据实验室学习的,
在安装Spark之前要先安装Hadoop(伪分布式)在安装配置Hadoop之前又重新安装配置了VMware和虚拟机,
虽然之前安装过但为了避免之后出现一些问题,又按照教程重新安装了一边,虚拟机用的是Ubuntu系统,
配置Hadoop过程中先创建了hadoop用户,更新apt,然后再安装配置java环境,在配置过程中遇到了一些问题,
由于之前自己很少使用虚拟机,对一些使用和操作不太熟悉在这里花费了一些时间,然后完成Hadoop的单机配置(非分布式),
成功执行了Hadoop运行的例子。再就是Hadoop伪分布式的配置,修改配置文件,但在配置执行过程中遇到了一些问题,
上网查找了解决方法还没有解决,尝试了一些方法但还没有完成,然后继续安装java JDK,安装Spark(Local模式),使用Spark shell编写代码
启动Spark shell实现加载文本文件和简单的RDD操作。然后继续实现独立应用程序编程,使用sbt对Scala独立应用程序进行编程打包
再使用Maven对java独立应用程序进行编译打包和使用Maven对Scala进行独立应用程序进行编译打包,目前的想法是先按自己的方法慢慢来,
然后之后再询问同学有哪些解决方法或更好的学习途径。本周学习的体会最重要的还是要有适合学习的环境和充足的信息来源,但有时候还是会有些焦虑。
标签:总结,假期,虚拟机,配置,Hadoop,应用程序,第二周,Spark,安装 From: https://www.cnblogs.com/-GYP/p/17574269.html