通过参与一个历时两年的大数据分析项目,总结如下:
1、环境熟悉,了解认证系统,各个组件了解,比如hdfs、hive、mapreduce、spark、es、kafka,各个组件都适用什么场景,如何交互
2、明确了场景以后,再各自深入了解
hdfs存储有哪些格式,各自优劣
hive各个存储方式执行性能测试,分桶、分区等的运用
mapreduce的优势是什么,什么情况下使用
spark调优,使用机制,如何使用spark进行es更新,如果前端是一个实时分析应用,如何能够让用户有一个实时体验
es怎么用,keyvalue和text有什么区别,大批量数据怎么更新
最好的学习就是放到场景里
另外如果要进行大数据分析,还是需要了解一些基本的java语言,会有帮助