项目经验:
- 硕士期间曾参与教育部人文社会科学研究青年基金, “轻量级数据集成环境下基于语义元数据的商务智能实现技术研究“。在该项目使用100台浪潮英信服务器对运行环境进行假设,采用Hadoop大数据处理框架对1TB的语言文本资料进行自然语言分析和处理,并采用yarn架构对资源进行调配。
- 硕士期间曾参与辽宁省教育局的“基础教育大数据研发与应用工程”,通过使用Hadoop对100GB大教育大数据进行批量的预处理,并使用Spark机器学习框架对其进行数据挖掘。
- 硕士期间曾参与校企合作项目,即东网电力集团主持的“大数据环境环境下的安全监测”项目,使用阿里云大数据计算环境对东网集团近5年的的电力系统元器件使用期限数据进行多维分析,并进行可视化呈现。
- 硕士期间曾参与华能集团大数据平台开发技术支持项目,使用Hadoop大数据计算环境对华能集团的三年期间的活力发电数据进行分析,并对火电厂风机使用寿命进行建模,实现了大数据环境下的火电厂运行效率的性能提升。
掌握技能:
熟练使用Python语言构建数据分析算法模型;能够使用Scala语言编写高性能的Spark框架下的机器学习算法模型,对Spark核心和基于内存的计算模型有所研究;能够熟练运用Hadoop大数据计算框架对T级数据进行处理和分析;有较深的Java语言编程功底,对Java高级(虚拟机、并发)有较深的理解,可以熟练的使用Java语言对HBASE数据库进行操作,并且可以使用JAVA语言对Hive数据仓库进行常规操作;可以熟练的使用Linux命令对Linux环境下的集群运行环境进行实时监控和故障诊断;对大数据环境下的常用小工具Sqoop、Flume、Oozie、Hue等也有所涉及。
标签:简历,胡编,环境,Hadoop,硕士,使用,2017,数据,进行 From: https://www.cnblogs.com/devilmaycry812839668/p/17367028.html