网站首页
编程语言
数据库
系统相关
其他分享
编程问答
u0001
2024-06-23
Hadoop电商日志数据分析(一)
项目要求根据电商日志文件,分析:1.统计页面浏览量(每行记录就是一次浏览)2.统计各个省份的浏览量(需要解析IP)3.日志的ETL操作(ETL:数据从来源端经过抽取(Extract)、转换(Transform)、加载(Load)至目的端的过程)为什么要ETL:没有必要解析出所有数据,只需要解析出有价值的字段即可。本
2024-06-23
Hadoop电商日志数据分析(二)
浏览量统计功能实现统计页面的浏览量count一行记录做成一个固定的KEY,value赋值为1PVStatApp点击查看代码packagecom.imooc.bigdata.hadoop.mr.project.mr;importorg.apache.hadoop.conf.Configuration;importorg.apache.hadoop.fs.FileSystem;importorg.apache.