首页 > 其他分享 >软工大数据期中测试

软工大数据期中测试

时间:2022-10-20 20:55:10浏览次数:40  
标签:10 string ip 工大 期中 video 测试 article traffic

Result文件数据说明:

Ip:106.39.41.166,(城市)

Date:10/Nov/2016:00:01:02 +0800,(日期)

Day:10,(天数)

Traffic: 54 ,(流量)

Type: video,(类型:视频video或文章article)

Id: 8701(视频或者文章的id)

测试要求:

1、 数据清洗:按照进行数据清洗,并将清洗后的数据导入hive数据库中。

两阶段数据清洗:

(1)第一阶段:把需要的信息从原始日志中提取出来

ip:    199.30.25.88

time:  10/Nov/2016:00:01:03 +0800

traffic:  62

文章: article/11325

视频: video/3235

(2)第二阶段:根据提取出来的信息做精细化操作

ip--->城市 city(IP)

date--> time:2016-11-10 00:01:03

day: 10

traffic:62

type:article/video

id:11325

(3)hive数据库表结构:

create table data(  ip string,  time string , day string, traffic bigint,

type string, id   string )

2、数据分析:在HIVE统计下列数据。

(1)统计最受欢迎的视频/文章的Top10访问次数 (video/article)

(2)按照地市统计最受欢迎的Top10课程 (ip)

(3)按照流量统计最受欢迎的Top10课程 (traffic)

3、数据可视化:

将统计结果倒入MySql数据库中,通过图形化展示的方式展现出来。

标签:10,string,ip,工大,期中,video,测试,article,traffic
From: https://www.cnblogs.com/ljq20204136/p/16811246.html

相关文章

  • 聊聊测试工程师的核心竞争力
    核心竞争力实际上就是个人价值诉求的一种表达。我划分了四个较为通用的维度,从这几个维度出发,聊聊不同阶段我的一些看法和建议。思维导图 时间维度1、小白入门在这......
  • 5G 增强型“智能垃圾箱”测试
    英国桑德兰市正在试行多项5G增强型智慧城市技术,包括“智能垃圾箱”。试验期间,在全市范围内安装了许多智能垃圾箱。智能垃圾箱是该市议会与BAICommunications(BAI)合......
  • Google Analytics 测试
    集成谷歌分析之后官方提供了测试工具——DebugView可以通过这个工具验证sdk集成的是否正确官方文档:https://firebase.google.com/docs/analytics/debugview测试步骤:......
  • 聊聊软件测试面试的一些事
    转载:https://www.cnblogs.com/imyalost/p/8484201.html一、简历及岗位匹配度说到简历,其实这一点是很重要但又被很多职场小白忽视的问题。经常有人说我投了很多简历,但是没......
  • 抛弃P值,选择更直观的A/B测试!
    作者:Dr.RobertKubler,译者:张峰在两个选项中做出选择,该如何选?一个简单而又智能的方法就是A/B。本篇文章将简要地解释A/B测试背后的动机,并概述其背后的逻辑,以及带来的问题:它使......
  • hdfs测试(文件上传,内容读取,文件删除)
    工具:idea2021配置:hadoop2.6.0项目:Maven项目 首先编辑pom.xml(Maven项目的核心文件)文件,添加如下内容,导入依赖(所需jar包)(注意hadoop版本号)<?xmlversion="1.0"encod......
  • 抛弃P值,选择更直观的A/B测试!
    作者:Dr.RobertKubler,译者:张峰在两个选项中做出选择,该如何选?一个简单而又智能的方法就是A/B。本篇文章将简要地解释A/B测试背后的动机,并概述其背后的逻辑,以及带来的问题:它使......
  • MQTT——java简单测试
    服务端代码:1packagebsit.mqtt.demo.one_way;23importorg.eclipse.paho.client.mqttv3.MqttClient;4importorg.eclipse.paho.client.mqttv3.MqttConnectOp......
  • 软件测试的测试环境该怎么搭建?听听卓码软件测评小编怎么说
    软件测试环境是进行软件测试工作的前提条件,指的是测试运行其上的软件和硬件环境的描述,以及任何其它与被测软件交互的软件,包括驱动和桩。稳定和可控的测试环境,可以使测试......
  • 软件进行兼容性测试需要注意哪些地方?
    软件兼容性测试是指检查软件之间能否正确的进行交互和共享信息,随着用户手机或电脑里使用的软件系统越来越多,需要充分利用空间同时执行多个程序能力的要求,测试软件之间能......