【热词分析】

文章目录

• 前言
• • 根据用户上网的搜索记录对每天的热点搜索词进行统计，以了解用户所关心的热点话题。 要求完成：统计每天搜索数量前3名的搜索词（同一天中同一用户多次搜索同一个搜索词视为1次）。
• 一、项目要求
• 二、数据集
• • 三、代码

前言

根据用户上网的搜索记录对每天的热点搜索词进行统计，以了解用户所关心的热点话题。
要求完成：统计每天搜索数量前3名的搜索词（同一天中同一用户多次搜索同一个搜索词视为1次）。

`

一、项目要求

根据用户上网的搜索记录对每天的热点搜索词进行统计，以了解用户所关心的热点话题。
要求完成：统计每天搜索数量前3名的搜索词（同一天中同一用户多次搜索同一个搜索词视为1次）。

二、数据集

2019-10-01,tom,小吃街
2019-10-01,jack,谷歌浏览器
2019-10-01,jack,小吃街
2019-10-01,look,小吃街
2019-10-01,steven,烤肉
2019-10-01,lojas,烤肉
2019-10-01,look,小吃街
2019-10-02,marry,安全卫士
2019-10-02,tom,名胜古迹
2019-10-02,marry,安全卫士
2019-10-02,leo,名胜古迹
2019-10-03,tom,名胜古迹
2019-10-03,leo,小吃街

三、代码

hadoop集群启动： sbin/start-all.sh
spark启动:   sbin/start-all.sh
val d1 = spark.read.textFile("hdfs://192.168.10.3:9000/input/keywords.txt")

d1.show() 

case class kw(date:String,name:String,address:String)

val kwDataset = d1.map(line=>{
          val fields = line.split(",")
          val date = fields(0)
          val name = fields(1)
          val address = fields(2)
           kw(date,name,address)
          })

kwDataset.show() 

val pdf = kwDataset.toDF()

pdf.createTempView("v_shuju")

val result = spark.sql("select date,address,COUNT(*) AS count from (SELECT DISTINCT date ,name,address FROM v_shuju) GROUP BY date,address")

result.show()

result.createTempView("v_shuju2")

val result1 = spark.sql("select * from v_shuju1 order by date)

result1.show()