首页 > 其他分享 >学习进度笔记6

学习进度笔记6

时间:2024-01-17 23:14:42浏览次数:34  
标签:name age Jim 笔记 查询 学习 进度 数据 id

Spark SQL 基本操作 将下列 JSON 格式数据复制到 Linux 系统中,并保存命名为 employee.json。 { "id":1 , "name":" Ella" , "age":36 } { "id":2, "name":"Bob","age":29 } { "id":3 , "name":"Jack","age":29 } { "id":4 , "name":"Jim","age":28 } { "id":4 , "name":"Jim","age":28 } { "id":5 , "name":"Damon" } { "id":5 , "name":"Damon" } 为 employee.json 创建 DataFrame,并写出 Scala 语句完成下列操作: (1) 查询所有数据 (2) 查询所有数据,并去除重复的数据; (3) 查询所有数据,打印时去除 id 字段; (4) 筛选出 age>30 的记录; (5) 将数据按 age 分组; (6) 将数据按 name 升序排列; (7) 取出前 3 行数据; (8) 查询所有记录的 name 列,并为其取别名为 username; (9) 查询年龄 age 的平均值; (10) 查询年龄 age 的最小值。

标签:name,age,Jim,笔记,查询,学习,进度,数据,id
From: https://www.cnblogs.com/jm56/p/17971413

相关文章

  • RabbitMQ学习四 java客户端连接RabbitMQ
    RabbitMQ的工作模式,可以参考官网:https://www.rabbitmq.com/getstarted.html一、简单方式以下两种都是生产者直接发消息给队列,不通过交换机。且发送给队列的消息只能被消费一次。比如一个队列被C1和C2消费,在队列中的消息只会被一个消费者消费。生产者代码逻辑图代码如下:p......
  • 算法笔记之图论
    打开转盘锁你有一个带有四个圆形拨轮的转盘锁。每个拨轮都有10个数字:'0','1','2','3','4','5','6','7','8','9'。每个拨轮可以自由旋转:例如把'9'变为'0','0'变为......
  • 人工智能第三版阅读笔记:第一章
    人工智能:第一章本章展示了人工智能的概貌,包括人工智能的定义、分类、发展、学科、应用以及方法。使读者了解了人工智能领域的一些基本概念,并对该学科的内容有了大致的了解。人工智能概述人工:非自然形成的、人造的。智能:R.斯腾伯格的定义--智能是个体从经验中学习、正确推理、......
  • 学习构建北京市政百姓信件分析实战案例
    学习构建北京市政百姓信件分析实战案例是一个综合性的任务,需要使用多种技术和工具。以下是每个步骤的简要说明:1.采集北京市政百姓信件内容:在这一步,你需要建立一个系统来收集北京市政百姓的信件内容。可以使用网络爬虫技术,访问相关政府网站或公共平台,从中抓取信件数据。确保你的数......
  • gateway笔记
    自定义断言新增一个Bean标记为@Component、继承AbstractRoutePredicateFactory类命名需要以RoutePredicateFactory结尾声明一个静态内部类来接受配置文件中的信息重写shortcutFieldOrder来映射配置文件中的参数重写apply方法下面是一个根据请求头和时间来决定......
  • 搜索学习笔记+杂题 (进阶二 dfs/bfs的进阶)
    前言:由于搜索的题还是做的太少了,所以以后有可能会不定期更新。四、还是进阶的dfs/bfs相关题单:戳我1、dfs(1)meetinthemiddleP2962[USACO09NOV]LightsG颠覆了我对折半搜索的认知,果然,只要满足了折半搜索的几个性质,基本上都可以使用折半搜索来处理。首先我们拿到的是一张......
  • 算法笔记
    1.回溯法(Backtracking)应用:组合、排列、子集等组合型问题,0/1背包问题、图的着色问题等。时空复杂度:时空复杂度较高,指数级别。时间复杂度:O(2^n)或更高,其中n是问题规模。空间复杂度:O(n)或更高,取决于递归深度。特性:通过深度优先搜索遍历解空间。需要撤销选择,回溯到上一步......
  • 学习笔记——ST算法
    ST算法ST算法是一种运用倍增来解决RMQ问题也就是区间最值问题的算法。给定一个长度为\(N\)的序列\(A\),ST算法能在\(\mathcalO(NlogN)\)的时间预处理后,以\(\mathcalO(1)\)的时间在线回答区间最值问题。设\(F_{i,j}\)表示序列\(A\)中下标在子区间\(\left[i,......
  • 寒假学习day2
    下载 spark 安装包选择自己Hadoop对应的版本,不然会不兼容spark下载链接2.解压tar-zvxfspark.2.3 3.删除安装包,修改解压后的文件名字rm-rf安装包名mvspark-2.3.4-bin-hadoop2.7spark  4.配置文件进入到spark目录下cdconf (1).修改配置文件名字:mv......
  • 学习笔记——线段树
    线段树(SegmentTree)1.建树首先我们要明白线段树中的每个节点都代表一个区间,而对于线段树中的每个内部节点\(\left[l,r\right]\),它的左子节点是\(\left[l,mid\right]\),右子节点是\(\left[mid+1,r\right]\),其中\(mid=(l+r)/2\)(向下取整)。然后我们可以让根节点的编号为\(......