首页 > 其他分享 >寒假生活指导24

寒假生活指导24

时间:2024-02-01 14:36:19浏览次数:35  
标签:24 score pyspark 指导 DataFrame df2 寒假 sql name

# coding:utf8  # 指定源代码编码格式为UTF-8

from pyspark.sql import SparkSession  # 导入SparkSession类,用于创建和管理Spark应用上下文
from pyspark.sql.functions import concat, expr, col  # 导入Spark SQL中的函数,这里并未使用但可能在后续操作中用于数据转换或计算
from pyspark.sql.types import StructType, StringType, IntegerType  # 导入数据类型,用于定义DataFrame的结构
from pyspark.sql import functions as F  # 更短的引用方式,指向pyspark.sql.functions模块

if __name__ == '__main__':
    # 创建一个本地SparkSession实例,设置应用程序名为"test",并配置shuffle分区数为2
    spark = SparkSession.builder.appName("test").master("local[*]").config("spark.sql.shuffle.partitions", 2).getOrCreate()

    # 从指定路径读取CSV文件,并将数据加载到DataFrame中,默认不包含列名头,以逗号作为分隔符
    df = spark.read.csv('../data/sql/stu.txt', sep=',', header=False)

    # 将原始DataFrame重命名列,将其转换为新的DataFrame,列名分别为'id'、'name'和'score'
    df2 = df.toDF('id', 'name', 'score')

    # 显示新DataFrame的架构信息
    df2.printSchema()

    # 显示新DataFrame的所有数据
    df2.show()

    # 将df2注册为临时视图,名称为"score"
    df2.createTempView("score")

    # 使用SQL查询语句从临时视图中选取名字为'语文'的前5条记录,并显示结果
    spark.sql("SELECT * FROM score WHERE name = '语文' LIMIT 5").show()

    # 或者使用DataFrame API的方式实现相同逻辑:选取名字为'语文'的前5条记录,并显示结果
    df2.where(F.col("name") == '语文').limit(5).show()  # 这里用到了F.col方法确保对列名的引用符合DataFrame API要求

sparksql入门程序

标签:24,score,pyspark,指导,DataFrame,df2,寒假,sql,name
From: https://www.cnblogs.com/syhxx/p/18001145

相关文章

  • 百度网盘(百度云)SVIP超级会员共享账号每日更新(2024.02.01)
    一、百度网盘SVIP超级会员共享账号可能很多人不懂这个共享账号是什么意思,小编在这里给大家做一下解答。我们多知道百度网盘很大的用处就是类似U盘,不同的人把文件上传到百度网盘,别人可以直接下载,避免了U盘的物理载体,直接在网上就实现文件传输。百度网盘SVIP会员可以让自己百度账......
  • 代码随想录算法训练营第四天 |24. 两两交换链表中的节点 | 19.删除链表的倒数第N个节
    142.环形链表II 已解答中等 相关标签相关企业 给定一个链表的头节点 head ,返回链表开始入环的第一个节点。 如果链表无环,则返回 null。如果链表中有某个节点,可以通过连续跟踪 next 指针再次到达,则链表中存在环。为了表示给定链表中的环,......
  • 【西湖论剑2024初赛】MISC3-easy_rawraw WriteUp
    easyraw!manypasswords!首先用volatility+mimikatz可以爆出windows账户密码das123admin321vol.py--plugins=./plugins-f./rawraw.raw--profile=Win7SP1x64mimikatz剪贴板中,有另一个密码DasrIa456sAdmIn987,用来解压mysecretfile.rarvol.py--plugins=./plugins-f......
  • 2024年哪款便签软件是手机电脑同步的?
    在繁忙的生活、工作和学习中,我们时常面临各种琐事和任务,需要随时记录、提醒,以保持高效的生活节奏。比如,突然想到的灵感、重要的工作计划、紧急的购物清单,都需要一个便利的便签·工具来随手记录。特别是在多终端使用的情境下,如何实现手机、电脑同步成为了我们选择便签软件的关键需......
  • 英语背单词 专四词汇 2024年02月 ChatGPT
    2024-02-02 2024-02-01IndexWordPronunciationPartsofSpeechExplanationTranslationinChinese1heel/hiːl/nounThebackpartofthefootbelowtheankle,typicallycorrespondingtothelocationofthebacktwo-thirdsoftheshoe.脚后跟2p......
  • 2024增量市场——AIGC,普通人如何入局?
    AI是否真的会取代你的工作,或者是掌握AI技能的人将会取代你?随着2023年AI技术的爆炸式增长,许多人开始质疑,如果不掌握如ChatGPT、Midjourney或StableDiffusion等AI工具,是否就意味着被时代淘汰?进一步地,如何自主训练AI大模型、开发自己的AI产品?这些疑惑在许多人心中盘旋。今天,我们将一......
  • AWR1243+DCA100——数据读取
    一、DCA1000读取AWR1243的ADC数据的格式DCA1000通过4个LVDS线读取对应AWR1243的4个接收天线Rx的回波数据;使能LVDS的数量要和使能接收天线Rx的数量相等,且由大到小依次对应。例如使能了RX1,RX2和Lane2,Lane3,则Lane2读取RX1数据,Lane3读取RX2数据,其他数据线(Lane1和Lane4填充零);每......
  • 2024/1/29~2024/2/4
    Wiki下象棋题目链接:https://ac.nowcoder.com/acm/contest/74679/Ebfs搜两下就行了#include<bits/stdc++.h>usingnamespacestd;usingll=longlong;intfx[8]={-1,1,0,0,-1,1,-1,1};intfy[8]={0,0,-1,1,-1,-1,1,1};constintmod=1000000007......
  • AWR1243+DCA1000的开箱测试
    一、AWR1243+DCA1000实物图二、开箱测试参考文件:[mmwave_sensor_raw_data_capture_using_dca1000_v02](mmwave_sensor_raw_data_c...sing_dca1000_v02.pdfhttps://www.alipan.com/s/KZaKMNTD7sr)1.AWR1243--SOP模式设置这里是使用DCA1000进行采样,选择“011(SOPmode2)......
  • 【2024-01-31】早有面子了
    20:00人生的事,苦乐必定相伴,而且成正比例。吃苦愈多,享乐愈大,反之,不吃苦就不得享乐。这是丝毫不爽的定理。                                                 ——丰子恺......