# coding:utf8 # 指定源代码编码格式为UTF-8 from pyspark.sql import SparkSession # 导入SparkSession类,用于创建和管理Spark应用上下文 from pyspark.sql.functions import concat, expr, col # 导入Spark SQL中的函数,这里并未使用但可能在后续操作中用于数据转换或计算 from pyspark.sql.types import StructType, StringType, IntegerType # 导入数据类型,用于定义DataFrame的结构 from pyspark.sql import functions as F # 更短的引用方式,指向pyspark.sql.functions模块 if __name__ == '__main__': # 创建一个本地SparkSession实例,设置应用程序名为"test",并配置shuffle分区数为2 spark = SparkSession.builder.appName("test").master("local[*]").config("spark.sql.shuffle.partitions", 2).getOrCreate() # 从指定路径读取CSV文件,并将数据加载到DataFrame中,默认不包含列名头,以逗号作为分隔符 df = spark.read.csv('../data/sql/stu.txt', sep=',', header=False) # 将原始DataFrame重命名列,将其转换为新的DataFrame,列名分别为'id'、'name'和'score' df2 = df.toDF('id', 'name', 'score') # 显示新DataFrame的架构信息 df2.printSchema() # 显示新DataFrame的所有数据 df2.show() # 将df2注册为临时视图,名称为"score" df2.createTempView("score") # 使用SQL查询语句从临时视图中选取名字为'语文'的前5条记录,并显示结果 spark.sql("SELECT * FROM score WHERE name = '语文' LIMIT 5").show() # 或者使用DataFrame API的方式实现相同逻辑:选取名字为'语文'的前5条记录,并显示结果 df2.where(F.col("name") == '语文').limit(5).show() # 这里用到了F.col方法确保对列名的引用符合DataFrame API要求
sparksql入门程序
标签:24,score,pyspark,指导,DataFrame,df2,寒假,sql,name From: https://www.cnblogs.com/syhxx/p/18001145