首页 > 其他分享 >DataFrame中的转换算子操作1

DataFrame中的转换算子操作1

时间:2022-08-30 00:22:57浏览次数:57  
标签:转换 val ------------------ frame dataFrame DataFrame 算子 println select

val sparkConf = new SparkConf().setMaster("local[2]").setAppName("tran")
val sparkSession = SparkSession.builder().config(sparkConf).getOrCreate()

val seq:Seq[Student] = Array(Student("zs",20,"男"),Student("ls",21,"女"),Student("ww",22,"男"))
val rdd:RDD[Student] = sparkSession.sparkContext.makeRDD(seq)
val dataFrame:DataFrame = sparkSession.createDataFrame(rdd,classOf[Student])

case class Student(@BeanProperty var name:String,@BeanProperty var age:Int,@BeanProperty var sex:String)

limit

def limitOpt(dataFrame: DataFrame): Unit = {
  println("------------------limit操作开始------------------")
  // select name,age from student limit 2
  val frame: DataFrame = dataFrame.limit(2).select("name", "age")
  frame.show()
  println("------------------limit操作结束------------------")
}

where

def whereOpt(dataFrame: DataFrame) = {
  // select * from student where age>21
  println("------------------where操作开始------------------")
  val frame = dataFrame.where("age > 21").select("*")
  frame.show()
  println("------------------where操作结束------------------")
  println("------------------filter操作开始------------------")
  val frame1 = dataFrame.filter("age > 21").select("*")
  frame1.show()
  println("------------------filter操作结束------------------")
}

select

def selectOpt(dataFrame: DataFrame) = {
  println("------------------select操作开始------------------")
  val frame = dataFrame.select("name", "age")
  frame.show()
  println("------------------select操作结束------------------")
}

def selectExprOpt(dataFrame: DataFrame) = {
  println("------------------selectExpr操作开始------------------")
  val frame = dataFrame.selectExpr("name as na", "age as ag")
  frame.show()
  println("------------------selectExpr操作结束------------------")
}

标签:转换,val,------------------,frame,dataFrame,DataFrame,算子,println,select
From: https://www.cnblogs.com/jsqup/p/16637891.html

相关文章

  • DataFrame中的转换算子2
    valsparkConf=newSparkConf().setMaster("local[2]").setAppName("tran")valsparkSession=SparkSession.builder().config(sparkConf).getOrCreate()valseq:Seq......
  • DataFrame操作数据的两种方式(SQL和DSL)
    SQL方式需要将DataFrame注册成为一张临时表,并给临时表起名字,通过SQL语句查询分析DataFrame中数据局部临时表、全局临时表[注意]:--1如果我们注册的是全局表,查询全局表......
  • Python源程序(.py)转换为可执行文件(.exe)
    Python源程序(.py)转换为可执行文件(.exe) 将Python源程序(.py)转换为可执行文件(.exe)由于Python程序的执行依赖于其环境,不能在操作系统下直接运行,因此在某些情况下需要将将P......
  • Mysql踩过的坑 索引失效 隐式类型转换
    ##博主所在项目,2期项目是mysql5.6版本,其使用的字符集是utf8在3期项目进行开发的时候,有一部分现成的表直接拷贝过来3期项目去使用3期项目mysql版本是8.0.20 默认约......
  • C#画刷转换
    HEX16色转Bursh:Brushbrush=newSolidColorBrush((Color)ColorConverter.ConvertFromString("#FFFFFF"));1RGB三原色转Bursh:Brushbrush=newSolidColorBrush(Color.......
  • 坐标转换:4326转3857
    functionWGS84ToMercator(lonlat){constcoord={lat:0,lng:0};constearthRad=6378137.0;//地球半径coord.lat=lonlat.ln......
  • pysimplegui学习-图片base64转换
        ......
  • python字符串转换为字典
    通过eval转换:eval方法虽然没有转换问题,但存在安全性问题,因为eval不仅能解析数据类型还能解析一些恶意输入命令,可能造成不好的影响user='{"name":"john","gender":......
  • PHP通过iconv将字符串从GBK转换为UTF8字符集
    PHP通过iconv将字符串从GBK转换为UTF8字符集_php技巧_脚本之家 https://www.jb51.net/article/27743.htm1.iconv()介绍iconv函数可以将一种已知的字符集文件转换成另一......
  • java 实现字符串转换为树
    importjava.util.*;classNode{publicstaticvoidmain(String[]args){ArrayList<String>listOfPaths=newArrayList<String>();l......