首页 > 其他分享 >Spark遇到的一些问题

Spark遇到的一些问题

时间:2022-09-01 11:16:09浏览次数:52  
标签:test1 生命周期 遇到 value 一些 Spark spark 赋值

1.spark Dataframe的生命周期及执行

 

 

   上述小测试是想保留value只保留(1,张三)这条数据,这条数据的来源是test1表,现对test1表进行操作(改为2,李四),同时希望value不变(还是1,张三),初始我认为value声明在前,而后面才对test1操作,不会影响value的,结果发现不是。后续又做了小测试,可得结论:

  1.spark DataFrame的生命周期是随着Spark Session的,这点无须讨论;

  2.value1 = value 这一步证明这里传递的也是地址值(参考java)

  3.最终执行value.show操作时,value会重新执行他的那条赋值语句,而此时你的test1虽然是在赋值语句之后有变化的,但在这里value的值也会跟着变。

 

标签:test1,生命周期,遇到,value,一些,Spark,spark,赋值
From: https://www.cnblogs.com/zyp0519/p/16378401.html

相关文章

  • for循环的一些细节
    循环的命名和使用可以给外循环命名,在内部时通过break名称;可直接跳出该名称的循环。等同于如下代码通过修改条件使循环作用相同建议使用第一种方式,因为每次都少......
  • 大数据分析常用组件、框架、架构介绍(Hadoop、Spark、Storm、Flume、Kafka、Logstash、
    首先,数据传输组件:①Kafka是用Scala编写的分布式消息处理平台。②Logstash是用JRuby编写的一种分布式日志收集框架。③Flume是用Java编写的分布式实时日志收集框架。......
  • Spark面试题
     一、Spark基础篇1、Spark是什么?Spark是一个通用分布式内存计算引擎。2009年在加州大学伯克利分校AMP实验室诞生,2014年2月,Spark成为Apache的顶级项目。......
  • 记一次EF+Mysql所遇到的事务不生效的的坑
    业务场景:近期写的一个项目,整个项目采用的DDD(领域驱动)设计,所以刚开始设计的时候就将各个业务以聚合根的方式进行划分,以该业务场景为例,整体的业务简述为,当客户进行付款以后,......
  • sparksql 优化
    最近把spark文档里面配置那一页看了一下,在这记录一些可用的配置,免得后续再去查文档地址:https://spark.apache.org/docs/3.0.1/configuration.htmlSpark文档运行环境......
  • sparkstreaming的创建方式及运行流程及注意事项
    sparkstreaming创建有两种方式1.借助SparkConf对象创建valconf=newSparkConf().setAppName("streamingContext").setMaster("local[4]")/***streamingcontex......
  • Oracle 服务器迁移的一些经验
    前言通过此文章来分享一下Oracle服务器迁移过程中的一些经验,希望对大家有些许帮助。本文旨在帮助更多的同学,会提及一些基本命令或技巧,但不赘述,后续有机会再进一步分享......
  • mac ios xcode profile过期遇到的问题记录 No signing certificate iOS Development f
    profile过期了,重新生成并下载证书,仍然提示错误:Nosigningcertificate"iOSDevelopment"found然后在下面的ManageCertificate点开后,发现有警告:Theoperationcouldn’t......
  • 肖sir_自动化遇到问题归纳
    自动化中遇到的问题:=====================================1、动态元素定位不到解决方法:尽量使用固定元素定位,如没有固定元素,则采用绝对路径进行定位,因为元素路径是唯一且......
  • git pull时遇到error: cannot lock ref 'xxx': ref xxx is at (一个commitID) but expec
    (30条消息)gitpull时遇到error:cannotlockref'xxx':refxxxisat(一个commitID)butexpected的解决办法_绯浅yousa的博客-CSDN博客 遇到的master有问题,同样删除......