首页 > 其他分享 >scala+spark把某列string类型转换dataFrame的日期,array<double>,array<string>格式

scala+spark把某列string类型转换dataFrame的日期,array<double>,array<string>格式

时间:2023-01-29 15:22:25浏览次数:33  
标签:类型转换 某列 arrayDouble withColumn replace array arrayString col

result = resdf.withColumn("Date", to_date(col("Date"), "yyyy-MM-dd")).\
withColumn("arrayDouble", regexp_replace(col("arrayDouble"), "\\]", "")).\
withColumn("arrayDouble", regexp_replace(col("arrayDouble"), "\\[", "")).\
withColumn("arrayDouble", functions.split(col("arrayDouble"), ",")).\
withColumn("arrayDouble", col("arrayDouble").cast("array<double>")). \
withColumn("arrayString", functions.split(col("arrayString"), ",")).\
withColumn("arrayString", col("arrayString").cast("array<string>"))
arrayDouble

标签:类型转换,某列,arrayDouble,withColumn,replace,array,arrayString,col
From: https://www.cnblogs.com/ivyJ/p/17072756.html

相关文章

  • 探究Array.of为浅拷贝
    发现一个很有意思的事/***Array.of是否为浅拷贝*/constarr=[1,{x:1}]constarrOf=Array.of(...arr)console.log('arr',arr)arrOf[0]='zjy'......
  • DataGrid 设置某列可见或只读
    在ASP.NET中使用DataGrid数据展示控件时,可以对数据进行展示,编辑,删除,在有些时候不希望某列被修改,进行如下设置   点击编辑后 想要如下效果 其中权限编码和权限分......
  • 线程安全集合CopyOnWriteArrayList
    解决多线程的集合有以下几种1、Vertor(所有方法上加synchronized锁)能保证多线程安全,数据一致,但性能低下一般不用2、Collections.synchronizedList方法返回的List 在方......
  • eBPF 入门实践教程七:捕获进程执行/退出时间,通过 perf event array 向用户态打印输出
    eBPF(ExtendedBerkeleyPacketFilter)是Linux内核上的一个强大的网络和性能分析工具,它允许开发者在内核运行时动态加载、更新和运行用户定义的代码。本文是eBPF入门......
  • Arrays.sort()降序排序
    默认的Java.util包中的Arrays.sort(),可以实现对java中的基本数据类型(byte、char、short、int、long、float、double、boolean)的数组进行升序排序。但如果要实现降序排列,则......
  • [LeetCode] 1664. Ways to Make a Fair Array
    Youaregivenanintegerarray nums.Youcanchoose exactlyone index(0-indexed)andremovetheelement.Noticethattheindexoftheelementsmaychangea......
  • 07 Arrays 类讲解
    Arrays类讲解代码packagecom.zhan.base04Array;importjava.util.Arrays;//ctrl+鼠标左键,查看Arrays类的具体内容(源码)再点击structure查看具体结构......
  • Qt类型转换与信号映射
    qobject_cast函数:qobject_cast<需要转换的类型>(待转换的类型->widget()); 一般要先转为部件类型(QWidget*),之后再转为需要的类型。 信号映射:https://blog.csdn.net/qq......
  • Strings and Arrays
    StringsandArraysFirst…aquicknote.Strings areprimitives.Theyjust act likeobjectswhenthey'recalledupontodosoconsts="I'mnotreallyan......
  • SQL提取表中某列字符长度为2的所有记录
    有一个表WB,包含两列character和wb //表中数据截图如下从图中可以看出wb列的各行数据的长度是不一样的,现在我想把wb列中长度为二,即只有两个字符的所有记录给提取出来,我们......