首页 > 数据库 >在spark sql中解析json格式数据

在spark sql中解析json格式数据

时间:2024-02-27 22:24:07浏览次数:19  
标签:code json spm sql spark type id user

一、实际的sql语句:
select app_id,
event_time,
event,
spm_b_code,
spm_c_code,
spm_d_code,
spm_biz_type,
user_id,
user_id_type,
seat_code,
spm_content_type,
source
from xxx_yyy_zzz t
lateral view_json_tuplet(t.ext_props,
'user_id',
'user_id_type',
'seat_code',
'spm_content_type',
'source')a
as user_id,
user_id_type,
seat_code,
spm_content_type,
source

其中:ext_props为表t的一个字段,其中的数据为json格式。

二、相关的函数:
get_json_object
from_json
to_json
explode
selectExpr

标签:code,json,spm,sql,spark,type,id,user
From: https://www.cnblogs.com/chenhongyi/p/18038539

相关文章

  • ctfshow sql注入练习记录
    前言:继续做ctfshow的题了,本次为sql注入专题,从ctfshowweb177开始ctfshowweb177对空格,--+进行了过滤,注释符要换成#的url编码%23使用万能密码可以绕过1'or'1'='1';%23也可也使用/**/对空格进行绕过,进行联合查询-1'union/**/select/**/1,2,password/**/from/**/ctfshow_use......
  • asp.net quartz 定时器 miniapi sqlite数据库 cors
    dotnet_miniapi_quartz_ipaddress_check/Dtos.csusingSystem.ComponentModel.DataAnnotations;namespaceGameStore.Api.Dtos;publicrecordIpAddressDto(Guidid,stringip,stringname,stringdomain,......
  • 修复sqlite3数据库 database disk image is malformed
    databasediskimageismalformed错误sqlite是一个文本型数据库,其内部虽然做了异常处理,且官网上也说一般的异常不会引起数据库文件损坏,但是官方还是给出了有可能导致数据库文件损坏的情况。以下内容来自官网:SQLite经过非常仔细的测试,以帮助确保它尽可能没有错误。对每个SQ......
  • spark总结
    Spark是什么学习一个东西之前总要知道这个东西是什么。Spark是一个开源的大数据处理引擎,它提供了一整套开发API,包括流计算和机器学习。它支持批处理和流处理。Spark的一个显著特点是它能够在内存中进行迭代计算,从而加快数据处理速度。尽管Spark是用Scala开发的,但它也为......
  • Python脚本给数据库插入数据报错: raise errorclass(errno, errval) pymysql.err.Integ
    一、问题描述在SQL客户端插入数据时执行SQL语句INSERTINTOuser_xxx(id,uid,total,balance,wallet_type,ctime,utime)VALUES(0,'336448391',271,89000098,'coin',1708588247,1709007766);可以成功执行没报错;使用python脚本执行SQL语句INSERTINTOuser_xxx......
  • 使用Navicat打开加密SQLite数据库
    参考使用Navicat打开加密SQLite数据库_加密的数据库文件怎么打开-CSDN博客1.在Nuget搜索并安装SQLitePCLRaw.bundle_e_sqlcipher2.打开项目所在路径,按照下面的路径找到e_sqlcipher.dll文件(根据安装的Navicat版本选择win-x64或者win-x86)3.打开Navicat的安装目录,该目录下有个sq......
  • 弱结构化日志 Flink SQL 怎么写?SLS SPL 来帮忙
    作者:潘伟龙(豁朗)背景日志服务SLS是云原生观测与分析平台,为Log、Metric、Trace等数据提供大规模、低成本、实时的平台化服务,基于日志服务的便捷的数据接入能力,可以将系统日志、业务日志等接入SLS进行存储、分析;阿里云Flink是阿里云基于ApacheFlink构建的大数据分析平台......
  • 【MySQL-技术】MySQL数据库自动添加创建时间、更新时间(超详细版)
    参考文档:https://blog.csdn.net/A1924/article/details/117074646 一、MySQL5.7及以上版本(也适用于MySQL8.0+)方法下列给出了三种不同时期修改表的SQL,便于各位看官快捷开发(CV大法)1、新建表自动获取创建时间:timestampnotnulldefaultCURRENT_TIMESTAMP自动获取更新时间:times......
  • 从MySQL全备中恢复单库或单表数据
    一、全库备份恢复单个库的数据流程:1、从全备份文件中将需要的库的建表语句和INSERT数据拿出来,然后再导入sed-n'/^--CurrentDatabase:`库名`/,/^--CurrentDatabase:`/p'全备SQL>库.sql2、导入库中mysql库名<库.sql3、检查数据二、全库备份恢复单个表的数据流......
  • mysql和oracle执行sql时弹出变量输入框
    MySQL查询条件中实现弹窗输入变量这种属于客户端软件自身的交互,是由客户端自身实现的特性,所以不同客户端的实现方式也不一样,大致列几个常用客户端的SQL语句实现方式如下:PL/SQL:使用&引用变量弹框输入变量值wherePeriod_Start_Time>=to_date(&开始时间,'yyyymmddhh24')andPeriod_S......