首页 > 数据库 >spark sql导出数据为excel文件和csv文件

spark sql导出数据为excel文件和csv文件

时间:2024-05-29 22:47:54浏览次数:26  
标签:文件 index df excel sql table csv

一、利用to_csv函数导出数据为csv文件:
df = spark.sql('''
select * from table;''')
df.toPandas().to_csv('table.csv', index=False)
其中:index=False参数表示在保存时不包括行索引。

二、利用to_excel函数导出数据为excel文件:
df = spark.sql('''
select * from table;''')
df.toPandas().to_excel('table.xlsx', index=False, float_format="%g")
其中:index=False参数表示在保存时不包括行索引。

三、to_csv函数和to_excel函数的区别:
to_csv函数在小数点最后一位为0时,会省略这些0;而to_excel不会

标签:文件,index,df,excel,sql,table,csv
From: https://www.cnblogs.com/chenhongyi/p/18221272

相关文章

  • spark sql中的FORMAT_NUMBER和ROUND函数
    一、例子:FORMAT_NUMBER(ROUND(value,2),'0.00')二、ROUND函数的作用:用于将数值字段舍入到指定的小数位数,如果未指定小数位数,则默认将数字舍入到最接近的整数。三、FORMAT_NUMBER函数的作用:用于将数字格式化为指定的格式,而不是进行舍入。四、两者的区别:如果小数点后面的数字,最......
  • LlamaFS自组织文件管理器
    LlamaFS是一个自组织文件管理器。它可以基于文件内容和修改时间等属性自动重命名和组织您的文件。它能让你不把时间花在对文件的复制、粘贴、重命名、拷贝、排序等简单操作上。有幸在Github上看到LlamaFS这个repo,感慨万千。技术简介LlamaFS以批处理模式和监视模式两种模式运行。......
  • Excel中怎样将第一行建立好的规则套用到每一行?
    考虑使用条件格式来完成,有两种方式可以尝试:一、一次性创建条件格式1.选中需要设置条件格式的区域,如果是不连续的区域,可以按住Ctrl键,然后用鼠标依次选中需要的数据区域2.点击开始选项卡,条件格式,在下拉选项中,点一下新建规则,3.在弹出的对话框中选中使用公式确定要设置格......
  • Excel某列中有不连续的数据,怎么提取数据到新的列?
    这里演示使用高级筛选的例子:1.设置筛选条件在D2单元格输入公式:=COUNTA(A4)>0这里有两个注意事项:*.公式是设置在D2单元格,D1单元格保持为空,**.为什么公式中选A4单元格,A列的第一个数据在A3单元格,我们将这个单元格视为A列数据的列标题,COUNTA函数的的引用单元格为列标题下......
  • excel表格里怎样不删除0,又不显示0呢?
    在单元格里不显示0,大体上有这么几种方法:1.设置单元格自定义格式选中数据区域,鼠标右键,点一下设置单元格格式,选中数字,自定义,在右侧的类型栏,设置格式:[=0]"";G/通用格式这样设置,如果单元格内数据在不是0的情况下需要改成其它格式,则要重新按上述步骤设置。2.修改excel设置......
  • flask 配合 sqlite3 维护数据库的数据方法
    importjsonimportsqlite3con=sqlite3.connect("Test.db")cur=con.cursor()#==https://blog.csdn.net/GuoQiZhang/article/details/91344509数据库案例.cur.execute("CREATETABLEIFNOTEXISTSmed(idINTEGERPRIMARYKEY,dataTEXT)")c......
  • spark sql中的几种数据库join
    一、连接类型:InnerJoin:内连接;FullOuterJoin:全外连接;LeftOuterJoin:左外连接;RightOuterJoin:右外连接;LeftSemiJoin:左半连接;LeftAntiJoin:左反连接;NaturalJoin:自然连接;Cross(orCartesian)Join:交叉(或笛卡尔)连接。二、crossjoin的例子:WITH......
  • DVWA-SQL Injection (Blind)
    SQL盲注的两种主要形式是基于布尔的盲注和基于时间的盲注,本篇主要记录盲注的知识,基础知识可以参考DVWA-SQLInjectionLow首先进行注入点测试,此处是字符型注入布尔盲注攻击者通过注入条件语句,利用应用程序中基于布尔条件的判断来获取有关数据库内容的信息。攻击者可以尝......
  • spark sql实现“平均月活”和“平均周活”及相关函数
    一、平均月活:SELECTdate_format(time,'yyyy-MM')AScurrent_month,COUNT(DISTINCTuser_id)ASmonth_active_user_numFROMtableWHEREtime>=trunc(now(),'YEAR')GROUPBYdate_format(time,'yyyy-MM');二、平均周活:WITHweek_......
  • 记录kali搭建Apache+MySQL+PHP
    一.打开相应的服务kali中已经预先安装好了Apache2,MySQL和PHP,所以我们在使用的时候只需要打开相应的服务即可。1.打开Apache2服务kali预先安装的Apache在etc文件里,我们ls显示文件后发现了apache2文件夹,进入到该文件夹后启动服务,命令如下:/etc/init.d/apache2start检测服务......