首页 > 其他分享 ># yyds干货盘点 # 盘点一个dataframe读取csv文件失败的问题

# yyds干货盘点 # 盘点一个dataframe读取csv文件失败的问题

时间:2023-08-26 10:07:59浏览次数:36  
标签:yyds escapechar 粉丝 df 代码 dataframe 盘点 csv

大家好,我是皮皮。

一、前言

前几天在Python钻石群【心田有垢生荒草】问了一个Pandas数据处理的问题,一起来看看吧。

大佬们 求教个方法  现在有个数据量很大的dataframe  要吐csv格式  但结果总是串行  加了encoding='utf-8'还是没解决  还有其他方法么?

# yyds干货盘点 # 盘点一个dataframe读取csv文件失败的问题_分隔符

下图是他提供的图片:

# yyds干货盘点 # 盘点一个dataframe读取csv文件失败的问题_数据处理_02

二、实现过程

这里【提请问粘给图截报错贴代源码】大佬给了一个答案,串行应该是分隔符的问题,csv默认是以逗号,隔开,直接清洗分隔符即可。

后来粉丝自己给出了自己的尝试结果,如下:

quotechar做设置不太好用  

直接把换行符改了会报个错  need to escape, but no escapechar set  还得指定下escapechar
python
import re
df['字段名'] = df['字段名'].apply(lambda x: re.sub('\n',' ',x))
df.to_csv('data.csv', escapechar='\\')

这样可以

后来【巭孬嫑勥烎】也给了一个思路,如下图所示:

# yyds干货盘点 # 盘点一个dataframe读取csv文件失败的问题_Python基础_03

方法还是很多的。

三、总结

大家好,我是皮皮。这篇文章主要盘点了一个Pandas数据处理问题,文中针对该问题,给出了具体的解析和代码实现,帮助粉丝顺利解决了问题。

最后感谢粉丝【心田有垢生荒草】提问,感谢【提请问粘给图截报错贴代源码】、【巭孬嫑勥烎】给出的思路和代码解析,感谢【莫生气】等人参与学习交流。

【提问补充】温馨提示,大家在群里提问的时候。可以注意下面几点:如果涉及到大文件数据,可以数据脱敏后,发点demo数据来(小文件的意思),然后贴点代码(可以复制的那种),记得发报错截图(截全)。代码不多的话,直接发代码文字即可,代码超过50行这样的话,发个.py文件就行。

# yyds干货盘点 # 盘点一个dataframe读取csv文件失败的问题_Python教程_04

标签:yyds,escapechar,粉丝,df,代码,dataframe,盘点,csv
From: https://blog.51cto.com/u_13389043/7239652

相关文章

  • Pandas 使用教程 Series、DataFrame
    目录Series(一维数据)指定索引值使用key/value对象,创建对象设置Series名称参数DataFrame(二维数据)使用字典(key/value)创建loc属性返回指定行的数据Pandas一个强大的分析结构化数据的工具集,基础是Numpy(提供高性能的矩阵运算)Pandas可以从各种文件格式比如CSV、JSON、SQL、M......
  • # yyds干货盘点 # 通过pandas读取excel的数据,但是读取的结果显示后面四位变了?
    大家好,我是皮皮。一、前言前几天在Python最强王者群【wen】问了一个Pandas数据处理的问题,一起来看看吧。请教:通过pandas读取exlce的数据,其中,A列的数据为账号数字,原数据为6226093585801315,但是读取的结果显示6226093585800672,后面四位变了。df=pd.read_excel('销售数据.xlsx').conb......
  • 【Maven技术专题】「实战开发系列」盘点Maven项目中打包需要注意到的那点事儿
    Maven是什么Maven是一个流行的Java构建工具,它提供了许多插件来帮助开发人员自动化构建和部署Java应用程序。其中一个重要的插件是Maven打包插件,它可以将Java项目打包成可执行的JAR或WAR文件。在本文中,我们将深入探讨Maven打包插件的技术细节和使用方法。Maven打包插件的作用Maven打......
  • 【pandas小技巧】--DataFrame的显示样式
    上一篇介绍了DataFrame的显示参数,主要是对DataFrame中值进行调整。本篇介绍DataFrame的显示样式的调整,显示样式主要是对表格本身的调整,比如颜色,通过颜色可以突出显示重要的值,观察数据时可以更加高效的获取主要信息。下面介绍一些针对单个数据和批量数据的样式调整方式,让DataFram......
  • 盘点10个.NetCore实用的开源框架项目
    连续分享.Net开源项目快3个月了,今天我们一起梳理下10个,比较受到大家欢迎的.NetCore开源框架项目。更多开源项目,可以查看我创建的,.Net开源项目榜单!一个专注收集.Net开源项目的榜单​github.com/bianchenglequ/netcodetop1、FytSoaCms前后端分离CMS系统项目简介这是一个基于.N......
  • 盘点一个pandas读取excel数据并处理的小需求
    大家好,我是皮皮。一、前言前几天在Python最强王者群【wen】问了一个pandas数据处理的问题,一起来看看吧。通过pandas读取excel数据,其中两列是交易的备注信息,对A列数据筛选并把结果输出到C列。如果A列中有['吉利','奔驰','福特']三个字段,C列标记为‘汽车品牌’,如果A列有['NIKE','......
  • 盘点入职时,那些常见但不合规的操作
    最近解答了不少入职、离职的问题,都是大家常见但又通常不会注意的问题。这里记录一下,希望对大家有帮助。试用期公司不签合同,可不可以?可以呀,公司要给你送钱,我觉得很可以。劳动合同法有规定,入职一个月不签合同,公司需支付双倍薪资。而且是未来一年的每个月都要支付双倍。入职满一年还未......
  • 盘点 | 2022年汽车毫米波雷达大事件
    本期文章主要内容来自读者投稿,欢迎愿意分享雷达技术的读者向本平台投稿!作者:集萃深度感知所研究员周艺Github:https://github.com/ZHOUYI1023/awesome-radar-perception,内含众多雷达干货,欢迎访问。(国内毫米波雷达企业布局)一月份1、恩智浦宣布将旗舰 4D成像雷达芯片S32R45以及用......
  • 【pandas小技巧】--DataFrame的显示参数
    我们在jupyternotebook中使用pandas显示DataFrame的数据时,由于屏幕大小,或者数据量大小的原因,常常会觉得显示出来的表格不是特别符合预期。这时,就需要调整pandas显示DataFrame的方式。pandas为我们提供了很多调整显示方式的参数,具体参见文末附录中的链接。本篇介绍几个我经常用到......
  • 直播APP开发,协议盘点(五):实时传输协议RTP
    简介:在直播APP开发的过程中,搭建协议实现相应的功能是开发重点之一,而直播APP开发的协议是繁多且复杂的,所以从前段时间开始,我做了直播开发的协议篇,到今天为止我已经分享了四个协议,下面我为大家分享第五个协议:实时传输协议RTP。  一、实时传输协议RTP介绍:RTP协议又称为实时传......