首页 > 其他分享 ># yyds干货盘点 # 盘点一个dataframe读取csv文件失败的问题

# yyds干货盘点 # 盘点一个dataframe读取csv文件失败的问题

时间:2023-08-11 23:32:13浏览次数:42  
标签:yyds escapechar 粉丝 df 代码 dataframe 盘点 csv

大家好,我是皮皮。

一、前言

前几天在Python钻石群【心田有垢生荒草】问了一个Pandas数据处理的问题,一起来看看吧。

大佬们 求教个方法  现在有个数据量很大的dataframe  要吐csv格式  但结果总是串行  加了encoding='utf-8'还是没解决  还有其他方法么?

# yyds干货盘点 # 盘点一个dataframe读取csv文件失败的问题_Python基础

下图是他提供的图片:

# yyds干货盘点 # 盘点一个dataframe读取csv文件失败的问题_Pandas_02

二、实现过程

这里【提请问粘给图截报错贴代源码】大佬给了一个答案,串行应该是分隔符的问题,csv默认是以逗号,隔开,直接清洗分隔符即可。

后来粉丝自己给出了自己的尝试结果,如下:

quotechar做设置不太好用  

直接把换行符改了会报个错  need to escape, but no escapechar set  还得指定下escapechar
python
import re
df['字段名'] = df['字段名'].apply(lambda x: re.sub('\n',' ',x))
df.to_csv('data.csv', escapechar='\\')

这样可以

后来【巭孬嫑勥烎】也给了一个思路,如下图所示:

# yyds干货盘点 # 盘点一个dataframe读取csv文件失败的问题_数据处理_03

方法还是很多的。

三、总结

大家好,我是皮皮。这篇文章主要盘点了一个Pandas数据处理问题,文中针对该问题,给出了具体的解析和代码实现,帮助粉丝顺利解决了问题。

最后感谢粉丝【心田有垢生荒草】提问,感谢【提请问粘给图截报错贴代源码】、【巭孬嫑勥烎】给出的思路和代码解析,感谢【莫生气】等人参与学习交流。

【提问补充】温馨提示,大家在群里提问的时候。可以注意下面几点:如果涉及到大文件数据,可以数据脱敏后,发点demo数据来(小文件的意思),然后贴点代码(可以复制的那种),记得发报错截图(截全)。代码不多的话,直接发代码文字即可,代码超过50行这样的话,发个.py文件就行。

# yyds干货盘点 # 盘点一个dataframe读取csv文件失败的问题_数据_04

标签:yyds,escapechar,粉丝,df,代码,dataframe,盘点,csv
From: https://blog.51cto.com/u_13389043/7054112

相关文章

  • FPmarkets澳福盘点市场上10种期货合约,快来看看你了解几种
    在金融和商品市场上有许多不同类型的期货合约,今天就和 FPmarkets澳福一起盘点市场上10种期货合约,快来看看你了解几种。一.金融期货  金融期货合约是最具流动性的金融工具,允许在未来以今天预先确定的价格购买/出售资产。二.外汇期货    要想在全世界进行交易,不想有那么多的门......
  • #yyds干货盘点#nginx中fastcgi_params文件及相应配置
    在ubuntu服务器安装完php7.4-fdm和nginx后,发现fastcgi_params没有生成,也可能是二次安装的关系。所以临时去网上找了个手工建上。特意在这里记录下,避免下次再遇到同样的问题。#脚本文件请求的路径,也就是说当访问127.0.0.1/index.php的时候,需要读取网站根目录下面的index.php文件,如......
  • dataframe删除特定条件的行
    dataframe删除特定条件的行单条件删除行importpandasaspda=['Mary','Sellina','Zaca','mike','golla']b=[26,28,27,30,40]data={'name':a,'age':b}df=pd.DataFrame(data)print(df.head(......
  • 盘点一个列表相加的Python基础题目
    大家好,我是皮皮。一、前言前几天在明佬的Python群【dq】问了一个Python列表基础处理的问题,一起来看看吧。下图是他的原始列表,想通过左边的列表,得到右边的合并列表。二、实现过程这里【流水线】和【hclw】大佬给了一个答案,如下图所示:如此顺利地解决了粉丝的问题。后来他自......
  • # yyds干货盘点 # 盘点一个列表相加的Python基础题目
    大家好,我是皮皮。一、前言前几天在明佬的Python群【dq】问了一个Python列表基础处理的问题,一起来看看吧。下图是他的原始列表,想通过左边的列表,得到右边的合并列表。二、实现过程这里【流水线】和【hclw】大佬给了一个答案,如下图所示:如此顺利地解决了粉丝的问题。后来他自己也写了个......
  • 将dataframe两列转为字典
    将dataframe两列转为字典importpandasaspda=['Mary','Sellina','Zaca']b=[26,28,27]data={'name':a,'age':b}df=pd.DataFrame(data)将两列转为字典name_age_dict=df.set_index(['name'])['age'......
  • #yyds干货盘点# LeetCode程序员面试金典:添加与搜索单词 - 数据结构设计
    题目:请你设计一个数据结构,支持添加新单词和查找字符串是否与任何先前添加的字符串匹配。实现词典类WordDictionary:WordDictionary()初始化词典对象voidaddWord(word)将word添加到数据结构中,之后可以对它进行匹配boolsearch(word)如果数据结构中存在字符串与 word匹......
  • Pandas学习挑战第三关-数据结构DataFrame
    Pandas数据结构-DataFrameDataFrame是一个表格型的数据结构,它含有一组有序的列,每列可以是不同的值类型(数值、字符串、布尔型值)。DataFrame既有行索引也有列索引,它可以被看做由Series组成的字典(共同用一个索引)。DataFrame构造方法如下:pandas.DataFrame(data,index,column......
  • DataFrame 指定某列的格式
    importpandasaspd#创建示例DataFramedata={'Name':['Alice','Bob','Charlie'],'Age':[25.0,30.0,35.0]#注意:这里的年龄列是浮点数类型}df=pd.DataFrame(data)#将'Age'列的数据类型设置为整数df['......
  • DataFrame 按行转json数据
    importpandasaspd#创建示例DataFramedata={'Name':['Alice','Bob','Charlie'],'Age':[25,30,35],'Occupation':['Engineer','Teacher','Doctor']......