首页 > 编程语言 >【Python基础学习】7.文件和数据格式化

【Python基础学习】7.文件和数据格式化

时间:2023-01-28 23:11:36浏览次数:59  
标签:文件 格式化 Python 词云 ls txt 数据 fo

主要参考来源:慕课嵩天老师的“Python语言程序设计”[https://www.icourse163.org/course/BIT-268001?tid=1468130447]
格式化包括 字符串格式化和数据格式化
字符串格式化:将字符串按照一定规格和式样进行规范
数据格式化:将一组数据按照一定规格和式样进行规范(表示、存储、运算等)

7.1文件的使用

文件的类型

文件是数据的抽象和集合
文件是存储在辅助存储器上的数据序列
文件是数据存储的一种形式
文件展现形态:文本文件和二进制文件
文本文件VS二进制文件
文本文件和二进制文件只是文件的展示方式
本质上,所有文件都是二进制形式存储
形式上,所有文件采用两种方式展示
文件是数据的抽象和集合
文本文件:
由单一特定编码组成的文件,如UTF-8编码
由于存在编码,也被看成是存储着的长字符串
适用于例如:.txt文件、.py文件
二进制文件:
直接由比特0和1组成,没有统一字符编码
一般存在二进制0和1的组织结构,即文件格式
适用于例如:.png文件、.avi文件

#文本形式打开文件
tf = open("f.txt","rt")
print(tf.readline())
tf.close()
#二进制形式打开文件
bf = open("f.txt","rb")
print(bf.readline())
bf.close()

文件的打开和关闭

文件处理的步骤:打开-操作-关闭
文件的打开:

文件路径
可使用绝对路径或相对路径(\可以用/或者\\表示)
打开模式

文件的打开模式 描述
'r' 只读模式,默认值,如果文件不存在,返回FileNotFoundError
'w' 覆盖写模式,文件不存在则创建,存在则完全覆盖
'x' 创建写模式,文件不存在则创建,存在则返回FileExistsError
'a' 追加写模式,文件不存在则创建,存在则在文件最后追加内容
'b' 二进制文件模式
't' 文本文件模式,默认值
'+' 与r/w/x/a同时使用,在原功能的基础上增加同时读写的功能

文件的关闭

文件内容的读取

操作方法 描述
<f>.read(size=-1) 读入全部内容,如果给出参数,读入前size长度
<f>.readline(size=-1) 读入一行内容,如果给出参数,读入该行前size长度
<f>.readlines(hint=-1) 读入文件所有行,以每行元素形成列表,如果给出参数,读入前hint行
遍历全文本:方法一 一次读入,统一处理 ``` fname = input("请输入要打开的文件名称:") fo = open(fname,"r") txt = fo.read() #对全文txt进行处理 fo.close() ```
遍历全文本:方法二 按数量读入,逐步处理 ``` fname = input("请输入要打开的文件名称:") fo = open(fname,"r") txt = fo.read(2) while txt!="": #对txt进行处理 txt = fo.read(2) fo.close() ```
逐行遍历文件:方法一 一次读入,分行处理
fname = input("请输入要打开的文件名称:")
fo = open(fname,"r")
for line in fo.readlines():
    print(line)
fo.close()
分行读入,逐行处理
fname = input("请输入要打开的文件名称:")
fo = open(fname,"r")
for line in fo:
    print(line)
fo.close()

数据的文件写入

操作方法 描述
<f>.write(s) 向文件写入一个字符串或字节流
<f>.writelines(lines) 将一个元素权威字符串的列表写入文件
<f>.seek(offset) 改变当前文件操作指针的位置,offset含义如下:0-文件开头;1-当前位置;2-文件结尾
写入一个字符串列表
fo = open("output.txt","w+")
ls = ["中国","法国","美国"]
fo.writelines(ls)
fo.seek(0)
for line in fo:
    print(line)
fo.close()

7.2实例11:自动轨迹绘制

“自动轨迹绘制”问题分析

自动轨迹绘制
需求:根据脚本来绘制图形
不通过写代码而通过写数据绘制轨迹
数据脚本是自动化最重要的一步

“自动轨迹绘制”实例讲解

基本思路
步骤1:定义数据文件格式(接口)
步骤2:编写程序,根据文件接口解析参数绘制图形
步骤3:编制数据文件
数据接口定义非常具有个性色彩

#AutoTraceDraw.py
#AutoTraceDraw.py
import turtle as t
t.title("自动轨迹绘制")
t.setup(800,600,0,0)
t.pencolor("red")
t.pensize(5)
#数据读取
datals = []
f = open("data.txt")
for line in f:
    line = line.replace("\n","")
    datals.append(list(map(eval,line.split(","))))
f.close()
#自动绘制
for i in range(len(datals)):
    t.pencolor(datals[i][3],datals[i][4],datals[i][5])
    t.fd(datals[i][0])
    if datals[i][1]:
        t.right(datals[i][2])
    else:
        t.left(datals[i][2])    

“自动轨迹绘制”举一反三

理解方法思维
自动化思维:数据和功能分离,数据驱动的自动运行
接口化设计:格式化设计接口,清晰明了
二维数据应用:应用维度组织数据,二维数据最常用
应用问题的扩展
扩展接口设计,增加更多控制接口
扩展功能设计,增加弧形等更多功能
扩展应用需求,发展自动轨迹绘制到动画绘制

7.3一维数据的格式化和处理

数据组织的维度

一维数据
由对等关系的有序或无序数据构成,采用线性方式组织,对应列表、数组和集合等概念
二维数据
由多个一维数据构成,是一维数据的组合形式,表格是典型的二维数据,其中,表头是二维数据的一部分
多维数据
由一维数据或二维数据在新维度上扩展而成
高维数据
仅利用最基本的二元关系展示数据间的复杂结构

一维数据的表示

如果数据间有序:使用列表类型
列表类型可以表达一维有序数据
for循环可以遍历数据,进而对每个数据进行处理
如果数据间无序:使用集合类型
集合类型可以表达一维无序数据
for循环可以遍历数据,进而对每个数据进行处理

一维数据的存储

存储方式一:空格存储
使用一个或多个空格分隔进行存储,不换行
缺点:数据中不能存在空格
存储方式二:逗号分隔
使用英文半角逗号分割数据进行存储,不换行
缺点:数据中不能有英文逗号
存储方式三:其他方式
使用其他符号或符号组合分隔,建议采用特殊符号
缺点:需要根据数据特点定义,通用性较差

一维数据的处理

将存储的数据读入程序

从空格分隔的文件中读入数据
txt=open(fname).read()
ls=txt.split()
f.close()
从特殊符号分隔的文件中读入数据
txt=open(fname).read()
ls=txt.split("$")
f.close()

将程序表示的数据写入文件

采用空格分隔方式将数据写入文件
ls = ['中国','美国','日本']
f = open(fname,'w')
f.write(' '.join(ls))
f.close()
采用特殊分隔方式将数据写入文件
ls = ['中国','美国','日本']
f = open(fname,'w')
f.write('$'.join(ls))
f.close()
##7.4二维数据的格式化和处理 ###二维数据的表示 **使用列表类型** 列表类型可以表达二维数据 使用二维列表 使用两层for循环遍历每个元素 外层列表中每个元素可以对应一行,也可以对应一列 **数据维度是数据的组织形式** 一维数据:列表和集合类型 二维数据:列表类型 ###CSV格式与二维数据存储 **CSV:Common-Separated Values** 国际通用的一二维数据存储格式,一般.csv扩展名 每行一个一维数据,采用逗号分隔,无空行 Excel和一般编辑软件都可以读入或另存为csv文件 如果某个元素缺失,逗号仍要保留 二维数据的表头可以作为数据存储,也可以另行存储 逗号为英文半角逗号,逗号与数据之间无额外空格 **行列存储方式** 按行存或者按列存都可以,具体由程序决定 一般索引习惯:ls[row][column],先行后列 根据一般习惯,外层列表每个元素是一行,按行存 ###二维数据的处理
从CSV格式的文件中读入数据
fo = open(fname)
ls = []
for line in fo:
    line = line.replace("\n","")
    ls.append(line.split(","))
fo.close()
              
将数据写入CSV格式的文件
ls = [[],[],[]]#二维列表
fo = open(fname,'w')
for item in ls:
    f.write(','.join(item)+'\n')
f.close()
采用二层循环
ls = [[1,2],[3,4],[5,6]]#二维列表
for row in ls:
    for column in row:
        print(column)   

7.5模块6:wordcloud库的使用

wordcloud库基本介绍

wordcloud是优秀的词云展示第三方库
词云以词语为基本单位,更加直观和艺术地展示文本
wordcloud库的安装
(cmd命令行)pip install wordcloud
如上述方法不行,可参考链接:
Wordcloud库的安装—QuieT.921

wordcloud库使用说明

wordcloud库把词云当作一个WordCloud对象
wordlcoud.WordCloud()代表一个文本对应的词云
可以根据文本中词语出现的频率等参数绘制词云
词云的绘制形状、尺寸和颜色都可以设定
wordcloud库常规方法
w=wordcloud.WordCloud()
以WordCloud对象为基础
配置参数、加载文本、输出文件

方法 描述
w.generate(txt) 向WordCloud对象w中加载文本txt
w.to_file(filename) 将词云输出为图像文件,.png或.jpg格式
import wordcloud
c = wordcloud.WordCloud()
c.generate("wordcloud by Python")
c.to_file("pywordcloud.png")

配置对象参数:w = wordcloud.WordCloud(<参数>)

参数 描述
width 指定词云对象生成图片的宽度,默认400像素
height 指定词云对象生成图片的高度,默认200像素
min_font_size 指定词云中字体的最小字号,默认4号
max_font_size 指定词云中字体的最大字号,根据高度自动调节
font_step 指定词云中字体字号的步进间隔,默认为1
font_path 指定字体文件的路径,默认None
max_words 指定词云显示的最大单词数量,默认200
stop_words 指定词云的排除词列表,即不显示的单词列表
mask 指定词云形状,默认为长方形,需要引用imread()函数
background_color 指定词云图片的背景颜色,默认为黑色

实例-英文词云
实例-中文词云

7.6实例12:政府工作报告词云

“政府工作报告词云”问题分析

需求:对于政府工作报告等政策文件,如何直观理解
体会直观的价值:生成词云&优化词云
政府工作报告等文件-->有效展示的词云
txt:https://python123.io/resources/pye/新时代中国特色社会主义.txt

“政府工作报告词云”实例讲解

基本思路
步骤1:读取文件、分词整理
步骤2:设置并输出词云
步骤3:观察结果,优化迭代

#GovRptWordCloudV1.py
import jieba
import wordcloud
f = open("新时代中国特色社会主义.txt","r",encoding="utf-8")
t = f.read()
f.close()
ls = jieba.lcut(t)
txt = " ".join(ls)
w = wordcloud.WordCloud(font_path="msyh.ttc",\
                        width =1000,height=700,background_color="white",\
                        )
w.generate(txt)
w.to_file("grwordcloud.png")
#GovRptWordCloudV2.py
import jieba
import wordcloud
from imageio import imread
mask = imread("fivestar.png") #image_new.ico
f = open("新时代中国特色社会主义.txt","r",encoding="utf-8")
t = f.read()
f.close()
ls = jieba.lcut(t)
txt = " ".join(ls)
w = wordcloud.WordCloud(font_path="msyh.ttc",mask = mask,\
                        width =1000,height=700,background_color="white",\
                        max_words = 15)
w.generate(txt)
w.to_file("grwordcloud.png")

“政府工作报告词云”举一反三

扩展能力
了解wordcloud更多参数,扩展词云能力
特色词云:设计一款属于自己的特色词云风格
更多文件:用更多文件练习词云生成

标签:文件,格式化,Python,词云,ls,txt,数据,fo
From: https://www.cnblogs.com/HumdrumVictor/p/17069400.html

相关文章

  • Python批量改文件名
    对以下路径中的文件名批量修改。一、读取指定路径中的文件名#导入标准库importos#读取文件名filesDir="路径……"fileNameList=os.listdir(filesDir)#输......
  • python-Couldn‘t find a tree builder with the features you requested: lxml
    执行BeautifulSoup(content,features='lxml')时报错,按照网上的方法安装lxml、重新安装lxml、安装指定版本lxml,都无效。最后发现只是PyCharm设置中project的pyth......
  • VSCode无法跳转C++头文件解决
    问题VSCode安装c++插件后可以在源码与头文件之间跳转(Alt+O)非常方便。突然某天特定的workspace失效,无论如何重装插件活VSCode都不能复原。解决既然其他workspace正常......
  • 头文件应包含什么,不应包含什么(转)
    转自:https://blog.csdn.net/ALONE_WORK/article/details/126986443 文章知识点来自《大规模C++程序设计》。当程序具有规模的时候,编译、链接的速度跟包含的头文件......
  • Python语言基础—常用运算符总结
    系列文章目录......
  • 2021年最新Python讲义:面向对象(OOP)基本概念
    面向对象(OOP)基本概念面向对象编程——​​ObjectOrientedProgramming​​​简写​​OOP​​目标了解面向对象基本概念01.面向对象基本概念我们之前学习的编程方......
  • 终于把Python库全部整理出来了,非常全面!
    Python库汇总篇!建议先马后看~文章目录​​前言​​​​学习爬虫需要掌握哪些库呢?​​​​通用​​​​网络爬虫框架​​​​HTML/XML解析器​​​​浏览器自动化与仿真​​......
  • Linux入门,Linux入门教程:Linux文件管理
    一、文件命名规则1、可以使用哪些字符?除了字符“/”之外,所有的字符都可以使用,但是要注意,在目录名或文件名中,不建议使用某些特殊字符,例如,<、>、?、*等,尽量避免使用。如果......
  • Python 中的模块
    Python模块是一个Python文件,定义了各种功能接口。把复杂的功能封装为模块(又称为库),将功能实现的细节隐藏起来,使用该模块(库)的程序员不需要了解实现的细节。通过调用模块封......
  • Python基础——第一部分
    x进制类型定义\(0b****\):用二进制定义整型\(0o****\):用八进制定义整型\(0x****\):用十六进制定义整型a=0b1111b=15c=0o17d=0x0F输出:转换\(bin()\):......