首页 > 数据库 >R语言学习丨数据存储文件格式知识,CSV,EXCEL,XML,JSON,MYSQL等

R语言学习丨数据存储文件格式知识,CSV,EXCEL,XML,JSON,MYSQL等

时间:2022-09-23 09:47:53浏览次数:78  
标签:XML 文件 xlsx data EXCEL 文件格式 CSV 数据

今天笔记的主要学习内容是R语言里文件相关知识,包含CSV、Excel、XML、JSON、MySQL等。

CSV文件

基本介绍

CSV(Comma-Separated Values,字符分隔值,分隔字符也可以不是逗号)是一种非常流行的表格存储文件格式,这种格式适合储存中型或小型数据规模的数据。

CSV 本质是文本,格式简单:数据一行一行的用文本保存,每条记录被分隔符分隔为字段,每条记录都有同样的字段序列。

  • 规则:

1 开头是不留空,以行为单位。

2 可含或不含列名,含列名则居文件第一行。

3 一行数据不跨行,无空行。

4 以半角逗号(即,)作分隔符,列为空也要表达其存在。

5 列内容如存在半角引号(即"),替换成半角双引号("")转义,即用半角引号(即"")将该字段值包含起来。包含逗号, 双引号, 或是换行符的字段必须放在引号内。

6 文件读写时引号,逗号操作规则互逆。

7 内码格式不限,可为 ASCII、Unicode 或者其他。

8 不支持数字

9 不支持特殊字符

注意: CSV 文件最后一行需要保留一个空行,不然执行程序会有警告信息。

读取方法

read.csv()函数来进行读取,返回的结果为数据框格式。

data <- read.csv("xxx.csv", encoding="UTF-8")
# encoding默认为操作系统文字编码GBK,这里统一为UTF-8防止出错。
print(data)

读取后可以对数据进行查看,例如查看行数、列数,查询某列最大值、指定值,筛选等操作。

#输出data中col列的最大值
max_number = max(data$col)
#输出data中cola列等于xx同时colb列小于mm的数据。
out_n = subset(data,cola == xx & colb < mm )

保存方法

write.csv(待输出文件,文件路径) 函数将数据保存为csv文件。待保存的数据最好是数据框形式。

write.csv(data,"data.csv",row.names = FALSE)
# 将data数据输出保存为csv文件
# row.names = FALSE 表示不添加行名,默认为TRUE,一般不需要开启。

Excel文件

基本介绍

Excel是我们熟知的一种数据文件格式,非常通用,R语言中读写 Excel文件需要安装扩展包"xlsx"。

install.packages("xlsx", repos = "https://mirrors.ustc.edu.cn/CRAN/")
library("xlsx")

几乎所有的 Excel 软件与大多数表格软件一样支持 CSV 格式的数据,所以完全可以通过 CSV 与 R 交互,没必要再使用 Excel。

读取方法

# 读取 xxx.xlsx 第一个工作表数据
data <- read.xlsx("xxx.xlsx", sheetIndex = 1)
print(data)

保存方法

write.xlsx(
x,  #data.frame格式的待保存文件
file,  #保存路径
sheetName="Sheet1",  #工作表名称
col.names=TRUE,  #列名
row.names=TRUE,  #行名
append=FALSE,  #续写状态,TRUE为在源文件上补充,反之为覆盖
showNA=TRUE #显示缺失值
)

想要将data1写da.xlsx的sheet1、data2写da.xlsx的sheet2中,如下:

write.xlsx(x, file, sheetName="sheet1")
write.xlsx(x, file, sheetName="sheet2",append=TRUE) 

XML文件

XML 是可扩展标记语言(eXtensible Markup Language),被设计用来传输和存储数据。R语言读写 XML 文件需要安装扩展包:

install.packages("XML", repos = "https://mirrors.ustc.edu.cn/CRAN/")

查看XML文件

查看节点数据,某一行使用 [ ], 指定的行和列使用 [[ ]][[]]

# 载入 XML 包
library("XML")
# 设置文件名
out_1 <- xmlParse(file = "xxx.xml")
# 提取根节点
r_n <- xmlRoot(out_1)
# 查看第 2 个节点数据
print(rn[2])
# 查看第 2 个节点的第 3 个数据
print(rn[[2]][[3]])

转换XML数据

  • 转化为列表
library("XML")
xml_data <- xmlToList(out_1)
  • 转化为数据框
library("XML")
xml_dataframe <- xmlToDataFrame("xxx.xml")

JSON 文件

JSON 是存储和交换文本信息的语法,类似 XML,但比 XML 更小、更快,更易解析,R语言读写JSON 文件需要安装扩展包。

install.packages("rjson", repos = "https://mirrors.ustc.edu.cn/CRAN/")
library("rjson")

载入数据

result <- fromJSON(file = "xxx.json")

查看数据:输出第5行使用 [5], 输出3行4列使用 [[3]][[4]]

# 输出第 1 列的结果
print(result[1])

# 输出第 2 行第 2 列的结果
print(result[[2]][[2]])

转化数据

as.data.frame() 函数能够把json文件转化为数据框类型,方便后续处理。

# 载入 rjson 包
library("rjson")
# 获取 json 数据
result <- fromJSON(file = "xxx.json")
# 转为数据框
out_data <- as.data.frame(result)

MySQL 文件

MySQL是最流行的关系型数据库管理系统,R 语言读写 MySQL 文件需要安装扩展包。

install.packages("RMySQL", repos = "https://mirrors.ustc.edu.cn/CRAN/") #原版
install.packages("RMariaDB", repos = "https://mirrors.ustc.edu.cn/CRAN/") #复制版本

读取数据

library(RMySQL)
# dbname 为数据库名
mysqlconnection = dbConnect(MySQL(), user = 'root', password = 'xxxx', dbname = 'test',host = 'localhost')
# 查看数据
dbListTables(mysqlconnection)

使用 dbSendQuery 来读取数据库的表,结果集通过 fetch() 函数来获取。
library(RMySQL)

# 查询 sites 表
result = dbSendQuery(mysqlconnection, "select * from sites")

# 获取前面两行数据
data.frame = fetch(result, n = 2)

参考资料:https://www.runoob.com/r

本文由mdnice多平台发布

标签:XML,文件,xlsx,data,EXCEL,文件格式,CSV,数据
From: https://www.cnblogs.com/JewelZ/p/16721606.html

相关文章

  • Python复制Excel表格图片
    importosimporttimeimportpyautoguiimportwin32com.clientaswin32#发送函数deffz(app,bk):x,y=pyautogui.size()time.sleep(1)app.Application.Run......
  • scrapy框架之生成存储文件json,xml、csv文件
    以起点小说网举例子网址https://www.qidian.com/rank/yuepiao/默认大家已经生成好scrapy项目了,如果不会请参考我之前的文章scrapy框架之创建项目运行爬虫爬取网页获......
  • java实现设置Excel下拉框
    在使用Excel的时候用到了下拉框,实现的效果如下↓   在生成excel文件时,需要根据给出的下拉框选项列表动态生成下拉框。实现代码如下:privatevoidcreateSelect(XSS......
  • excel导出大数据量时服务器cpu过高tomcat卡死问题排查
      最近发现一套线上生产系统每周一都会出现宕机的现象,CPU很高,持续几分钟后tomcat直接卡死,系统无法登陆刷新无反应,重启后又回复正常,各种定位各种检查。最开始想到的是不是......
  • delphi TMS FlexCel 导出HTML
    TMSFlexCel导出HTML属性和方法TFlexCelHtmlExport用于将Excel文件导出为HTML的组件。unitFlexCel.RenderTFlexCelHtmlExport.CreateconstructorCreate(const......
  • uniapp小程序使用wxml-to-canvas生成图片
    开发框架:uniapp场景:小程序保存页面为图片并上传尝试方案:使用html-to-canvas,问题:小程序不允许操作dom,也无法获取dom标签,只能通过wx.createSelectorQuery()获取dom信息。......
  • tomcat server.xml标签功能详解
    1.具体说明  tomcat/conf/server.xml<!--属性说明port:指定一个端口,这个端口负责监听关闭Tomcat的请求shutdown:向以上端口发送的关闭服务器的命令字符串--><Se......
  • 前端 excel 表格导出
    传统的表格导出是直接获取数据,传表头,数据,自动下载表格。Blob.js和 Export2Excel.js 如果要导出这样的表格,那么需要重新写一个方法,核心在于  {s:{r:行开始,c:列......
  • 30套各行业可视化模板,比Excel好看千倍!
    可视化大屏的目的是通过将数据在屏幕上可视化,帮助用户熟悉业务数据,以便于高效地处理信息、快速做出应答。 以下行业案例模板均来源于:山海鲸可视化  1. 医疗行业进......
  • pandas 读取 excel 时指定某些列
    单列其中B就代表excel表中的列索引standard_word=pd.read_excel('合并.xlsx',usecols='B')多列其中C:AK就代表excel表中的列索引generalized_word=pd.read_exce......