首页 > 数据库 >openGauss学习笔记-167 openGauss 数据库运维-备份与恢复-导入数据-使用gsql元命令导入数据

openGauss学习笔记-167 openGauss 数据库运维-备份与恢复-导入数据-使用gsql元命令导入数据

时间:2023-12-20 20:31:46浏览次数:46  
标签:gsql CSV quote 导入 分隔符 openGauss copy 数据

openGauss学习笔记-167 openGauss 数据库运维-备份与恢复-导入数据-使用gsql元命令导入数据

gsql工具提供了元命令\copy进行数据导入。

167.1 \copy命令

\copy命令格式以及说明参见表 1 \copy元命令说明

表 1 \copy元命令说明

语法 说明
\copy { table [ ( column_list ) ] |( query ) } { from | to } { filename |stdin | stdout | pstdin | pstdout }[ with ] [ binary ] [ delimiter[ as ] 'character' ] [ null [ as ] 'string' ][ csv [ header ] [ quote [ as ]'character' ] [ escape [ as ] 'character' ][ force quote column_list | * ] [ forcenot null column_list ] ] 在任何gsql客户端登录数据库成功后,可以使用该命令进行数据的导入/导出。但是与SQL的COPY命令不同,该命令读取/写入的文件是本地文件,而非数据库服务器端文件;所以,要操作的文件的可访问性、权限等,都是受限于本地用户的权限。说明:\COPY只适合小批量、格式良好的数据导入,不会对非法字符做预处理,也无容错能力,无法适用于含有异常数据的场景。导入数据应优先选择COPY。

167.2 参数说明

  • table

    表的名称(可以有模式修饰)。

    取值范围:已存在的表名。

  • column_list

    可选的待拷贝字段列表。

    取值范围:任意字段。如果没有声明字段列表,将使用所有字段。

  • query

    其结果将被拷贝。

    取值范围:一个必须用圆括弧包围的SELECT或VALUES命令。

  • filename

    文件的绝对路径。执行copy命令的用户必须有此路径的写权限。

  • stdin

    声明输入是来自标准输入。

  • stdout

    声明输出打印到标准输出。

  • pstdin

    声明输入是来自gsql的标准输入。

  • pstout

  • 声明输出打印到gsql的标准输出。

  • binary

    使用二进制格式存储和读取,而不是以文本的方式。在二进制模式下,不能声明DELIMITER、NULL、CSV选项。指定binary类型后,不能再通过option或copy_option指定CSV、FIXED、TEXT等类型。

  • delimiter [ as ] 'character'

    指定数据文件行数据的字段分隔符。

    img 说明:

    • 分隔符不能是\r和\n。
    • 分隔符不能和null参数相同,CSV格式数据的分隔符不能和quote参数相同。
    • TEXT格式数据的分隔符不能包含: .abcdefghijklmnopqrstuvwxyz0123456789。
    • 数据文件中单行数据长度需<1GB,如果分隔符较长且数据列较多的情况下,会影响导出有效数据的长度。
    • 分隔符推荐使用多字符和不可见字符。多字符例如'$^&';不可见字符例如0x07、0x08、0x1b等。

    取值范围:支持多字符分隔符,但分隔符不能超过10个字节。

    默认值:

    • TEXT格式的默认分隔符是水平制表符(tab)。
    • CSV格式的默认分隔符为“,”。
    • FIXED格式没有分隔符。
  • null [ as ] 'string'

    用来指定数据文件中空值的表示。

    取值范围:

    • null值不能是\r和\n,最大为100个字符。
    • null值不能和分隔符、quote参数相同。

    默认值:

    • CSV格式下默认值是一个没有引号的空字符串。
    • 在TEXT格式下默认值是\N。
  • header

    指定导出数据文件是否包含标题行,标题行一般用来描述表中每个字段的信息。header只能用于CSV,FIXED格式的文件中。

    在导入数据时,如果header选项为on,则数据文本第一行会被识别为标题行,会忽略此行。如果header为off,而数据文件中第一行会被识别为数据。

    在导出数据时,如果header选项为on,则需要指定fileheader。fileheader是指定导出数据包含标题行的定义文件。如果header为off,则导出数据文件不包含标题行。

    取值范围:true/on,false/off。

    默认值:false

  • quote [ as ] 'character'

    CSV格式文件下的引号字符。

    默认值:""。

    img 说明:

    • quote参数不能和分隔符、null参数相同。
    • quote参数只能是单字节的字符。
    • 推荐不可见字符作为quote,例如0x07、0x08、0x1b等。
  • escape [ as ] 'character'

    CSV格式下,用来指定逃逸字符,逃逸字符只能指定为单字节字符。

    默认值:双引号。当与quote值相同时,会被替换为'\0'。

  • force quote column_list | *

    在CSV COPY TO模式下,强制在每个声明的字段周围对所有非NULL值都使用引号包围。NULL输出不会被引号包围。

    取值范围:已存在的字段。

  • force not null column_list

    在CSV COPY FROM模式下,指定的字段输入不能为空。

    取值范围:已存在的字段。

  • force null column_list

    在CSV COPY FROM模式下,指定的字段输入表示空值的字符串设为空。

    取值范围:已存在的字段。

167.3 任务示例

  1. 创建目标表a。

    CREATE TABLE a(a int);
    
  2. 导入数据。

    从stdin拷贝数据到目标表a。

    \copy a from stdin;
    

    出现>>符号提示时,输入数据,输入.时结束。

    Enter data to be copied followed by a newline.
    End with a backslash and a period on a line by itself.
    >> 1
    >> 2
    >> \.
    

    查询导入目标表a的数据。

    openGauss=# SELECT * FROM a;
     a 
    ---
     1
     2
    (2 rows)
    

    从本地文件拷贝数据到目标表a。假设存在本地文件/home/omm/2.csv。

    • 分隔符为“,”。
    • 在导入过程中,若数据源文件比外表定义的列数多,则忽略行尾多出来的列。
    \copy a FROM '/home/omm/2.csv' WITH (delimiter',',IGNORE_EXTRA_DATA 'on');
    

标签:gsql,CSV,quote,导入,分隔符,openGauss,copy,数据
From: https://blog.51cto.com/shuchaoyang/8910823

相关文章

  • 导入一个没有合并项 的excel表格
    导入excel///<summary>///导入设计地层单元数据-量纲设置///</summary>///<paramname="planId">方案ID</param>///<paramname="lists">录入基本信息</param>///<paramname="errorM......
  • beanshell导入java文件
    beanshell导入java文件beanshell可以读取class格式的文件步骤:    a、添加BeanShell预处理程序    b、请求调用   beanshell可以读取java格式的文件步骤:    a、添加BeanShell预处理程序    b、请求调用  ......
  • 导入jar包
    导入jar包(MD5加密包)1、直接生成选择函数助手,选择__digest,填写算法和密码,点击生成 2、开发直接给的jar包步骤:a、从测试计划导入jar包       b、添加beanShell预处理程序      c、http请求调用   3、从jmeter的lib\ext目录读取jar包......
  • 爬虫-今日头条我的收藏-增量式导入到mongodb(三)
    背景:续接前文,当我们有了原始数据之后,自然会想如何利用这些数据。这些文件数据都是json格式,打开一个文本文件眼睛都要看花。所以想把这些数据导入到对应的数据库中,市面上几乎所有数据库都支持json格式存储。随着时间的推移,用户不断有新的收藏,这样就不断产生新的收藏文件。需要不......
  • Postgresql中PL/pgSQL的游标、自定义函数、存储过程的使用
    场景Postgresql中PL/pgSQL代码块的语法与使用-声明与赋值、IF语句、CASE语句、循环语句:https://blog.csdn.net/BADAO_LIUMANG_QIZHI/article/details/135090263上面讲了基本语法,下面记录游标、自定义函数、存储过程的使用。注:博客:https://blog.csdn.net/badao_liumang_qizhi......
  • 如何解决excel导入大文件报错
    开发过程中我们经常会遇到Excel导入大文件报错的问题,经过不断的摸索,我发现我们可以利用缓存区来实现大文件的上传,下面是我本人封装的一个实现工具,有兴趣的小伙伴可以看看,希望能对大家有所帮助!publicclassExcelImportBigDataUtil{/***每次放入缓冲区最大行数......
  • openGauss学习笔记-165 openGauss 数据库运维-备份与恢复-导入数据-使用COPY FROM STD
    openGauss学习笔记-165openGauss数据库运维-备份与恢复-导入数据-使用COPYFROMSTDIN导入数据-通过本地文件导入导出数据165.1示例1:通过本地文件导入导出数据在使用JAVA语言基于openGauss进行二次开发时,可以使用CopyManager接口,通过流方式,将数据库中的数据导出到本地文件或者......
  • python中导入模块/包的几种方式
    一、模块的导入方式模块就是.py类型的Python文件导入时不需要.py后缀,直接导入文件名即可1.利用import直接导入:语法:importmodule_name使用方式:module_name.class_name或者module.func_name2.利用import导入模块并设置一个别名语法:importmodule_nameasXXX使用方式:XXX.cl......
  • Postgresql中PL/pgSQL代码块的语法与使用-声明与赋值、IF语句、CASE语句、循环语句
    场景PostGresSQL简介与Windows上的安装教程:https://blog.csdn.net/BADAO_LIUMANG_QIZHI/article/details/113981563除了标准SQL语句之外,PostgreSQL还支持使用各种过程语言(例如PL/pgSQL、C、PL/Tcl、PL/Python、PL/Perl、PL/Java等)创建复杂的过程和函数,称为存储过程(Store......
  • HbuilderX配置Git插件并导入项目和上传代码
    一、安装git从 git官网 下载windows版本的git,然后进行安装,一般不需要只需要默认next就可以了二、安装TortoiseGit工具到 TortoiseGit官网 下载对应的TortoiseGit包进行安装【一般使用默认设置即可:一路next下去,TortoiseGit安装完毕!】三、安装TortoiseGit-LanguagePack中文语言......