首页 > 其他分享 >openGauss行存与列存

openGauss行存与列存

时间：2024-03-14 17:56:47浏览次数：22  
标签：10 26 column 08 openGauss mydb id 行存 列存

openGauss 行存与列存

列存表限制

  • 列存表不支持数组。
  • 列存表的数量建议不超过 1000 个。
  • 列存表的表级约束只支持 PARTIAL CLUSTER KEY，不支持主外键等表级约束。
  • 列存表的字段约束只支持 NULL、NOT NULL 和 DEFAULT 常量值。
  • 列存表不支持 alter 命令修改字段约束。
  • 列存表支持 delta 表，受参数 enable_delta_store 控制是否开启，受参数 deltarow_threshold 控制进入 delta 表的阀值。

列存相关参数

  • cstore_buffers

    列存所使用的共享缓冲区的大小，默认值：32768KB。

  • partition_mem_batch

    指定缓存个数，为了优化对列存分区表的批量插入，在批量插入过程中会对数据进行缓存后再批量写盘。默认值：256 。

  • partition_max_cache_size

    指定数据缓存区大小，为了优化对列存分区表的批量插入，在批量插入过程中会对数据进行缓存后再批量写盘。默认值：2GB。

  • enable_delta_store

    为了增强列存单条数据导入的性能和解决磁盘冗余问题，是否需要开启列存 delta 表功能，与参数 DELTAROW_THRESHOLD 配合使用。默认值：off。

建表语法

openGauss 创建普通表默认是未压缩的行存表。

mydb=# \dt
No relations found.
mydb=# create table test_t(id serial primary key ,col1 varchar(8),col2 decimal(6,2),create_time timestamptz not null default now());
NOTICE:  CREATE TABLE will create implicit sequence "test_t_id_seq" for serial column "test_t.id"
NOTICE:  CREATE TABLE / PRIMARY KEY will create implicit index "test_t_pkey" for table "test_t"
CREATE TABLE
mydb=# \dt+
                                     List of relations
 Schema |  Name  | Type  | Owner |  Size   |             Storage              | Description
--------+--------+-------+-------+---------+----------------------------------+-------------
 public | test_t | table | omm   | 0 bytes | {orientation=row,compression=no} |
(1 row)

mydb=#

创建列存表，需要指定orientation=column，默认压缩级别是 low。

mydb=# create table column_t(id serial,col1 varchar(8),col2 decimal(6,2),create_time timestamptz not null default now()) with (orientation=column );
NOTICE:  CREATE TABLE will create implicit sequence "column_t_id_seq" for serial column "column_t.id"
CREATE TABLE
mydb=# \dt+
                                        List of relations
 Schema |   Name   | Type  | Owner |  Size   |               Storage                | Description
--------+----------+-------+-------+---------+--------------------------------------+-------------
 public | column_t | table | omm   | 16 kB   | {orientation=column,compression=low} |
 public | test_t   | table | omm   | 0 bytes | {orientation=row,compression=no}     |
(2 rows)

mydb=#mydb=# \d+ column_t
                                                        Table "public.column_t"
   Column    |           Type           |                       Modifiers                       | Storage  | Stats target | Description
-------------+--------------------------+-------------------------------------------------------+----------+--------------+-------------
 id          | integer                  | not null default nextval('column_t_id_seq'::regclass) | plain    |              |
 col1        | character varying(8)     |                                                       | extended |              |
 col2        | numeric(6,2)             |                                                       | main     |              |
 create_time | timestamp with time zone | not null default now()                                | plain    |              |
Has OIDs: no
Options: orientation=column, compression=low

列存表添加局部聚簇存储列。

mydb=# \d+ column_t
                                                        Table "public.column_t"
   Column    |           Type           |                       Modifiers                       | Storage  | Stats target | Description
-------------+--------------------------+-------------------------------------------------------+----------+--------------+-------------
 id          | integer                  | not null default nextval('column_t_id_seq'::regclass) | plain    |              |
 col1        | character varying(8)     |                                                       | extended |              |
 col2        | numeric(6,2)             |                                                       | main     |              |
 create_time | timestamp with time zone | not null default now()                                | plain    |              |
Has OIDs: no
Options: orientation=column, compression=low

mydb=# alter table column_t add PARTIAL CLUSTER KEY(id);
ALTER TABLE
mydb=# \d+ column_t
                                                        Table "public.column_t"
   Column    |           Type           |                       Modifiers                       | Storage  | Stats target | Description
-------------+--------------------------+-------------------------------------------------------+----------+--------------+-------------
 id          | integer                  | not null default nextval('column_t_id_seq'::regclass) | plain    |              |
 col1        | character varying(8)     |                                                       | extended |              |
 col2        | numeric(6,2)             |                                                       | main     |              |
 create_time | timestamp with time zone | not null default now()                                | plain    |              |
Partial Cluster :
    "column_t_cluster" PARTIAL CLUSTER KEY (id)
Has OIDs: no
Options: orientation=column, compression=low

mydb=#

直接创建带局部聚簇存储的列存表。

NOTICE:  CREATE TABLE will create implicit sequence "column_c_id_seq" for serial column "column_c.id"
CREATE TABLE
mydb=# \d+ column_c
                                                        Table "public.column_c"
   Column    |           Type           |                       Modifiers                       | Storage  | Stats target | Description
-------------+--------------------------+-------------------------------------------------------+----------+--------------+-------------
 id          | integer                  | not null default nextval('column_c_id_seq'::regclass) | plain    |              |
 col1        | character varying(8)     |                                                       | extended |              |
 col2        | numeric(6,2)             |                                                       | main     |              |
 create_time | timestamp with time zone | not null default now()                                | plain    |              |
Partial Cluster :
    "column_c_cluster" PARTIAL CLUSTER KEY (id)
Has OIDs: no
Options: orientation=column, compression=low

mydb=#

列存与行存对比

磁盘使用空间

  • 列存表默认大小 16K，low 压缩级别。
  • 行存表默认大小 0bytes，非压缩级别。
  • 分别向两个表中插入 100 万条数据，占用磁盘大小对比。
mydb=# \dt+
                                          List of relations
 Schema |   Name    | Type  | Owner |  Size   |                 Storage                 | Description
--------+-----------+-------+-------+---------+-----------------------------------------+-------------
 public | column_t  | table | omm   | 16 kB   | {orientation=column,compression=low}    |
 public | column_th | table | omm   | 16 kB   | {orientation=column,compression=high}   |
 public | column_tm | table | omm   | 16 kB   | {orientation=column,compression=middle} |
 public | row_tc    | table | omm   | 0 bytes | {orientation=row,compression=yes}       |
 public | test_t    | table | omm   | 0 bytes | {orientation=row,compression=no}        |
(5 rows)

mydb=# insert into column_t select generate_series(1,1000000),left(md5(random()::text),8),random()::numeric(6,2);
INSERT 0 1000000
Time: 11328.880 ms
mydb=# insert into column_th select generate_series(1,1000000),left(md5(random()::text),8),random()::numeric(6,2);
INSERT 0 1000000
Time: 10188.634 ms
mydb=# insert into column_tm select generate_series(1,1000000),left(md5(random()::text),8),random()::numeric(6,2);
INSERT 0 1000000
Time: 9802.739 ms
mydb=# insert into test_t select generate_series(1,1000000),left(md5(random()::text),8),random()::numeric(6,2);
INSERT 0 1000000
Time: 17404.945 ms
mydb=# insert into row_tc select generate_series(1,1000000),left(md5(random()::text),8),random()::numeric(6,2);
INSERT 0 1000000
Time: 12394.866 ms
mydb=# \dt+
                                           List of relations
 Schema |   Name    | Type  | Owner |   Size   |                 Storage                 | Description
--------+-----------+-------+-------+----------+-----------------------------------------+-------------
 public | column_t  | table | omm   | 12 MB    | {orientation=column,compression=low}    |
 public | column_th | table | omm   | 8304 kB  | {orientation=column,compression=high}   |
 public | column_tm | table | omm   | 10168 kB | {orientation=column,compression=middle} |
 public | row_tc    | table | omm   | 58 MB    | {orientation=row,compression=yes}       |
 public | test_t    | table | omm   | 58 MB    | {orientation=row,compression=no}        |
(5 rows)

mydb=#
  • 列存表开启的压缩级别越高。
  • 占用磁盘空间越少行存表开启压缩后，磁盘空间大小占比减少不明显。
  • 列存表占用磁盘空间比行存表占用磁盘空间少近 6 倍。

DML 对比

查找单列

---
---按范围查找，列存比行存快近20倍
---
mydb=# select col1 from test_t where id>=100010 and id<100020;
   col1
----------
 4257a3f3
 3d397284
 64343438
 6eb7bdb7
 d1c9073d
 6aeb037c
 1d424974
 223235ab
 329de235
 2f02adc1
(10 rows)

Time: 77.341 ms
mydb=# select col1 from column_t where id>=100010 and id<100020;
   col1
----------
 d4837c30
 87a46f7a
 2f42a9c9
 4481c793
 68800204
 613b9205
 9d8f4a0a
 5cc4ff9e
 f948cd10
 f2775cee
(10 rows)

Time: 3.884 ms

---
---随机查找，列存比行存快近35倍
---

mydb=# select col1 from test_t limit 10;
   col1
----------
 c2780d93
 294be14d
 4e53b761
 2c10f8a2
 ae776743
 7d683c66
 b3b40054
 7e56edf9
 a7b7336e
 ea3d47d9
(10 rows)

Time: 249.887 ms
mydb=# select col1 from column_t limit 10;
   col1
----------
 a745d77b
 4b6df494
 76fed9c1
 70c9664d
 3384de8a
 4158f3bf
 5d1c3b9f
 341876bb
 f396f4ed
 abfd78bb
(10 rows)

Time: 7.738 ms

select *

---
---行存比列存查询快30%
---
mydb=# select * from test_t limit 10;
 id |   col1   | col2 |          create_time
----+----------+------+-------------------------------
  1 | c2780d93 |  .37 | 2020-10-26 14:27:33.304108+08
  2 | 294be14d |  .57 | 2020-10-26 14:27:33.304108+08
  3 | 4e53b761 |  .98 | 2020-10-26 14:27:33.304108+08
  4 | 2c10f8a2 |  .27 | 2020-10-26 14:27:33.304108+08
  5 | ae776743 |  .97 | 2020-10-26 14:27:33.304108+08
  6 | 7d683c66 |  .58 | 2020-10-26 14:27:33.304108+08
  7 | b3b40054 |  .44 | 2020-10-26 14:27:33.304108+08
  8 | 7e56edf9 |  .43 | 2020-10-26 14:27:33.304108+08
  9 | a7b7336e |  .31 | 2020-10-26 14:27:33.304108+08
 10 | ea3d47d9 |  .42 | 2020-10-26 14:27:33.304108+08
(10 rows)

Time: 6.822 ms

mydb=# select * from column_t limit 10;
 id |   col1   | col2 |          create_time
----+----------+------+-------------------------------
  1 | a745d77b |  .33 | 2020-10-26 14:28:20.633253+08
  2 | 4b6df494 |  .42 | 2020-10-26 14:28:20.633253+08
  3 | 76fed9c1 |  .73 | 2020-10-26 14:28:20.633253+08
  4 | 70c9664d |  .74 | 2020-10-26 14:28:20.633253+08
  5 | 3384de8a |  .48 | 2020-10-26 14:28:20.633253+08
  6 | 4158f3bf |  .59 | 2020-10-26 14:28:20.633253+08
  7 | 5d1c3b9f |  .63 | 2020-10-26 14:28:20.633253+08
  8 | 341876bb |  .97 | 2020-10-26 14:28:20.633253+08
  9 | f396f4ed |  .73 | 2020-10-26 14:28:20.633253+08
 10 | abfd78bb |  .30 | 2020-10-26 14:28:20.633253+08
(10 rows)

Time: 9.982 ms

update

---
---直接更新一个字段，列存比行存快近7倍
---
mydb=# update test_t set col1=col1;
UPDATE 1000000
Time: 19779.978 ms
mydb=# update column_t set col1=col1;
UPDATE 1000000
Time: 2702.339 ms

结论

  1. 列存表比行存表在磁盘空间占用上节省近 6 倍。
  2. 查询指定字段，列存表比行存表快约 20-35 倍。
  3. select * 的方式，列存表比行存表慢 30%。
  4. 默认压缩方式批量导入数据，列存表比行存表快 40%。

标签：10,26,column,08,openGauss,mydb,id,行存,列存
From： https://www.cnblogs.com/renxyz/p/18073577

相关文章

  • openGauss监控之exporter部署
    openGauss监控之exporter部署概述opengauss_exporter是为openGauss数据库量身打造的数据采集工具，配合当前最受欢迎的监控报警框架prometheus+grafana组合实时展示数据库信息，为openGauss数据库的平稳运行保驾护航。opengauss_exporter同openGauss数据库一样是开源......
  • MogDB openGauss 角色切换后sequence为什么不连续
    本文出处：https://www.modb.pro/db/569272背景今天在客户现场做高可用切换测试，为了验证数据库节点角色切换后无数据丢失，我单独创建一张使用了自增sequence的表，通过vip方式访问数据库，并1s插入一条数据。因为数据库本身是通过benchmarksql工具加压的，数据库服务器的CPU使......
  • MogDB openGauss wal日志解析工具 mog_xlogdump
    MogDB/openGausswal日志解析工具mog_xlogdump本文出处：https://www.modb.pro/db/398124概述mog_xlogdump是云和恩墨独立开发的wal日志离线解析工具。熟悉PG的小伙伴应该都使用pg_xlogdump/pg_waldump查看过PG数据库的wal文件，解析的wal数据结果是没有办法直接拿......
  • MogDB-openGauss default privileges 使用方法
    MogDB/openGaussdefaultprivileges使用方法权限是用户访问数据库对象的首要条件，每个新增用户默认属于PUBLIC角色组成员，也就是具有PUBLIC角色组的权限，但在日常业务使用中，仅仅具有PUBLIC权限是远远不够的，还需要具有额外的权限，在MogDB/openGauss数据库支持的业务中经常需......
  • openGauss 由于RemoveIPC未关闭导致数据库crash
    openGauss由于RemoveIPC未关闭导致数据库crashsemop引发的数据库crash--主库FATAL：semop(id=xxxxx)failed:IdentifierremovedFATAL：semctl(xxxxxx,11,SETVAL,0)failed:Invalidargument--备库FATAL：semctl(xxxxxx,11,SETVAL,0)failed:InvalidargumentLOG......
  • MogDB openGauss 自定义snmptrapd告警信息
    MogDB/openGauss自定义snmptrapd告警信息本文出处：https://www.modb.pro/db/232391在之前的文章MogDB/openGauss监控告警配置介绍了如何通过alertmanager模块将报警通过snmp推送出去，但是在实际使用中，默认的报警规则信息并不能很好的满足snmp服务端的需求，需要定制化报警......
  • MogDB openGauss常用查询汇总
    MogDB/openGauss常用查询汇总概述在MogDB/openGauss日常运维过程中，会经常通过SQL来获取想要查看的信息，这些SQL可以作为监控指标、巡检指标，也可以临时查询使用。通过系统线程id查对应的query#!/bin/bashsource~/.bashrcthread_sets=`ps-ef|grep-igaussdb|g......
  • MogDB openGauss故障排查流程
    MogDB/openGauss故障排查流程前提如果有反馈说数据库响应慢或者压测过程中数据库有报错，第一步先收集数据库服务器资源使用情况，这一步是处理所有故障的前提。--负载top命令htop命令--cpulscpu命令--内存大小free-g--磁盘大小df-Th--磁盘使用跟踪nohupiostat......
  • MogDB openGauss数据库扩缩容的几种方式
    MogDB/openGauss数据库扩缩容的几种方式文本出处：https://www.modb.pro/db/453105随着业务的发展，业务系统对数据库的架构要求也在变化，比如需要读负载均衡、机房搬迁、服务器硬件替换等等，这需要在原数据库主备架构的基础上进行扩/缩容操作，目前MogDB数据库安装方式有三种，分别是......
  • openGauss分区表
    openGauss分区表概述openGauss是基于PostgreSQL9.2.4的内核开发的，在PostgreSQL10之前要达到实现分区表的效果可以有两种方式，一种是使用继承的触发器函数来实现，一种是安装pg_pathman的插件来实现，直到PostgreSQL10才引入了partition的语法；而opengauss从开源发布就可......

赞助商

阅读排行

网站主页关于我们联系我们网站地图

本网站内容转载自其他媒体，侵权联系[admin##ips99.com]。

Copyright © 2020-2023 IPS99 版权所有 IPS99