首页 > 其他分享 >ClickHouse知识汇总

ClickHouse知识汇总

时间:2024-01-24 11:13:30浏览次数:26  
标签:列式 行式 数据库 知识 汇总 OLTP OLAP 数据 ClickHouse

什么是OLAP与OLTP

  • OLAP(OnLine Analytical Processing)联机分析系统;
  • OLTP(OnLine Transaction Processing)联机事务处理系统;
  • OLAP主要用来读取数据、分析数据,辅助运营决策分析。数据一次性批量写入后,分析师需要从各种角度出发,对数据进行挖掘分析,以期发现其中的商业价值、业务变化趋势等;
  • OLAP主要用来做离线分析,对时效性要求不高。
  • OLAP主要的开源产品包括HDFS、HIVE和Impala等;目标应用场景就是一次写入,多次读取;
  • OLTP是进行事务的增删改查。比如在电商系统中进行商品的购买、库存减少、购物车下单支付等。
  • OLTP是传统的关系型数据库的主要应用,也被称为是面向交易的处理系统,一般用于大数据在线业务系统中,要求有实时性。
  • OLAP:读 + 一次性的写入;
  • OLTP:实时的读 + 实时的写

如此理解:OLTP可变相视为是OLAP的数据源。
前期我们需要通过OLTP来进行数据的累积,当数据累积到一定的程度,我们需要对过去发生的事情做一个统计分析,来为公司的决策提供支持,这时候就是在做OLAP了。综上,简单地说,OLAP是OLTP的延展,让数据发挥更大价值。再加一点,传统的数据库,主要是面向OLTP,而数据仓库主要面对OLAP,侧重决策分析。所谓数据仓库,是一个更好的支持企业或者组织的决策分析处理的面向主题的、集成的、不可更新的、随时间不断变化的数据集合。

行式数据库与列式数据库
什么是行式和列式?
行式数据库:以行相关的存储体系进行数据存储;
列式数据库:以列相关的存储体系进行数据存储;
假设现在我们有下图这样的数据:

 

 

 

 

 

 

 

 

 

 

 

 

 

 

参考文档:https://blog.csdn.net/wlh2220133699/article/details/131519819

 

标签:列式,行式,数据库,知识,汇总,OLTP,OLAP,数据,ClickHouse
From: https://www.cnblogs.com/jelly12345/p/17984170

相关文章

  • SysML理论知识
    概述由来长期以来系统工程师使用的建模语言、工具和技术种类很多,如行为图、IDEF0、N2图等,这些建模方法使用的符号和语义不同,彼此之间不能互操作和重用。系统工程正是由于缺乏一种强壮的标准的建模语言,从而限制系统工程师和其他学科之间关于系统需求和设计的有效通信,影响系统工程......
  • CDP 技术系列(二):ClickHouse+Bitmap 实现海量数据标签及群体组合计算
    一、背景介绍上一篇文章介绍了CDP中,面对单个标签或群体数十亿的数据如何存储我们都知道数据仓库的概念,它的里边存储了我们所有的数据,其中就包含了标签或群体所依赖的数据,但是这些数据并不能直接拿来使用,想要变成业务需要的标签或群体数据,还需要进行加工。数据工程师将数仓里的......
  • 梳理Langchain-Chatchat知识库API接口
    一.Langchain-Chatchat知识库管理1.Langchain-Chatchat对话和知识库管理界面  Langchain-Chatchatv0.28完整的界面截图,如下所示:2.知识库中源文件和向量库  知识库test中源文件和向量库的位置,如下所示:3.知识库表结构  knowledge_base数据表内容,如下所示:二.......
  • java基础面试知识点
    学习自javaGuideJava语言有哪些特点简单易学面向对象(封装,继承,多态)平台无关性(Java虚拟机实现平台无关性)支持多线程(C++语言没有内置的多线程机制,因此必须调用操作系统的多线程功能来进行多线程程序设计,而Java语言却提供了多线程支持)可靠性(具备异常处理和自动内存管理......
  • 今天学习基础知识,抽象类和接口
    今天学习基础知识,抽象类和接口,之前这块学的不太好没有太了解。抽象类与接⼝1.抽象类抽象类和抽象⽅法都使⽤abstract关键字进⾏声明。如果⼀个类中包含抽象⽅法,那么这个类必须声明为抽象类。抽象类和普通类最⼤的区别是,抽象类不能被实例化,只能被继承。privateInnerClas......
  • Microsoft 365 开发:开发者如何使用App ID连接Graph API的方法汇总
    51CTOBlog地址:https://blog.51cto.com/u_13969817在上文中我们介绍了如何在AzureAD中注册Application并授权相关GraphAPI,本文将给大家介绍开发者如何使用AppID和Certificate(Secret)通过PowerShell连接GraphAPI?采用AppID和Certificate通过PowerShell连接GraphAPI的命令如下所......
  • 工作中的网络知识之四_时延
    工作中的网络知识之四_时延时延的巨大影响高性能最大的杀手是时延.不管是CPU取指还是取操作数.还是内存读取和写入还是磁盘的读写.以及网络的收发包.高性能最大的屏障其实是时延.本机的很多时延可以通过增加cache,增加索引,利用程序的时间和空间局限性进行优化.......
  • 设备通过GB28181注册到EasyCVR,平台看不到设备信息的排查方法汇总
    智慧安防平台EasyCVR平台支持设备通过4G、5G、WIFI、有线等方式进行视频流的接入与传输,支持的接入协议包括:国标GB28181、RTSP/Onvif、RTMP,以及厂家的私有协议与SDK。经常有用户咨询我们,将海康摄像头通过GB/T28181协议接到EasyCVR平台,但是在平台上为什么看不到设备?今天我们就来总结......
  • 【专题】2023年新能源汽车、智能汽车、车险行业报告汇总PDF合集分享(附原数据表)
    原文链接:https://tecdat.cn/?p=34910本文主要研究了汽车品牌的影响力以及汽车行业的营销新增量。通过调研新能源汽车及用户需求、特点和偏好,分析了中国新能源汽车市场的发展趋势和内容生态。同时,探讨了智能汽车的发展趋势、云服务和数字化人才需求。此外,还分析了中国汽车出海、新......
  • MY SQL 知识
    LINUX配置优化诊断命令moreperfomancetoolSREperformance硬件优化raid10ssdFusion-io大内存电池后备SCSI磁盘缓存系统优化日志,数据分盘IO调度算法deadline适用于磁盘noop适用于ssdXFS文件系统避免使用swap分区fd限制ulimitMySQL参数配置基础配置字符集数据目录,日志目录,......