首页 > 数据库 >OLAP系列之分析型数据库clickhouse单机版部署(一)

OLAP系列之分析型数据库clickhouse单机版部署(一)

时间:2023-07-21 09:23:37浏览次数:45  
标签:单机版 0.0 server OLAP ClickHouse 22.8 20.11 clickhouse

一、概述

官网:https://clickhouse.com/docs/zh

ClickHouse是Yandex于2016年开源的列式存储数据库(DBMS),主要用于在线分析处理查询(OLAP),能够使用SQL查询实时生成分析数据报告.

clickhouse优势:
与Hadoop、Spark这些巨无霸组件相比,ClickHouse很轻量级,其特点:
1.列式存储数据库,数据压缩
2.关系型、支持SQ
3.分布式并行计算,把单机性能压榨到极限
4.高可用
5.数据量级在PB级别
6.实时数据更新
7.索引

clickhouse限制:
1.缺少高频率,低延迟的修改或删除已存在数据的能力。仅能用于批量删除或修改数据
2.没有完整的事务支持
3.不支持二级索引
4.有限的SQL支持,join实现与众不同
5.不支持窗口功能
6.元数据管理需要人工干预维护


ClickHouse使用现状:
ClickHouse 是近年来备受关注的开源列式数据库,主要用于数据分析(OLAP)领域:
1.今日头条内部用 ClickHouse 来做用户行为分析,内部一共几千个 ClickHouse 节点,单集群最大 1200 节点,总数据量几十 PB,日增原始数据 300TB 左右
2.腾讯内部用 ClickHouse 做游戏数据分析,并且为之建立了一整套监控运维体系。
3.携程内部从 18 年 7 月份开始接入试用,目前 80% 的业务都跑在 ClickHouse 上。每天数据增量十多亿,近百万次查询请求。
4.快手内部也在使用 ClickHouse,存储总量大约 10PB, 每天新增 200TB, 90% 查询小于 3S

在 1 亿数据集体量的情况下,ClickHouse 的平均响应速度是 Vertica 的 2.63 倍、InfiniDB 的 17 倍、MonetDB 的 27 倍、Hive 的 126 倍、MySQL 的 429 倍以及Greenplum 的 10 倍。详细的测试结果可以查阅:https://clickhouse.tech/benchmark/dbms/

ClickHouse 非常适用于商业智能领域(也就是我们所说的 BI 领域),除此之外,它也能够被广泛应用于广告流量、Web、App 流量、电信、金融、电子 商务、信息安全、网络游戏、物联网等众多其他领域

二、环境准备

IP 配置 clickhouse版本
192.168.10.35 Centos 6.9 2核4G 22.8.20.11

 

 

下载地址:https://packages.clickhouse.com/tgz/lts/

下载的安装包如下:

clickhouse-client-22.8.20.11-amd64.tgz
clickhouse-common-static-22.8.20.11-amd64.tgz
clickhouse-common-static-dbg-22.8.20.11-amd64.tgz
clickhouse-server-22.8.20.11-amd64.tgz

三、单机部署

# 1.解压安装包
mkdir -p /usr/local/clickhouse
cd /usr/local/clickhouse

# 2.上传安装文件至目录
tar -xzvf clickhouse-client-22.8.20.11.tgz
tar -xzvf clickhouse-common-static-22.8.20.11.tgz
tar -xzvf clickhouse-common-static-dbg-22.8.20.11.tgz
tar -xzvf clickhouse-server-22.8.20.11.tgz

# 3.安装
clickhouse-common-static-22.8.20.11/install/doinst.sh
clickhouse-common-static-dbg-22.8.20.11/install/doinst.sh
clickhouse-server-22.8.20.11/install/doinst.sh
## 根据提示设置数据库用户密码 123456
## 根据提示设置允许所有网络连接
clickhouse-client-22.8.20.11/install/doinst.sh

# 4. 修改配置文件
(1) 修改/etc/clickhouse-server/config.xml监听地址
vi /etc/clickhouse-server/config.xml
<listen_host>0.0.0.0</listen_host>  # 取消注释

(2) 修改文件/etc/clickhouse-server/config.d/listen.xml,修改为以下配置
vim /etc/clickhouse-server/config.d/listen.xml
<clickhouse>
    <listen_host>0.0.0.0</listen_host>
</clickhouse>

# 5.启动clickhouse
clickhouse start
[root@sql clickhouse]# netstat -ntlp| grep clickhouse
tcp        0      0 0.0.0.0:8123            0.0.0.0:*               LISTEN      127131/clickhouse-s 
tcp        0      0 0.0.0.0:9000            0.0.0.0:*               LISTEN      127131/clickhouse-s 
tcp        0      0 0.0.0.0:9004            0.0.0.0:*               LISTEN      127131/clickhouse-s 
tcp        0      0 0.0.0.0:9005            0.0.0.0:*               LISTEN      127131/clickhouse-s 
tcp        0      0 0.0.0.0:9009            0.0.0.0:*               LISTEN      127131/clickhouse-s

# clickhouse-client连接
[root@sql clickhouse]# clickhouse-client --password dmgame
sql :) show databases;

SHOW DATABASES

Query id: 05d270eb-a181-4ec5-a16b-2730a1a21333

┌─name───────────────┐
│ INFORMATION_SCHEMA │
│ default            │
│ information_schema │
│ system             │
└────────────────────┘

4 rows in set. Elapsed: 0.004 sec.

# 状态查询
[root@sql clickhouse]# systemctl status clickhouse-server
● clickhouse-server.service - ClickHouse Server (analytic DBMS for big data)
   Loaded: loaded (/usr/lib/systemd/system/clickhouse-server.service; enabled; vendor preset: disabled)
   Active: inactive (dead)

# 日志查看
[root@sql clickhouse]# tail -100f /var/log/clickhouse-server/clickhouse-server.err.log 
2023.07.20 18:05:54.553825 [ 127131 ] {} <Warning> Context: Linux transparent hugepages are set to "always". Check /sys/kernel/mm/transparent_hugepage/enabled
2023.07.20 18:05:54.553946 [ 127131 ] {} <Warning> Context: Linux threads max count is too low. Check /proc/sys/kernel/threads-max
2023.07.20 18:05:54.819162 [ 127131 ] {} <Warning> Context: Maximum number of threads is lower than 30000. There could be problems with handling a lot of simultaneous queries.
2023.07.20 18:05:54.878573 [ 127131 ] {} <Warning> Access(local directory): File /var/lib/clickhouse/access/users.list doesn't exist
2023.07.20 18:05:54.878607 [ 127131 ] {} <Warning> Access(local directory): Recovering lists in directory /var/lib/clickhouse/access/

四、数据库管理工具访问

推荐使用DBeaver工具访问

 

 

参考文献:

clickhouse官方安装方法

OLAP系列clickhouse介绍

OLAP系列:一、分析型数据库clickhouse的概述与单机部署试用

 

标签:单机版,0.0,server,OLAP,ClickHouse,22.8,20.11,clickhouse
From: https://www.cnblogs.com/yangmeichong/p/17570358.html

相关文章

  • OLAP
    OLAP(OnlineAnalyticalProcessing)在线分析处理。主要用于复杂的数据分析和报表生成。与OLTP(OnlineTransactionProcessing)处理实时交易和查询不同,OLAP处理的是对大规模数据集合进行多维度的分析,以便支持决策支持系统和数据挖掘等应用假设我们有一个销售数据表,用于存储每天不同......
  • MySQL到ClickHouse数据同步方案
    MySQL同步到ClickHouse的方案可以看下面的说明,选择合适最近的同步方法。1. 对比结果概述整体上,NineData(官网:www.ninedata.cloud )的数据复制功能在功能、性能表现最突出。其次是Bifrost和ClickHouse自带的MaterializeMySQL。NineData在增量DDL的处理、字段映射的准确......
  • ClickHouse多种实时更新方法总结
    ClickHouse本身对update的执行是低效的,因为ClickHouse的MergeTree存储一旦生成一个DataPart,这个Part就不支持更改,而是需要删除旧Part,重写整个Part。所以从MergeTree存储内核层面,ClickHouse就不擅长做数据更新删除操作。本文讲述的方法包括采用系统自带的Update,采用Replacing......
  • clickhouse "status=232/ADDRESS_FAMILIES" "code=exited, status=70" 问题
    clickhouse21.2.4.6安装时的问题232问题[root@localhostliang]#sudosystemctlstatusclickhouse-server●clickhouse-server.service-ClickHouseServer(analyticDBMSforbigdata)Loaded:loaded(/etc/systemd/system/clickhouse-server.service;enabled;ve......
  • CLICKHOUSE建表语句
    CREATEDATABASEIFNOTEXISTStest_database;DROPtableifexistsproduct_id;CREATETABLEproduct_id(   factory_goods_idUInt32COMMENT'工厂商品ID',   goods_nameStringCOMMENT'商品名称',   shop_idUInt32COMMENT'店铺ID', ......
  • 补齐OLAP引擎短板!ByteHouse 是如何实现流批一体的?
    更多技术交流、求职机会,欢迎关注字节跳动数据平台微信公众号,回复【1】进入官方交流群 计算机领域一直流传一句话——“没有银弹”,这句话出自计算机科学家布鲁克斯《没有银弹》一书,意思是软件工程是一个超级复杂系统,没有任何特效的方法,可以一直提高效率。 在数据库选......
  • 基于ClickHouse解决活动海量数据问题
    1、背景魔笛活动平台要记录每个活动的用户行为数据,帮助客服、运营、产品、研发等快速处理客诉、解决线上问题并进行相关数据分析和报警。可以预见到需要存储和分析海量数据,预估至少几十亿甚至上百亿的数据量,所以需要选择一款能存储海量数据的数据库。由于是通过接收MQ存储或者API......
  • Python pygame实现中国象棋单机版源码
    今天给大家带来的是关于Python实战的相关知识,文章围绕着用Pythonpygame实现中国象棋单机游戏版展开,文中有非常详细的代码示例,需要的朋友可以参考下#-*-coding:utf-8-*-"""CreatedonSunJun1315:41:562021@author:Administrator"""importpygamefrompygame.local......
  • 【大数据实战】你真的了解 Clickhouse 投影吗?
    ......
  • Clickhouse、Mysql、Presto数据库解析Json数据
    一、Clickhouse解析Json1、visitParamExtractBool(json,name)→提取json中的name字段,返回UInt8,0或1  例:visitParamExtractBool('{"name":true}','name')ASbool2、visitParamExtractInt(json,name)→提取json中的name字段,返回Int型的值  例:visitParamExtractInt......