首页 > 其他分享 >clickhouse 进行建表期间的一些优化

clickhouse 进行建表期间的一些优化

时间:2024-02-26 16:24:36浏览次数:25  
标签:COMMENT 建表 member records TABLE 优化 id clickhouse view

  • clickhouse 优化 :
    批量插入次数 设置 10000 - 15000 小批量频繁插入,每次插入都会产生一个part。所以clickhouse的写入,是提倡大批次插入的。(五个字段一万条数据大概在1~2M左右)
    -- partition by date_time 设置partition
    PARTITION BY toYYYYMMDD(event_date) 按天分区
    SETTINGS index_granularity = 8192 设置稀松索引 默认 8192 不同于mysql 的行索引。 8192 行才对应一个索引

 

RENAME TABLE member_view_records TO member_view_records_bak ;

CREATE TABLE member_view_records
(
    `saas_id` String COMMENT '用户id',

    `parent_id` UInt32 COMMENT '剧id',

    `title` String COMMENT '剧集标题',

    `sub_id` UInt32 COMMENT '剧集id',

    `num` UInt32 COMMENT '当前剧集集数',

    `create_time` DateTime COMMENT '记录创建时间'
)
ENGINE = MergeTree
ORDER BY (saas_id, create_time)
PARTITION BY toYYYYMMDD(create_time)
SETTINGS index_granularity = 10000   
COMMENT '用户观看记录';

ALTER TABLE member_view_records MODIFY TTL create_time + INTERVAL 14 DAY;


-- 回滚
RENAME TABLE member_view_records TO member_view_records_bak  ;

ALTER TABLE member_view_records Add INDEX idx_saas_id saas_id TYPE minmax GRANULARITY 1;

 参考自:https://zhuanlan.zhihu.com/p/667086347

标签:COMMENT,建表,member,records,TABLE,优化,id,clickhouse,view
From: https://www.cnblogs.com/chongyao/p/18034594

相关文章

  • 优化方法总结
    个人学习使用,内容来源于网络,侵权删神经网络反向传播时参数朝着最小化损失的方向前进,确切说,是朝着梯度方向更新。设神经网络参数是\(W\),学习率是\(\alpha\),网络代表的函数是\(L(W)\),那么参数更新公式可表示为:$W=W-\alpha*\bigtriangledown_WL(W)$在深度学习中,有三种最基本的梯......
  • 从零开始写 Docker(二)---优化:使用匿名管道传递参数
    本文为从零开始写Docker系列第二篇,主要在mydockerrun命令基础上优化参数传递方式,改为使用runC同款的匿名管道传递参数。如果你对云原生技术充满好奇,想要深入了解更多相关的文章和资讯,欢迎关注微信公众号。扫描下方二维码或搜索公众号【探索云原生】即可订阅完整代......
  • 优化通道颜色控制问题 - 使用状态模式
    在软件开发中,经常会遇到需要控制通道颜色的场景。如何优化通道颜色控制逻辑,提高代码的可维护性和扩展性呢?本篇博客将介绍如何使用状态模式来优化通道颜色控制逻辑。问题描述假设我们有一个需求:根据不同的通道状态来控制通道显示的颜色。通道状态包括正常状态、加热状态等。我们......
  • GCC优化debug
    GCC编译器提供了多种优化选项,可以帮助改善代码的性能和效率,但当优化等级设置不对时,会导致coredump问题,本文对个人理解和网络上对GCC总结比较完善的文档做个记录备份,侵权联删GCC优化出现的问题个人分析思路:1、通过addr2line、nm等方法分析出现堆栈对应的代码段,分析代码逻辑,若代码......
  • 10个可优化的C#代码技巧
    在编写C#代码时,优化代码不仅可以提高程序的性能,还可以使代码更加清晰、易于维护和扩展。下面将介绍10个可优化的C#代码技巧,帮助你编写出更高效、更优雅的代码。1.使用值类型而非引用类型当定义一个变量时,如果可能的话,尽量使用值类型(如int、double、struct等)而非引用类型(如class......
  • 深度学习-卷积神经网络-dropout-图像增强-优化器-45
    目录1.dropout2.数据增强3.优化器1.dropout使用L1和L2正则去限制神经网络连接的weights权重在深度学习中,最流行的正则化技术,它被证明非常成功,即使在顶尖水准的神经网络中也可以带来1%到2%的准确度提升,这可能乍听起来不是特别多,但是如果模型已经有了95%的准确率,获......
  • 贝叶斯优化
    本文通过结合如下论文以及blog:1、贝叶斯优化研究综述:https://doi.org/10.13328/j.cnki.jos.005607.2、高斯回归可视化:https://jgoertler.com/visual-exploration-gaussian-processes/3、贝叶斯优化:http://arxiv.org/abs/1012.2599对贝叶斯优化进行较为全面的介绍,以及部分代......
  • python 内存优化
    Python 内存管理层次:众所周知,计算机硬件资源由操作系统负责管理,内存资源也不例外。应用程序通过 系统调用 向操作系统申请内存,而 C 库函数则进一步将系统调用封装成通用的 内存分配器 ,并提供了 malloc 系列函数。C 库函数实现的通用目的内存管理器是一个重要......
  • golang io优化
    如果想兼顾开发效率,又能保证高并发,协程就是最好的选择。它可以在保持异步化运行机制的同时,用同步方式写代码(goroutine-per-connection),这在实现高并发的同时,缩短了开发周期,是高性能服务未来的发展方向。CPU和IO设备是不同的设备,能并行运行。合理调度程序,充分利用硬件,就能跑出......
  • golang性能优化
    性能优化流程理清待优化代码的常用逻辑与场景根据实际场景编写压测用例使用pprof或者火焰图等工具取得数据找到热点代码重点优化Profilingpprof是用于可视化和分析性能分析数据的工具。为什么pprof可以帮助我们分析Go程序性能呢?因为它可以采集程序运行时数据:比如说协程栈,这样服......