• 2024-10-31终极对决!Tomcat 服务器压缩性能哪家强?Gzip、Brotli、Zstd 全面测评
    Tomcat服务器的三种压缩测评!!!三万字长文,现在这同样的文章在csdn不多了,家人们点点赞!!!欢迎订阅专栏,永不收费,hacker精神,更快获得第一手优质博文!!!Tomcat服务器三种压缩方式测评:Gzip、Brotli、Zstd在Web服务领域,数据压缩对于提升网站性能至关重要。通过压缩服务器响应
  • 2024-06-06LNMP 环境下使用 Zstd 压缩优化网站备份脚本
    网站的备份一直都是网站运营、服务器运维中很重要的一环,明月无论是在自己的服务器还是客户的代运维服务器上都是非常重视网站备份的,尤其热衷于优化网站备份这块儿,毕竟明月自己的服务器配置一直都是最低的1H1G呀,就这配置常年都是4-5个网站放着呢!明月的博客毕竟有十来年了,单
  • 2024-06-04【Zstd: 压缩全能王】
    什么是Zstdzstd是Facebook在2016年开源的新无损压缩算法,优点是压缩率和压缩/解压缩性能都很突出。效果对比压缩率与压缩速度,此图来源Zstd官网,为一些经典的压缩算法对比,CompressornameRatioCompressionDecompress.zstd1.5.6-12.887510MB/s1580MB/shttps://www.zl
  • 2024-05-26使用Arrow管理数据
    在之前的数据挖掘:是时候更新一下TCGA的数据了推文中,保存TCGA的数据就是使用Arrow格式,因为占空间小,读写速度快,多语言支持(我主要使用的3种语言都支持) Formathttps://arrow.apache.org ApacheArrowdefinesalanguage-independentcolumnarmemoryformatforflatandh
  • 2024-03-15京东ES支持ZSTD压缩算法上线了:高性能,低成本
    京东ES支持ZSTD压缩算法上线了,这是一种高性能、低成本的压缩算法,能够提高数据存储和传输的效率,同时降低存储和带宽成本。ZSTD算法是一种快速压缩算法,可提供比其他压缩算法更高的压缩比和更快的压缩速度。这意味着,京东ES用户可以更高效地存储和传输数据,同时节省存储和带宽
  • 2024-02-04记 OIerCraft 的转移
    前言因为多种不可抗力原因,OIerCraft的服务器将从以前的HuaweiFusionServer2288hv2转移到一台小主机上。主机配置:主机是惠普的准系统prodesk600g2,优点在于体积非常小,酷似机顶盒,而且非常静音。CPU:I5-6600T内存:联想笔记本内存8g2133*2=16g没有独立显卡,用核显
  • 2024-01-22centos 安装 ccache
    centos安装ccache和使用下载地址在下载地址有各个平台直接可以用的版本,也可以用源码自己编译。我测试了一下,发现速度都差不多,没有太大的区别。还是介绍一下编译安装的过程编译安装编译的时候发现用到两个依赖:zstd和hirediszstd安装hiredis安装解压后进入目录mkdi
  • 2024-01-15京东ES支持ZSTD压缩算法上线了:高性能,低成本 | 京东云技术团队
    ​ 1前言在《ElasticSearch降本增效常见的方法》一文中曾提到过zstd压缩算法[1],一步一个脚印我们终于在京东ES上线支持了zstd;我觉得促使目标完成主要以下几点原因:Elastic官方原因:zstd压缩算法没有在Elastic官方的开发计划中;Elastic的licenes变更,很多功能使用受限ES产品
  • 2023-12-19「从ES到CK 04」Clickhouse表引擎选择和表结构设计
    导航在完成将公司日志数据从Elasticsearch(下称ES)转战到Clickhouse后,个人认为有必要将过程记录分享。限于篇幅及便于分类组织,我会以一个系列文章的形式记录:01《ElasticsearchvsClickhouse》02《Clickhouse的基础知识扫盲》03《Clickhouse多分片多副本集群部署》04《Clic
  • 2023-11-23记录 Linux zstd测试程序
    系统版本[root@localhost~]#cat/etc/redhat-releaseCentOSLinuxrelease7.9.2009(Core)1.linux命令行环境下如何从github上获取源代码直接gitclone项目的github地址(http开头),如gitclone https://github.com/facebook/zstd.git 2.Linux安装cmake3.
  • 2023-10-23centos 6.10 编译 zstd 库
    centos6.10编译zstd库从github上下载最新的源码。下载链接进入到zstd-dev目录下执行下面命令cd/build/cmakemkdirbuild&&cdbuildcmake..make我遇到了报错:timefn.c:(.text+0x5e):undefinedreferenceto`clock_gettime'原因是centos6.10的glibc版
  • 2023-10-15Easysearch压缩模式深度比较:ZSTD+source_reuse的优势分析
    引言在使用Easysearch时,如何在存储和查询性能之间找到平衡是一个常见的挑战。Easysearch具备多种压缩模式,各有千秋。本文将重点探讨一种特别的压缩模式:zstd+source_reuse,我们最近重新优化了source_reuse,使得它在吞吐量和存储效率方面都表现出色。测试概览测试条件选用了esr
  • 2023-10-15Easysearch压缩模式深度比较:ZSTD+source_reuse的优势分析
    引言在使用Easysearch时,如何在存储和查询性能之间找到平衡是一个常见的挑战。Easysearch具备多种压缩模式,各有千秋。本文将重点探讨一种特别的压缩模式:zstd+source_reuse,我们最近重新优化了source_reuse,使得它在吞吐量和存储效率方面都表现出色。测试概览测试条件选用了
  • 2023-08-25xtrabackup支持的压缩算法的变化
    最近在debain11中尝试使用xtrabackupversion8.0.32-26备份MySQL的时候,发现debain11中很难找到qpress的安装包。顺便看了一下xtrabackup支持的压缩算法。查看xtrabackupversion8.0.32-26的帮助信息:--compress[=name]Compressindividualbackupfilesusingthespecifie
  • 2023-08-03为什么倒排索引不采用zlib这样的字典压缩算法——因为没法直接使用啊
    看了下压缩算法的发展历史,根据倒排索引的数据结构特点,个人认为zstd不适合做倒排索引压缩,举例说明下:假设有一份文档倒排列表为:[300,302,303,332],对于这组倒排数据,是没法***直接***采用zstd这类字典压缩算法的,因为里面没有重复数据(字典压缩通常重复数据较多,例如一个重复单词较多的
  • 2023-06-24小型极简主义 Linux 发行版:Peropesis
    导读Peropesis 是personaloperatingsystem的转写简拼,一个小型、极简主义、基于命令行的 Linux 操作系统。目前仍是一个不完整的系统,但它正在不断改进。此外,它是一个由自由软件创建的自由操作系统,在GNUGPL或BSD许可下分发。2023年4月26日,该项目更新了最新的
  • 2023-06-18dremio 24.1 zstd 支持的的处理
    以前我简单介绍过关于dremio如何自己编译支持zstd压缩,目前官方24.1直接支持了,通过查看源码实际上处理思路以及方法与我介绍的是一致的,具体可以参考我写过的博客参考资料https://www.cnblogs.com/rongfengliang/p/16823130.html
  • 2023-06-16小型极简主义 Linux 发行版:Peropesis
    Peropesis 是personaloperatingsystem的转写简拼,一个小型、极简主义、基于命令行的 Linux 操作系统。目前仍是一个不完整的系统,但它正在不断改进。此外,它是一个由自由软件创建的自由操作系统,在GNUGPL或BSD许可下分发。2023年4月26日,该项目更新了最新的 Pero
  • 2023-06-16小型极简主义 Linux 发行版:Peropesis
    Peropesis 是personaloperatingsystem的转写简拼,一个小型、极简主义、基于命令行的 Linux 操作系统。目前仍是一个不完整的系统,但它正在不断改进。此外,它是一个由自由软件创建的自由操作系统,在GNUGPL或BSD许可下分发。2023年4月26日,该项目更新了最新的 Pero
  • 2023-06-16小型极简主义 Linux 发行版:Peropesis
    Peropesis 是personaloperatingsystem的转写简拼,一个小型、极简主义、基于命令行的 Linux 操作系统。目前仍是一个不完整的系统,但它正在不断改进。此外,它是一个由自由软件创建的自由操作系统,在GNUGPL或BSD许可下分发。2023年4月26日,该项目更新了最新的 Pero
  • 2023-04-22ZSTD多线程压缩
    测试代码:1//main.cpp2//34#include<iostream>5#include<fstream>6#include<vector>7#include<chrono>8#include<thread>9#include"./zstd/lib/zstd.h"1011usingbyte=uint8_t;12usingbuff
  • 2023-03-14golang 报错 pkg/mod/github.com/klauspost/[email protected]/zstd/blockdec.go:17:2: //go:build comment w
    golang报错pkg/mod/github.com/klauspost/[email protected]/zstd/blockdec.go:17:2://go:buildcommentwithout//+buildcomment这个问题一般是需要升级golang的
  • 2023-02-24ZSTD相关笔记.md
    目录相关资料测试不同字典大小样本的压缩率情况样本大小:102MB(107,155,190字节)样本数量:173842不使用字典进行压缩时的压缩率按照ZSTD最小的字典大小256训练试试样本
  • 2023-02-02caddy 部署pwa 组合使用 虚拟目录
        xxx.com:12345{encodegzipzstdhandle/wjy/*{#反省代理请求xxx.com:12345/wjy/xxxx到127.0.0.1:9999/wjy/xxxxreverse_proxy1
  • 2022-12-12zstd压缩工具
    zstd压缩工具https://github.com/facebook/zstd压缩文件:zstdxxx.file压缩文件夹:tar-cvfxxx.tarxxx/;zstdxxx.tar;解压:zstd-dxxx.zst