网站的备份一直都是网站运营、服务器运维中很重要的一环，明月无论是在自己的服务器还是客户的代运维服务器上都是非常重视网站备份的，尤其热衷于优化网站备份这块儿，毕竟明月自己的服务器配置一直都是最低的1H1G呀，就这配置常年都是4-5个网站放着呢！明月的博客毕竟有十来年了，单

什么是Zstdzstd是Facebook在2016年开源的新无损压缩算法，优点是压缩率和压缩/解压缩性能都很突出。效果对比压缩率与压缩速度，此图来源Zstd官网，为一些经典的压缩算法对比，CompressornameRatioCompressionDecompress.zstd1.5.6-12.887510MB/s1580MB/shttps://www.zl

在之前的数据挖掘：是时候更新一下TCGA的数据了推文中，保存TCGA的数据就是使用Arrow格式，因为占空间小，读写速度快，多语言支持（我主要使用的3种语言都支持） Formathttps://arrow.apache.org ApacheArrowdefinesalanguage-independentcolumnarmemoryformatforflatandh

京东ES支持ZSTD压缩算法上线了，这是一种高性能、低成本的压缩算法，能够提高数据存储和传输的效率，同时降低存储和带宽成本。ZSTD算法是一种快速压缩算法，可提供比其他压缩算法更高的压缩比和更快的压缩速度。这意味着，京东ES用户可以更高效地存储和传输数据，同时节省存储和带宽

前言因为多种不可抗力原因，OIerCraft的服务器将从以前的HuaweiFusionServer2288hv2转移到一台小主机上。主机配置：主机是惠普的准系统prodesk600g2,优点在于体积非常小，酷似机顶盒，而且非常静音。CPU:I5-6600T内存:联想笔记本内存8g2133*2=16g没有独立显卡，用核显

centos安装ccache和使用下载地址在下载地址有各个平台直接可以用的版本，也可以用源码自己编译。我测试了一下，发现速度都差不多，没有太大的区别。还是介绍一下编译安装的过程编译安装编译的时候发现用到两个依赖：zstd和hirediszstd安装hiredis安装解压后进入目录mkdi

​ 1前言在《ElasticSearch降本增效常见的方法》一文中曾提到过zstd压缩算法[1]，一步一个脚印我们终于在京东ES上线支持了zstd；我觉得促使目标完成主要以下几点原因：Elastic官方原因：zstd压缩算法没有在Elastic官方的开发计划中；Elastic的licenes变更，很多功能使用受限ES产品

导航在完成将公司日志数据从Elasticsearch(下称ES)转战到Clickhouse后，个人认为有必要将过程记录分享。限于篇幅及便于分类组织，我会以一个系列文章的形式记录：01《ElasticsearchvsClickhouse》02《Clickhouse的基础知识扫盲》03《Clickhouse多分片多副本集群部署》04《Clic

系统版本[root@localhost~]#cat/etc/redhat-releaseCentOSLinuxrelease7.9.2009(Core)1.linux命令行环境下如何从github上获取源代码直接gitclone项目的github地址（http开头），如gitclone https://github.com/facebook/zstd.git 2.Linux安装cmake3.

centos6.10编译zstd库从github上下载最新的源码。下载链接进入到zstd-dev目录下执行下面命令cd/build/cmakemkdirbuild&&cdbuildcmake..make我遇到了报错：timefn.c:(.text+0x5e):undefinedreferenceto`clock_gettime'原因是centos6.10的glibc版

引言在使用Easysearch时，如何在存储和查询性能之间找到平衡是一个常见的挑战。Easysearch具备多种压缩模式，各有千秋。本文将重点探讨一种特别的压缩模式：zstd+source_reuse，我们最近重新优化了source_reuse,使得它在吞吐量和存储效率方面都表现出色。测试概览测试条件选用了esr

引言在使用Easysearch时，如何在存储和查询性能之间找到平衡是一个常见的挑战。Easysearch具备多种压缩模式，各有千秋。本文将重点探讨一种特别的压缩模式：zstd+source_reuse，我们最近重新优化了source_reuse,使得它在吞吐量和存储效率方面都表现出色。测试概览测试条件选用了

最近在debain11中尝试使用xtrabackupversion8.0.32-26备份MySQL的时候，发现debain11中很难找到qpress的安装包。顺便看了一下xtrabackup支持的压缩算法。查看xtrabackupversion8.0.32-26的帮助信息：--compress[=name]Compressindividualbackupfilesusingthespecifie

看了下压缩算法的发展历史，根据倒排索引的数据结构特点，个人认为zstd不适合做倒排索引压缩，举例说明下：假设有一份文档倒排列表为：[300,302,303,332]，对于这组倒排数据，是没法***直接***采用zstd这类字典压缩算法的，因为里面没有重复数据（字典压缩通常重复数据较多，例如一个重复单词较多的

导读Peropesis 是personaloperatingsystem的转写简拼，一个小型、极简主义、基于命令行的 Linux 操作系统。目前仍是一个不完整的系统，但它正在不断改进。此外，它是一个由自由软件创建的自由操作系统，在GNUGPL或BSD许可下分发。2023年4月26日，该项目更新了最新的

以前我简单介绍过关于dremio如何自己编译支持zstd压缩，目前官方24.1直接支持了，通过查看源码实际上处理思路以及方法与我介绍的是一致的，具体可以参考我写过的博客参考资料https://www.cnblogs.com/rongfengliang/p/16823130.html

Peropesis 是personaloperatingsystem的转写简拼，一个小型、极简主义、基于命令行的 Linux 操作系统。目前仍是一个不完整的系统，但它正在不断改进。此外，它是一个由自由软件创建的自由操作系统，在GNUGPL或BSD许可下分发。2023年4月26日，该项目更新了最新的 Pero

Peropesis 是personaloperatingsystem的转写简拼，一个小型、极简主义、基于命令行的 Linux 操作系统。目前仍是一个不完整的系统，但它正在不断改进。此外，它是一个由自由软件创建的自由操作系统，在GNUGPL或BSD许可下分发。2023年4月26日，该项目更新了最新的 Pero

Peropesis 是personaloperatingsystem的转写简拼，一个小型、极简主义、基于命令行的 Linux 操作系统。目前仍是一个不完整的系统，但它正在不断改进。此外，它是一个由自由软件创建的自由操作系统，在GNUGPL或BSD许可下分发。2023年4月26日，该项目更新了最新的 Pero

测试代码：1//main.cpp2//34#include<iostream>5#include<fstream>6#include<vector>7#include<chrono>8#include<thread>9#include"./zstd/lib/zstd.h"1011usingbyte=uint8_t;12usingbuff

golang报错pkg/mod/github.com/klauspost/[email protected]/zstd/blockdec.go:17:2://go:buildcommentwithout//+buildcomment这个问题一般是需要升级golang的

目录相关资料测试不同字典大小样本的压缩率情况样本大小:102MB(107,155,190字节)样本数量:173842不使用字典进行压缩时的压缩率按照ZSTD最小的字典大小256训练试试样本

    xxx.com:12345{encodegzipzstdhandle/wjy/*{#反省代理请求xxx.com:12345/wjy/xxxx到127.0.0.1:9999/wjy/xxxxreverse_proxy1

zstd压缩工具https://github.com/facebook/zstd压缩文件：zstdxxx.file压缩文件夹:tar-cvfxxx.tarxxx/;zstdxxx.tar;解压：zstd-dxxx.zst

简介：大家好，我是枫哥，