首页 > 其他分享 >lz4压缩传输

lz4压缩传输

时间:2023-10-09 09:25:51浏览次数:27  
标签:pv 1.1 tar 压缩 lz4 gz 传输 r108

如果用传统SCP远程拷贝,速度是比较慢的。现在采用lz4压缩传输。LZ4是一个非常快的无损压缩算法,压缩速度在单核300MB/S,可扩展支持多核CPU。它还具有一个非常快速的解码器,速度单核可达到和超越1GB/S。通常能够达到多核系统上的RAM速度限制。

lz4需要安装,事先做好无密码登陆操作,则不要输入密码。
(1)安装pv

# wget http://pkgs.fedoraproject.org/repo/pkgs/pv/pv-1.1.4.tar.gz/8d0eda2182640919daaf6186cd816a13/pv-1.1.4.tar.gz
# tar zxvf pv-1.1.4.tar.gz
# cd pv-1.1.4/
# ./configure
# make && make install 

(2)安装lz4<两边都要安装>

# wget https://src.fedoraproject.org/repo/pkgs/lz4/lz4-r108.tar.gz/5c621dd18f27810bba3629cdb326e852/lz4-r108.tar.gz
# tar zxvf lz4-r108.tar.gz
# cd lz4-r108
# make && make install
# time tar -c gdrive_dbp_his_201402|pv|lz4 -B4|ssh -c arcfour128 -o"MACs hmac-md5-96" 10.1.3.99 "lz4 -d|tar -xC /data5/mysql_tj_data"

标签:pv,1.1,tar,压缩,lz4,gz,传输,r108
From: https://www.cnblogs.com/zoujiaojiao/p/17750685.html

相关文章

  • 高效数据传输:Java通过绑定快速将数据导出至Excel
    摘要:本文由葡萄城技术团队于博客园原创并首发。转载请注明出处:葡萄城官网,葡萄城为开发者提供专业的开发工具、解决方案和服务,赋能开发者。前言把数据导出至Excel是很常见的需求,而数据的持久化,往往又放在数据库中。因此把数据库中的数据导出到Excel中,成了非常普遍的一个需求......
  • Python 压缩文件解压文件
    安装zipfilepip3installzipfile38pip3installzipfile37 f=zipfile.ZipFile("test.zip",mode="")//mode解压是r,压缩是w,追加压缩是a  压缩文件importzipfiledefzip_files(files,zip_name):zip=zipfile.ZipFile(zip_name,'w',zipfi......
  • 三维模型3DTile格式轻量化的纹理压缩和质量关系分析
    三维模型3DTile格式轻量化的纹理压缩和质量关系分析 在三维模型的3DTile格式轻量化处理中,纹理压缩是一个重要环节。但是,纹理压缩和模型质量之间存在明显的关系需要权衡。以下是纹理压缩和模型质量关系的详细分析:1、压缩率与纹理质量:一般来说,高度压缩的纹理可以大大减小文件大......
  • Easysearch 压缩功能的显著提升:从 8.7GB 到 1.4GB
    引言在海量数据的存储和处理中,索引膨胀率是一个不可忽视的关键指标。它直接影响了存储成本和查询性能。近期,Easysearch在这方面取得了显著的进展,其压缩功能的效果远超过了之前的版本。本文将详细介绍这一进展。Easysearch各版本压缩性能对比根据之前文章的数据,Easysearchv1.......
  • MQTT(消息队列遥测传输)
    MessageQueuingTelemetryTransport--消息队列遥测传输协议MQTT(MessageQueuingTelemetryTransport,消息队列遥测传输协议),是一种基于发布/订阅(publish/subscribe)模式的"轻量级"通讯协议,该协议构建于TCP/IP协议上,由IBM在1999年发布。MQTT最大优点在于,可以以极少的代......
  • 三维模型3DTile格式轻量化的数据压缩与性能平衡关系分析
    三维模型3DTile格式轻量化的数据压缩与性能平衡关系分析 对于三维模型的3DTile格式轻量化处理,数据压缩和性能之间的平衡关系是一个重要的考虑因素。以下是这两者关系的详细分析:1、数据压缩与加载速度:显然,更高级别的压缩可以创造更小的文件大小,从而加快从服务器到客户端的传输......
  • 大数据面试题:MapReduce压缩方式
    可回答:1)Hadoop常见的压缩算法有哪些?问过的一些公司:网易云音乐(2022.11),阿里(2020.08)参考答案:1、MapReduce支持的压缩方式压缩格式hadoop自带?算法文件扩展名是否可切分换成压缩格式后,原来的程序是否需要修改DEFLATE是,直接使用DEFLATE.deflate否和文本处理一样,不需要修改Gzip是,直接......
  • YOLOv5:对yolov5n模型进一步剪枝压缩
    YOLOv5:对yolov5n模型进一步剪枝压缩前言前提条件相关介绍具体步骤修改yolov5n.yaml配置文件单通道数据(黑白图片)修改models/yolo.py文件修改train.py文件剪枝后模型大小参考前言由于本人水平有限,难免出现错漏,敬请批评改正。更多精彩内容,可点击进入YOLO系列专栏、自然语言处理专栏......
  • 【Linux笔记】tar——压缩与解压
    #【Linux笔记】tar——压缩与解压打包与压缩打包文件(生成新的tar文件):tar-cfnewTar.tarfile.txt打包并压缩文件(生成新的.tar.gz文件):tar-zcfnewTar.tar.gzfile.txt注:打包和压缩是不一样的概念gzip这种压缩方式默认只能压缩一个文件,所以当有多个文件需要压缩时,就......
  • SAP ABAP 系统记录传输请求处理过程的日志存放目录
    /usr/sap/trans/log是SAP系统中的一个重要目录。这个目录下存放的文件主要是用来记录SAP系统在进行各种不同类型的传输请求(TransportRequest)处理过程中的操作日志。在SAP系统的日常运行和维护中,这些日志文件提供了很多有价值的信息,例如出现错误时,可以通过查看这些日志文件......