如果用传统SCP远程拷贝,速度是比较慢的。现在采用lz4压缩传输。LZ4是一个非常快的无损压缩算法,压缩速度在单核300MB/S,可扩展支持多核CPU。它还具有一个非常快速的解码器,速度单核可达到和超越1GB/S。通常能够达到多核系统上的RAM速度限制。
lz4需要安装,事先做好无密码登陆操作,则不要输入密码。
(1)安装pv
# wget http://pkgs.fedoraproject.org/repo/pkgs/pv/pv-1.1.4.tar.gz/8d0eda2182640919daaf6186cd816a13/pv-1.1.4.tar.gz
# tar zxvf pv-1.1.4.tar.gz
# cd pv-1.1.4/
# ./configure
# make && make install
(2)安装lz4<两边都要安装>
# wget https://src.fedoraproject.org/repo/pkgs/lz4/lz4-r108.tar.gz/5c621dd18f27810bba3629cdb326e852/lz4-r108.tar.gz
# tar zxvf lz4-r108.tar.gz
# cd lz4-r108
# make && make install
# time tar -c gdrive_dbp_his_201402|pv|lz4 -B4|ssh -c arcfour128 -o"MACs hmac-md5-96" 10.1.3.99 "lz4 -d|tar -xC /data5/mysql_tj_data"
标签:pv,1.1,tar,压缩,lz4,gz,传输,r108
From: https://www.cnblogs.com/zoujiaojiao/p/17750685.html