1.概述
1.好处 & 坏处
优点：减少磁盘IO、减少磁盘存储空间
缺点：增加CPU开销
2.压缩的原则
- 运算密集型的Job，少用压缩
- IO密集型的Job，多用压缩
2.MR 支持的压缩编码
1.压缩算法对比介绍
| 压缩格式 | Hadoop自带? | 算法 | 文件扩展名 | 是否可切片 | 换成压缩格式后,原来的程序是否需要修改 |
|---|---|---|---|---|---|
| DEFLATE | 是,直接使用 | DEFLATE | .deflate | 否 | 和文本处理一样,不需要修改 |
| Gzip | 是,直接使用 | DEFLATE | .gz | 否 | 和文本处理一样,不需要修改 |
| bzip2 | 是,直接使用 | bzip2 | .bz2 | 是 | 和文本处理一样,不需要修改 |
| LZ0 | 否,需要安装 | LZ0 | .lzo | 是 | 需要建索引,还需要指定输入格式 |
| Snappy | 是,直接使用(3.x) | Snappy | .snappy | 否 | 和文本处理一样,不需要修改 |
2.压缩性能的比较
| 压缩算法 | 原始文件大小 | 压缩文件大小 | 压缩速度 | 解压速度 |
|---|---|---|---|---|
| gzip | 8.3GB | 1.8GB | 17.5MB/S | 58MB/S |
| bzip2 | 8.3GB | 1.1GB | 2.4MB/S | 9.5MB/S |
| LZO | 8.3GB | 2.9GB | 49.3MB/S | 74.6MB/S |