OutputFormat
- OutputFormat是MapReduce输出的基类，所有实现MapReduce输出都实现了OutputFormat接口
- 几种常见的OutputFormat实现类：NullOutputFormat、MapFileOutputFormat、TextOutputFormat等
自定义OutputFormat
- 应用场景：输出数据到MySQL/HBase/Elasticsearch等存储框架中
- 步骤：自定义一个类继承FileOutputFormat —> 改写RecordWriter，具体改写输出数据的方法write()
数据压缩
一、概述
- 优点：减少磁盘IO和存储空间
- 缺点：增加CPU开销
- 压缩原则：运算密集型的作业少用压缩；IO密集型的作业多用压缩
二、MR支持的压缩编码
| 压缩格式 | 是否Hadoop自带 | 算法 | 文件扩展名 | 是否可切片 | 换成压缩格式后，原来的程序是否需要修改 | 优点 | 缺点 |
|---|---|---|---|---|---|---|---|
| DEFLATE | 是，直接使用 | DEFLATE | .deflate | 否 | 和文本处理一样，不需要修改 | ||
| Gzip | 是，直接使用 | DEFLATE | .gz | 否 | 和文本处理一样，不需要修改 | 压缩率比较高 | 不支持Split；压缩/解压速度一般 |
| bzip2 | 是，直接使用 | bzip2 | .bz2 | 是 | 和文本处理一样，不需要修改 | 压缩率高；支持Split | 压缩/解压速度慢 |
| LZO | 否，需要安装 | LZO | .lzo | 是 | 需要建索引，还需要指定输入格式 | 压缩/解压速度比较快；支持Split | 压缩率一般；想支持切片需要额外创建索引 |
| Snappy | 是，直接使用 | Snappy | .Snappy | 否 | 和文本处理一样，不需要修改 | 压缩和解压缩速度快 | 不支持Split；压缩率一般 |
- 压缩方式选择时重点考虑：压缩/解压缩速度、压缩率（压缩后存储大小）、压缩后是否可以支持切片
- 压缩可以在MapReduce作用的任意阶段启用