尚硅谷大数据技术之Hadoop（MapReduce）（新）第4章 Hadoop数据压缩
4.4 压缩位置选择
压缩可以在MapReduce作用的任意阶段启用，如图4-22所示。
图4-22 MapReduce数据压缩
4.5 压缩参数配置
要在Hadoop中启用压缩，可以配置如下参数：
表4-10 配置参数
|
参数 |
默认值 |
阶段 |
建议 |
|
io.compression.codecs （在core-site.xml中配置） |
org.apache.hadoop.io.compress.DefaultCodec, org.apache.hadoop.io.compress.GzipCodec, org.apache.hadoop.io.compress.BZip2Codec
|
输入压缩 |
Hadoop使用文件扩展名判断是否支持某种编解码器 |
|
mapreduce.map.output.compress（在mapred-site.xml中配置） |
false |
mapper输出 |
这个参数设为true启用压缩 |
|
mapreduce.map.output.compress.codec（在mapred-site.xml中配置） |
org.apache.hadoop.io.compress.DefaultCodec |
mapper输出 |
企业多使用LZO或Snappy编解码器在此阶段压缩数据 |
|
mapreduce.output.fileoutputformat.compress（在mapred-site.xml中配置） |
false |
reducer输出 |
这个参数设为true启用压缩 |
|
mapreduce.output.fileoutputformat.compress.codec（在mapred-site.xml中配置） |
org.apache.hadoop.io.compress. DefaultCodec |
reducer输出 |
使用标准工具或者编解码器，如gzip和bzip2 |
|
mapreduce.output.fileoutputformat.compress.type（在mapred-site.xml中配置） |
RECORD |
reducer输出 |
SequenceFile输出使用的压缩类型：NONE和BLOCK |
