大数据培训Hadoop数据压缩之压缩方式选择

发布时间:2020年09月28日作者:atguigu浏览次数:705

压缩方式选择

1 Gzip压缩

优点∶压缩率比较高,而且压缩/解压速度也比较快;Hadoop本身支持,在
应用中处理zip格式的文件就和直接处理文本一样;大部分Linux系统都自带
zip命令,使用方便。大数据培训
缺点:不支持Split。
应用场景:当每个文件压缩之后在130M以内的(1个块大小内),都可以
考虑用Gzip压缩格式。例如说一天或者一个小时的日志压缩成一个Gzip文件。

2 Bzip2压缩

优点:支持Split;具有很高的压宿冬,比Gzip压宿率都高;Hadoop本身自
带,使用方便。
缺点:压缩解压速度慢。
应用场景:适合对速度要求不高,但需要较高的压宿率的时候;或者输出
之后的居比较大,处理之后的据需要压缩存档咸少磁盘空间并且以后数
据用得比较少的情兄;或者对单个很大的文本文件想压宿成少存储空间,同
时又需要支持Split,而且兼容之前的应用程序的情况。大数据培训

3 Lzo压缩

优点:压缩/解压速度也比较快,合理的压缩率;支持Split,是Hadoop中最
流行的压缩格式;可以在Linux系统下安装lzop命令,使用方便。
缺点:压缩率比Gzip要低一些;Hadoop本身不支持,需要安装;在应用中
对Lzo格式的文件需要做一些特殊处理(为了支持Split需要建索引,还需要指
定InputFormat为Lzo格式)。大数据培训
应用场景:一个很大的文本文件,压缩之后还大于200M以上的可以考虑,
而且单个文件越大,Lzo优点越越明显。

4 Snappy压缩

优点:高速压宿速度和合理的压宿冬。
缺点:不支持Split;压宿率比Czip要低;Hadoop本身不支持,需要安装。
应用场景:当MapReduce作业的Map输出的数居比较大的时候,作为Map到
Reduce的中间数据的压宿格式;或者作为一个MapReduce作业的输出和另外—
个MapReduce作业的输入。

想要了解跟多关于大数据培训课程内容欢迎关注尚硅谷大数据培训,尚硅谷除了这些技术文章外还有免费的高质量大数据培训课程视频供广大学员下载学习


上一篇:
下一篇:
相关课程

java培训 大数据培训 前端培训 UI/UE设计培训

关于尚硅谷
教育理念
名师团队
学员心声
资源下载
视频下载
资料下载
工具下载
加入我们
招聘岗位
岗位介绍
招贤纳师
联系我们
全国统一咨询电话:010-56253825
地址:北京市昌平区宏福科技园2号楼3层(北京校区)

深圳市宝安区西部硅谷大厦B座C区一层(深圳校区)

上海市松江区谷阳北路166号大江商厦6层(上海校区)

武汉市东湖高新开发区东湖网谷(武汉校区)

西安市雁塔区和发智能大厦B座3层(西安校区)