大数据培训技术HDFS 2.X新特性之小文件存档

1.HDFS储存小文件弊端

每个文件均按块储存,每个块的元数据储存在NameNode的内存中,因此HDFS储存小文件会非常低效。因外大量的小文件会耗尽NameNode中的大部分内存。但注意,储存文件所需要的磁盘容量和数据块的大小无关。例如,一个1MB的文件设置为128MB的块储存,实际使用的是1MB的磁盘空间,而不是128MB。

2. 解决储存小文件办法之一

HDFS存档文件或HAR文件,是一个更高档的文件存档工具,他将文件存入HDFS块,在减少NameNode内存的使用同时,允许对文件进行透明的访问。具体说来,HDFS存档文件对内还有一个一个独立文件,对NameNode而言却是一个整体,减少了NameNode的内存。

3.案例实操

(1)需要启动YARN进程

[atguigu@hadoop102 hadoop-2.7.2]$ start-yarn.sh

(2)归档文件

       把/user/atguigu/input目录里面的所有文件归档成一个叫input.har的归档文件,并把归档后文件存储到/user/atguigu/output路径下。

[atguigu@hadoop102 hadoop-2.7.2]$ bin/hadoop archive -archiveName input.har –p  /user/atguigu/input   /user/atguigu/output

(3)查看归档

[atguigu@hadoop102 hadoop-2.7.2]$ hadoop fs -lsr /user/atguigu/output/input.har

[atguigu@hadoop102 hadoop-2.7.2]$ hadoop fs -lsr har:///user/atguigu/output/input.har

(4)解归档文件

[atguigu@hadoop102 hadoop-2.7.2]$ hadoop fs -cp har:/// user/atguigu/output/input.har/*    /user/atguigu

想要了解跟多关于大数据培训课程内容欢迎关注尚硅谷大数据培训,尚硅谷除了这些技术文章外还有免费的高质量大数据培训课程视频供广大学员下载学习


上一篇:
下一篇:
关于尚硅谷
教育理念
名师团队
学员心声
资源下载
视频下载
资料下载
工具下载
加入我们
招聘岗位
岗位介绍
招贤纳师
联系我们
全国统一咨询电话:010-56253825
地址:北京市昌平区宏福科技园综合楼6层(北京校区)

深圳市宝安区西部硅谷大厦B座C区一层(深圳校区)

上海市松江区谷阳北路166号大江商厦6层(上海校区)

武汉市东湖高新开发区东湖网谷(武汉校区)