大数据培训之配置HDFS-HA集群

  1. 官方地址:http://hadoop.apache.org/
  2. 在opt目录下创建一个ha文件夹

mkdir ha

  1. 将/opt/app/下的 hadoop-2.7.2拷贝到/opt/ha目录下

cp -r hadoop-2.7.2/ /opt/ha/

  1. 配置hadoop-env.sh

export JAVA_HOME=/opt/module/jdk1.8.0_144

  1. 配置core-site.xml

<configuration>

<!– 把两个NameNode)的地址组装成一个集群mycluster –>

     <property>

        <name>fs.defaultFS</name>

          <value>hdfs://mycluster</value>

     </property>

 

     <!– 指定hadoop运行时产生文件的存储目录 –>

     <property>

        <name>hadoop.tmp.dir</name>

        <value>/opt/ha/hadoop-2.7.2/data/tmp</value>

     </property>

</configuration>

  1. 配置hdfs-site.xml

<configuration>

  <!– 完全分布式集群名称 –>

  <property>

     <name>dfs.nameservices</name>

     <value>mycluster</value>

  </property>

 

  <!– 集群中NameNode节点都有哪些 –>

  <property>

     <name>dfs.ha.namenodes.mycluster</name>

     <value>nn1,nn2</value>

  </property>

 

  <!– nn1的RPC通信地址 –>

  <property>

     <name>dfs.namenode.rpc-address.mycluster.nn1</name>

     <value>hadoop102:9000</value>

  </property>

 

  <!– nn2的RPC通信地址 –>

  <property>

     <name>dfs.namenode.rpc-address.mycluster.nn2</name>

     <value>hadoop103:9000</value>

  </property>

 

  <!– nn1的http通信地址 –>

  <property>

     <name>dfs.namenode.http-address.mycluster.nn1</name>

     <value>hadoop102:50070</value>

  </property>

 

  <!– nn2的http通信地址 –>

  <property>

     <name>dfs.namenode.http-address.mycluster.nn2</name>

     <value>hadoop103:50070</value>

  </property>

 

  <!– 指定NameNode元数据在JournalNode上的存放位置 –>

  <property>

     <name>dfs.namenode.shared.edits.dir</name>

  <value>qjournal://hadoop102:8485;hadoop103:8485;hadoop104:8485/mycluster</value>

  </property>

 

  <!– 配置隔离机制,即同一时刻只能有一台服务器对外响应 –>

  <property>

     <name>dfs.ha.fencing.methods</name>

     <value>sshfence</value>

  </property>

 

  <!– 使用隔离机制时需要ssh无秘钥登录–>

  <property>

     <name>dfs.ha.fencing.ssh.private-key-files</name>

     <value>/home/atguigu/.ssh/id_rsa</value>

  </property>

 

  <!– 声明journalnode服务器存储目录–>

  <property>

     <name>dfs.journalnode.edits.dir</name>

     <value>/opt/ha/hadoop-2.7.2/data/jn</value>

  </property>

 

  <!– 关闭权限检查–>

  <property>

     <name>dfs.permissions.enable</name>

     <value>false</value>

  </property>

 

  <!– 访问代理类:client,mycluster,active配置失败自动切换实现方式–>

  <property>

        <name>dfs.client.failover.proxy.provider.mycluster</name>

  <value>org.apache.hadoop.hdfs.server.namenode.ha.ConfiguredFailoverProxyProvider</value>

  </property>

</configuration>

  1. 拷贝配置好的hadoop环境到其他节点

想要了解跟多关于大数据培训课程内容欢迎关注尚硅谷大数据培训,尚硅谷除了这些技术文章外还有免费的高质量大数据培训课程视频供广大学员下载学习


上一篇:
下一篇:
关于尚硅谷
教育理念
名师团队
学员心声
资源下载
视频下载
资料下载
工具下载
加入我们
招聘岗位
岗位介绍
招贤纳师
联系我们
全国统一咨询电话:010-56253825
地址:北京市昌平区宏福科技园综合楼6层(北京校区)

深圳市宝安区西部硅谷大厦B座C区一层(深圳校区)

上海市松江区谷阳北路166号大江商厦6层(上海校区)

武汉市东湖高新开发区东湖网谷(武汉校区)