大数据培训技术Ambari

什么是Ambari

Apache Ambari项目旨在通过开发用于配置,管理和监控Apache Hadoop集群的软件来简化Hadoop管理。Ambari提供了一个直观,易用的Hadoop管理Web UI。

Ambari的功能

提供了跨任意数量的主机安装Hadoop服务的分步向导。

处理群集的Hadoop服务配置。

提供集中管理,用于在整个集群中启动,停止和重新配置Hadoop服务。

提供了一个仪表板,用于监控Hadoop集群的运行状况和状态。

利用Ambari指标系统进行指标收集。

利用Ambari Alert Framework进行系统警报,并在需要您注意时通知您(例如,节点出现故障,剩余磁盘空间不足等)。

环境准备

注意:以下操作三台机器都需要进行

1 虚拟机准备

克隆三台虚拟机(hadoop102、hadoop103、hadoop104),配置好对应主机的网络IP、主机名称、关闭防火墙。

[root@hadoop102 ~]# chkconfig iptables off

[root@hadoop102 ~]# service iptables stop

[root@hadoop102 ~]# chkconfig --list iptables

iptables        0:关闭  1:关闭  2:关闭  3:关闭  4:关闭  5:关闭  6:关闭

2 关闭SELINUX

[root@hadoop102 ~]# vim /etc/sysconfig/selinux
将SELINUX=enforcing改为SELINUX=disabled

执行该命令后重启机器生效

3 安装JDK

1)在hadoop102的/opt目录下创建module和software文件夹

[root@hadoop102 opt]# mkdir module

[root@hadoop102 opt]# mkdir software

2)用SecureCRT将jdk-8u144-linux-x64.tar.gz导入到hadoop102的/opt/software目录下

3)在Linux系统下的opt目录中查看软件包是否导入成功

[root@hadoop102 software]$ ls

jdk-8u144-linux-x64.tar.gz

4)解压JDK到/opt/module目录下

[root@hadoop102 software]$ tar -zxvf jdk-8u144-linux-x64.tar.gz -C /opt/module/

5)配置JDK环境变量

   (1)先获取JDK路径

[root@hadoop102 jdk1.8.0_144]$ pwd

/opt/module/jdk1.8.0_144

   (2)打开/etc/profile文件

[root@hadoop102 software]$ vi /etc/profile

在profile文件末尾添加JDK路径

#JAVA_HOME

export JAVA_HOME=/opt/module/jdk1.8.0_144

export PATH=$PATH:$JAVA_HOME/bin

   (3)保存后退出

:wq

   (4)让修改后的文件生效

[root@hadoop102 jdk1.8.0_144]$ source /etc/profile

6)测试JDK是否安装成功

[root@hadoop102 jdk1.8.0_144]# java -version

java version "1.8.0_144"

7)将hadoop102中的JDK和环境变量分发到hadoop103、hadoop104两台主机

[root@hadoop102 opt]# xsync /opt/module/

[root@hadoop102 opt]# xsync /etc/profile

 

分别在hadoop103、hadoop104上source一下

[root@hadoop103 ~]$ source /etc/profile

[root@hadoop104 ~]# source /etc/profile

4 SSH免密登录

配置hadoop102对hadoop102、hadoop103、hadoop104三台主机的免密登陆。

1)生成公钥和私钥:

[root@hadoop102 .ssh]$ ssh-keygen -t rsa

然后敲(三个回车),就会生成两个文件id_rsa(私钥)、id_rsa.pub(公钥)

2)将公钥拷贝到要免密登录的目标机器上

[root@hadoop102 .ssh]$ ssh-copy-id hadoop102

[root@hadoop102 .ssh]$ ssh-copy-id hadoop103

[root@hadoop102 .ssh]$ ssh-copy-id hadoop104

5 修改yum源为阿里云镜像

[root@hadoop102 yum.repos.d]# mv /etc/yum.repos.d/CentOS-Base.repo /etc/yum.repos.d/CentOS-Base.repo.bk

[root@hadoop102 yum.repos.d]# wget -O /etc/yum.repos.d/CentOS-Base.repo http://mirrors.aliyun.com/repo/Centos-6.repo

//把服务器的包下载到本地缓存

[root@hadoop102 yum.repos.d]# yum makecache

6 安装ntp

[root@hadoop102 ~]# yum install -y ntp

[root@hadoop102 ~]# chkconfig --list ntpd

[root@hadoop102 ~]# chkconfig ntpd on

[root@hadoop102 ~]# service ntpd start

7 关闭Linux的THP服务

如果不关闭transparent_hugepage,HDFS会因为这个性能严重受影响。

关闭transparent_hugepage方法是:

[root@hadoop102 ~]# vim /etc/grub.conf

添加 transparent_hugepage=never

[root@hadoop102 ~]#   vim /etc/rc.local

添加:

if test -f /sys/kernel/mm/transparent_hugepage/defrag; then

  echo never > /sys/kernel/mm/transparent_hugepage/defrag

fi

if test -f /sys/kernel/mm/transparent_hugepage/enabled; then

  echo never > /sys/kernel/mm/transparent_hugepage/enabled

fi

exit 0

重启之后,用下面的命令检查:

[root@hadoop102 yum.repos.d]#

cat /sys/kernel/mm/redhat_transparent_hugepage/enabled

always madvise [never]

有 [never]则表示THP被禁用

8 配置UMASK

设定用户所创建目录的初始权限

[root@hadoop102 ~]# umask 0022

9 禁止离线更新

vim /etc/yum/pluginconf.d/refresh-packagekit.conf

修改:enabled=0

想要了解跟多关于大数据培训课程内容欢迎关注尚硅谷大数据培训,尚硅谷除了这些技术文章外还有免费的高质量大数据培训课程视频供广大学员下载学习。