CDH5.12.1安装spark2.1概述

在CDH5.12.1集群中，默认安装的spark是1.6版本，这里需要将其升级为spark2.1版本。经查阅官方文档，发现spark1.6和2.x是可以并行安装的，也就是说可以不用删除默认的1.6版本，可以直接安装2.x版本，它们各自用的端口也是不一样的。

Cloudera Manager及5.12.0版本的介绍：https://www.cloudera.com/documentation/enterprise/latest/topics/cm_ig_parcels.html#cmug_topic_7_11_5__section

升级过程

2.1 安装前的准备

所需软件：

http://archive.cloudera.com/spark2/csd/

Parcels 包的下载地址：

http://archive.cloudera.com/spark2/parcels/2.2.0.cloudera1/

2.2 安装过程

1）创建csd目录

mkdir -p /opt/cloudera/csd/

2）上传文件SPARK2_ON_YARN-2.1.0.cloudera1.jar 到 /opt/cloudera/csd/下面

3）上传文件SPARK2-2.1.0.cloudera1-1.cdh5.7.0.p0.120904-el6.parcel和SPARK2-2.1.0.cloudera1-1.cdh5.7.0.p0.120904-el6.parcel.sha1 到/opt/cloudera/parcel-repo/

4）修改所属用户及用户组：

chown -R cloudera-scm:cloudera-scm /opt/cloudera

5）将SPARK2-2.1.0.cloudera1-1.cdh5.7.0.p0.120904-el6.parcel.sha1重命名为SPARK2-2.1.0.cloudera1-1.cdh5.7.0.p0.120904-el6.parcel.sha

mv SPARK2-2.1.0.cloudera1-1.cdh5.7.0.p0.120904-el6.parcel.sha1 SPARK2-2.1.0.cloudera1-1.cdh5.7.0.p0.120904-el6.parcel.sha

页面操作

3.1 在cm首页点击Parcel，再点击检查新Parcel

3.2 点击分配

3.3 点击激活

3.4 回到首页点击添加服务

 3.5 点击spark2继续

 3.6 选择一组依赖关系

3.7 角色分配

3.8 部署并启动

3.9 错误解决

如果报错：客户端配置 (id=12) 已使用 1 退出,而预期值为 0

因为cm安装spark不会去环境变量去找java，需要将java路径添加到cm配置文件

解决方法：

 [root@hadoop102 java]#

vim /opt/module/cm/cm-5.12.1/lib64/cmf/service/client/deploy-cc.sh

在文件最后加上

JAVA_HOME= /opt/module/jdk1.8.0_144

export JAVA_HOME= /opt/module/jdk1.8.0_144

3.10 命令行查看命令

上一篇: Java培训Mycat实现读写分离
下一篇: Java培训Mycat分库