CDH6.3.2之Kerberos安全认证_大数据培训

发布时间:2021年08月18日作者:atguigu浏览次数:546

Kerberos简介

Kerberos是一种计算机网络授权协议,用来在非安全网络中,对个人通信以安全的手段进行身份认证。这个词又指麻省理工学院为这个协议开发的一套计算机软件。软件设计上采用客户端/服务器结构,并且能够进行相互认证,即客户端和服务器端均可对对方进行身份认证。可以用于防止窃听、防止重放攻击、保护数据完整性等场合,是一种应用对称密钥体制进行密钥管理的系统。

本篇就介绍如何在CDH集群中开启Kerberos安全认证,让Kerberos为集群数据安全保驾护航。

Kerberos认证原理

CDH6.3.2之Kerberos安全认证(二)

 

1.基本概概念

KDC:Key Distribute Center,密钥分发中心,其中包含认证服务器,票证授权服务器,和数据库

AS:AuthenticationServer,认证服务器

TGS:TicketGranting Server,票证授权服务器

TGT:Ticket Granting Ticket1票证授予票证

Principal:主体,用于在kerberos加密系统中标记一个唯一的身份。主体可以是用户(如zhangsan)或服务(如namenode或hive)。

2.认证流程

(1)客户端执行kinit命令,输入Principal及Password,向AS证明身份,并请求获取TGT。

(2)AS检查Database中是否存有客户端输入的Principal,如有则向客户端返回TGT。

(3)客户端获取TGT后,向TGS请求ServerTicket。

(4)TGS收到请求,检查Database中是否存有客户端所请求服务的Principal,如有则向客户端返回ServerTicket。

(5)客户端收到ServerTicket,则向目标服务发起请求。

(6)目标服务收到请求,响应客户端。

Kerberos部署

1.安装Kerberos相关服务

选择集群中的一台主机(hadoop102.example.com)作为Kerberos服务端,安装KDC,所有主机都需要部署Kerberos客户端。

服务端主机执行以下安装命令

yum install -y krb5-server krb5-workstation krb5-libs

客户端主机执行以下安装命令

yum install -y krb5-workstation krb5-libs

2.修改配置文件

(1)服务端主机(hadoop102.example.com)

修改
/var/kerberos/krb5kdc/kdc.conf文件,内容如下

[kdcdefaults]
 kdc_ports = 88
 kdc_tcp_ports = 88
[realms]
 EXAMPLE.COM = {
  #master_key_type = aes256-cts
  acl_file = /var/kerberos/krb5kdc/kadm5.acl
  dict_file = /usr/share/dict/words
  max_life = 1d
  max_renewable_life = 7d
  admin_keytab = /var/kerberos/krb5kdc/kadm5.keytab
  supported_enctypes = aes128-cts:normal des3-hmac-sha1:normal arcfour-hmac:normal camellia256-cts:normal camellia128-cts:normal des-hmac-sha1:normal des-cbc-md5:normal des-cbc-crc:normal
 }

(2)客户端主机(所有主机)

修改/etc/krb5.conf文件,内容如下

# Configuration snippets may be placed in this directory as well
includedir /etc/krb5.conf.d/
[logging]
 default = FILE:/var/log/krb5libs.log
 kdc = FILE:/var/log/krb5kdc.log
 admin_server = FILE:/var/log/kadmind.log
[libdefaults]
 dns_lookup_realm = false
 ticket_lifetime = 24h
 renew_lifetime = 7d
 forwardable = true
 rdns = false
 pkinit_anchors = FILE:/etc/pki/tls/certs/ca-bundle.crt
 default_realm = EXAMPLE.COM
 #default_ccache_name = KEYRING:persistent:%{uid}
 udp_preference_limit = 1
[realms]
 EXAMPLE.COM = {
  kdc = hadoop102.example.com
  admin_server = hadoop102.example.com
 }
[domain_realm]
 .example.com = EXAMPLE.COM
# example.com = EXAMPLE.COM

3.初始化KDC数据库

在服务端主机(hadoop102.example.com)执行以下命令

kdb5_utilcreate -s

4.修改管理员权限配置文件

在服务端主机(hadoop102.example.com)修改
/var/kerberos/krb5kdc/kadm5.acl文件,内容如下

*/admin@EXAMPLE.COM     *

5.启动Kerberos相关服务

启动KDC

systemctl start krb5kdc

启动Kadmin,该服务为KDC数据库访问入口

systemctl start kadmin

CDH集群启用Kerberos

1.为CM创建Kerberos管理员主体

kadmin.local -q "addprinc cloudera-scm/admin"

2.启用Kerberos

CDH6.3.2之Kerberos安全认证(二)

 

3.环境确认(勾选全部)

CDH6.3.2之Kerberos安全认证(二)

 

4.填写KDC配置

CDH6.3.2之Kerberos安全认证(二)

 

5.继续

CDH6.3.2之Kerberos安全认证(二)

 

6.填写主体名和密码

CDH6.3.2之Kerberos安全认证(二)

 

7.等待导入KDC

CDH6.3.2之Kerberos安全认证(二)

 

8.重启集群

CDH6.3.2之Kerberos安全认证(二)

 

9.完毕

Kerberos安全环境使用

在集群启用Kerberos之后,用户访问各服务都需要先通过Kerberos认证。下面通过访问HFDS,Hive演示具体操作方式。

1.为用户向Kerberos注册账号(Principal)

在Kerberos服务端主机(hadoop102.example.com)执行以下命令,并输入密码,完成注册

kadmin.local -q "addprinc hdfs/hdfs@EXAMPLE.COM"

2.用户认证,执行以下命令,并输入密码,完成认证

kinit hdfs/hdfs@EXAMPLE.COM

查看当前认证状态

$ klist 


Ticket cache: FILE:/tmp/krb5cc_0
Default principal: hdfs/hdfs@EXAMPLE.COM
Valid starting       Expires              Service principal
11/05/2020 14:29:23  11/06/2020 14:29:23  krbtgt/EXAMPLE.COM@EXAMPLE.COM
  renew until 11/12/2020 14:29:23

注:如需在非交互环境认证,例如在代码中认证,则可通过以下命令生成密钥文件,在代码中指定密钥文件路径即可。需要注意的是,生成密钥文件之后,密码随之失效。

kadmin.local -q "xst -k /path/to/your/keytab/admin.keytab hdfs/hdfs@EXAMPLE.COM"

3.访问HDFS

认证前

$ hadoop fs -ls /


20/11/05 14:28:28 WARN ipc.Client: Exception encountered while connecting to the server : org.apache.hadoop.security.AccessControlException: Client cannot authenticate via:[TOKEN, KERBEROS]
ls: Failed on local exception: java.io.IOException: org.apache.hadoop.security.AccessControlException: Client cannot authenticate via:[TOKEN, KERBEROS]; Host Details : local host is: "hadoop102.example.com/172.26.131.1"; destination host is: "hadoop102.example.com":8020; 

认证后

$ hadoop fs -ls /
Found 2 items
drwxrwxrwt   - hdfs    supergroup          0 2020-11-02 15:52 /tmp
drwxr-xr-x   - hdfs    supergroup          0 2020-11-03 09:23 /user

4.访问Hive

(1)hive客户端

认证前

$ hive


Exception in thread "main" java.lang.RuntimeException: java.io.IOException: Failed on local exception: java.io.IOException: org.apache.hadoop.security.AccessControlException: Client cannot authenticate via:[TOKEN, KERBEROS]; Host Details : local host is: "hadoop102.example.com/172.26.131.1"; destination host is: "hadoop102.example.com":8020; 
  at org.apache.hadoop.hive.ql.session.SessionState.start(SessionState.java:604)
  at org.apache.hadoop.hive.ql.session.SessionState.beginStart(SessionState.java:545)

认证后

$ hive


WARNING: Hive CLI is deprecated and migration to Beeline is recommended.
hive>

(2)beeline客户端

注:开启Kerberos之后,jdbc的url需增加hiveserver2的principal信息,如下

认证前

$ beeline -u " jdbc:hive2://hadoop102.example.com:10000/;principal=hive/hadoop102.example.com@EXAMPLE.COM"


Connecting to jdbc:hive2://hadoop102.example.com:10000/;principal=hive/hadoop102.example.com@EXAMPLE.COM
20/11/05 14:42:57 [main]: ERROR transport.TSaslTransport: SASL negotiation failure
javax.security.sasl.SaslException: GSS initiate failed
  at com.sun.security.sasl.gsskerb.GssKrb5Client.evaluateChallenge(GssKrb5Client.java:211) ~[?:1.8.0_181]

认证后

$ beeline -u " jdbc:hive2://hadoop102.example.com:10000/;principal=hive/hadoop102.example.com@EXAMPLE.COM"
Connecting to jdbc:hive2://hadoop102.example.com:10000/;principal=hive/hadoop102.example.com@EXAMPLE.COM
Connected to: Apache Hive (version 2.1.1-cdh6.3.2)
Driver: Hive JDBC (version 2.1.1-cdh6.3.2)
Transaction isolation: TRANSACTION_REPEATABLE_READ
Beeline version 2.1.1-cdh6.3.2 by Apache Hive
0: jdbc:hive2://hadoop102.example.com:10000/>


想要了解跟多关于

大数据培训

课程内容欢迎关注尚硅谷大数据培训,尚硅谷除了这些技术文章外还有免费的高质量大数据培训课程视频供广大学员下载学习。

上一篇:
下一篇:
相关课程

java培训 大数据培训 前端培训 UI/UE设计培训

关于尚硅谷
教育理念
名师团队
学员心声
资源下载
视频下载
资料下载
工具下载
加入我们
招聘岗位
岗位介绍
招贤纳师
联系我们
全国统一咨询电话:010-56253825
地址:北京市昌平区宏福科技园2号楼3层(北京校区)

深圳市宝安区西部硅谷大厦B座C区一层(深圳校区)

上海市松江区谷阳北路166号大江商厦6层(上海校区)

武汉市东湖高新开发区东湖网谷(武汉校区)

西安市雁塔区和发智能大厦B座3层(西安校区)