一大猫带四个二,尚硅谷大数据视频发新啦!

学大数据的筒子们看过来——

Azkaban发布!
Hive重磅升级!
Flume重磅升级!
HBase重磅升级!
Kafka重磅升级!

一大猫带四个二,玩得就是这么大!

闲言碎语不要讲,就唠金钱和理想。

学会大数据,吃饭就是香,亮家伙~

— Azkaban —

Azkaban是一个Hadoop workflow定时调度工具,解决了多个Hadoop任务单元之间的前后依赖关系。它提供了十分友好的用户界面,使用简单,容易上手。

在本课程中,你将学到Azkaban的安装部署、基础架构、定时调度工作流程(包含Shell、MapReduce、Hive等)、邮箱通知等。

课程目录

01.Azkaban_简介

02.Azkaban_特点

03.Azkaban_架构

04.Azkaban_Web_server_配置

05.Azkaban_Executor_server_配置

06.Azkaban_Web简介

07.Azkaban_基础使用

08.Azkaban_调度Shell脚本

09.Azkaban_通知邮件

10.Azkaban_多任务工作流程配置

11.Azkaban_Java_任务配置

12.Azkaban_HDFS_任务配置

13.Azkaban_MR_任务配置

14.Azkaban_Hive_任务配置

15.Azkaban_传参

— Flume — 

Flume是Cloudera提供的一个高可用的、高可靠的分布式海量日志采集、聚合和传输的系统。Flume基于流式架构,灵活简单,是大数据开发工程师必会的框架之一。

在本课程中,你将学习到Flume架构原理、安装配置、拓扑结构、使用Flume搭建监控端口采集数据、监控本地(或HDFS)文件(或文件夹)采集数据、多数据源采集数据、多数据出口收集日志、Flume负载均衡以及对于Flume的监控Ganglia的运用。

本次更新:课件升级、Flume中的事务、Flume故障转移、自定义组件Source和Sink。

课程目录

01.Flume入门_课程介绍

02.Flume入门_概念

03.Flume入门_基础架构

04.Flume入门_组件介绍

05.Flume入门_安装

06.Flume案例_官方案例(配置)

07.Flume案例_官方案例(测试)

08.Flume案例_监控本地变化文件(需求分析)

09.Flume案例_监控本地变化文件(案例一配置文件)

10.Flume案例_监控本地变化文件(案例一测试)

11.Flume案例_监控本地变化文件(案例二配置文件)

12.Flume案例_监控本地变化文件(案例二测试)

13.Flume案例_监控本地文件夹(配置文件)

14.Flume案例_监控本地文件夹(案例测试)

15.Flume案例_断点续传文件(配置文件)

16.Flume案例_断点续传文件(案例测试)

17.Flume高级_事务性

18.Flume高级_传输详细流程

19.Flume高级_拓扑结构

20.Flume高级_回顾

21.Flume高级_Channel选择器副本机制(需求分析)

22.Flume高级_Channel选择器副本机制(配置文件)

23.Flume高级_Channel选择器副本机制(案例测试)

24.Flume高级_Sink组故障转移(需求分析)

25.Flume高级_Sink组故障转移(案例测试)

26.Flume高级_Sink组负载均衡(配置&测试)

27.Flume高级_聚合组(需求分析)

28.Flume高级_聚合组(配置文件)

29.Flume高级_聚合组(案例测试)

30.Flume高级_自定义拦截器(需求分析)

31.Flume高级_自定义拦截器(代码实现)

32.Flume高级_自定义拦截器(配置文件)

33.Flume高级_自定义拦截器(案例测试)

34.Flume高级_自定义Source(需求分析)

35.Flume高级_自定义Source(代码实现)

36.Flume高级_自定义Source(案例测试)

37.Flume高级_回顾

38.Flume高级_自定义Sink(需求分析)

39.Flume高级_自定义Sink(代码实现)

40.Flume高级_自定义Sink(打包测试)

41.Flume监控_Ganglia安装

42.Flume监控_Ganglia测试

43.Flume_面试题

— HBase —

HBase是一个基于HDFS的分布式、面向列的开源数据库,是一个结构化数据的分布式存储系统,利用HBase技术可在廉价PC Server上搭建起大规模结构化存储集群,是每一个大数据工程师都应该掌握的基本框架。

在本课程中,主要讲述了HBase详细的架构原理及特点、HBase内部各个角色的详细介绍、安装配置、HBase的Shell操作、新旧版本的读写数据详细流程、HBase的API操作、使用MapReduce以及Hive对HBase数据分析、Rowkey设计、预分区设计、调优策略以及结合谷粒微博项目将核心知识点再次梳理,更熟练的运用HBase。

更新:课件升级、数据Flush流程和Compact流程、Region切分流程。

课程目录

01.HBase入门_课程介绍

02.HBase入门_定义

03.HBase入门_逻辑结构

04.HBase入门_物理结构

05.HBase入门_数据模型

06.HBase入门_基础架构

07.HBase入门_集群安装

08.HBase入门_集群启动&关闭

09.HBase入门_命令行操作DDL(表)

10.HBase入门_命令行操作DDL(命名空间)

11.HBase入门_命令行操作DML(增&查)

12.HBase入门_命令行操作DML(改&删)

13.HBase入门_命令行操作DML(多版本)

14.HBase高级_详细架构

15.HBase高级_写数据流程

16.HBase高级_写数据流程(源码流程)

17.HBase高级_回顾

18.HBase高级_Flush流程

19.HBase高级_读数据流程

20.HBase高级_Compact流程

21.HBase高级_读写扩展

22.HBase高级_数据真正删除时间

23.HBase高级_Split流程

24.HBaseAPI_DDL判断表是否存在(旧API)

25.HBaseAPI_DDL判断表是否存在(新API)

26.HBaseAPI_DDL创建表

27.HBaseAPI_DDL删除表

28.HBaseAPI_DDL创建命名空间

29.HBaseAPI_DML插入数据

30.HBaseAPI_DML获取数据(get)

31.HBaseAPI_回顾

32.HBaseAPI_DML获取数据(Scan)

33.HBaseAPI_DML删除数据(命令行删除数据)

34.HBaseAPI_DML删除数据(分析)

35.HBaseAPI_DML删除数据(实操)

36.HBaseAPI_DML删除数据(扩展)

37.HBaseAPI_与MR交互(官方案例)

38.HBaseAPI_与MR交互MR1(Mapper&Reducer完成)

39.HBaseAPI_与MR交互MR1(Driver&测试完成)

40.HBaseAPI_与MR交互MR2(Mapper完成)

41.HBaseAPI_与MR交互MR2(Reducer&Driver&测试完成)

42.HBaseAPI_与Hive对比

43.HBaseAPI_与Hive对接(失败)

44.HBaseAPI_与Hive对接(成功)

45.HBaseAPI_与Hive对接(案例二)

46.HBaseAPI_回顾

47.HBase优化_高可用

48.HBase优化_预分区

49.HBase优化_RowKey设计原则

50.HBase优化_RowKey情景设计

51.HBase优化_内存&其他

52.HBase案例_谷粒微博(需求分析)

53.HBase案例_谷粒微博(项目架构)

54.HBase案例_谷粒微博(HBaseUtil类封装)

55.HBase案例_谷粒微博(定义常量)

56.HBase案例_谷粒微博(发布微博第一部分)

57.HBase案例_谷粒微博(发布微博第二部分)

58.HBase案例_谷粒微博(关注用户第一部分)

59.HBase案例_谷粒微博(关注用户第二部分分析)

60.HBase案例_谷粒微博(关注用户第二部分代码实现)

61.HBase案例_谷粒微博(取关用户)

62.HBase案例_谷粒微博(获取初始化页面数据)

63.HBase案例_谷粒微博(获取某个人所有微博)

64.HBase案例_谷粒微博(测试)

— Hive —

Hive是基于Hadoop的一个数据仓库工具,将繁琐的MapReduce程序变成了简单方便的SQL语句实现,深受广大软件开发工程师喜爱。Hive同时也是进入互联网行业的大数据开发工程师必备技术之一。

在本课程中,你将学习到Hive架构原理、安装配置、hiveserver2、数据类型、数据定义、数据操作、查询、自定义UDF函数、窗口函数、压缩和存储、企业级调优,以及结合谷粒影音项目需求,把整个Hive的核心知识点贯穿起来。

更新:课件升级、添加自定义UDTF函数、企业常用函数以及更多企业面试真题详细讲解。

课程目录

01.Hive入门_课程介绍

02.Hive入门_概念介绍

03.Hive入门_优缺点

04.Hive入门_架构

05.Hive入门_与数据库的比较

06.Hive安装_安装&初试牛刀

07.Hive安装_从文件系统加载数据

08.Hive安装_安装MySQL

09.Hive安装_元数据存储在MySQL

10.Hive安装_回顾

11.Hive安装_JDBC访问

12.Hive安装_常用交互命令

13.Hive安装_其他命令

14.Hive安装_常见配置信息

15.Hive数据类型_基本&集合类型

16.Hive数据类型_类型转换

17.HiveDDL_数据库的增删改查

18.HiveDDL_建表语法

19.HiveDDL_内外部表

20.HiveDDL_分区表概念&简单使用

21.HiveDDL_分区表基本操作

22.HiveDDL_分区表注意事项

23.HiveDDL_修改表

24.HiveDML_使用Load方式加载数据

25.HiveDML_使用insert&as select加载数据

26.HiveDML_使用Location加载数据

27.HiveDML_回顾

28.HiveDML_导出数据到文件系统

29.HiveDML_导出数据的其他方式

30.HiveDML_清空表

31.Hive查询_基础查询

32.Hive查询_Where&判断式

33.Hive查询_Join

34.Hive查询_全局排序Order By

35.Hive查询_排序

36.Hive查询_4种排序总结

37.Hive查询_分桶表创建&导入数据

38.Hive查询_分桶表抽样查询

39.Hive函数_常用函数空值赋值

40.Hive函数_常用函数时间类

41.Hive函数_常用函数Case&if

42.Hive函数_常用函数行转列

43.Hive函数_常用函数列转行

44.Hive函数_窗口函数需求一

45.Hive函数_窗口需求二&三

46.Hive函数_窗口函数需求四

47.Hive函数_回顾

48.Hive函数_窗口函数回顾

49.Hive函数_窗口函数二

50.Hive函数_排名函数

51.Hive案例_课堂练习(一)

52.Hive案例_课堂练习(二-1)

53.Hive案例_课堂练习(二-2)

54.Hive案例_蚂蚁森林(1-1)

55.Hive案例_蚂蚁森林(1-2)

56.Hive案例_蚂蚁森林(2)解法一

57.Hive案例_蚂蚁森林(2)解法二

58.Hive案例_蚂蚁森林(2)解法三

59.Hive函数_回顾

60.Hive函数_系统函数查看

61.Hive函数_自定义函数介绍

62.Hive函数_自定义UDF

63.Hive函数_自定义UDF(2)

64.Hive函数_自定义UDTF(分析)

65.Hive函数_自定义UDTF(初始化方法)

66.Hive函数_自定义UDTF(核心方法)

67.Hive函数_自定义UDTF(打包测试)

68.Hive压缩存储_Snappy压缩方式

69.Hive压缩存储_行存储&列存储

70.Hive压缩存储_Text&ORC&Parquet文件格式对比

71.Hive压缩存储_存储格式&压缩方式结合使用

72.Hive优化_Fetch抓取&本地模式

73.Hive优化_大表Join大表&小表

74.Hive优化_MapJoin

75.Hive优化_回顾

76.Hive优化_Group By

77.Hive优化_笛卡尔积&行列过滤

78.Hive优化_动态分区

79.Hive优化_分区分桶&MR

80.Hive优化_9.5-9.10

81.Hive案例_谷粒影音需求分析

82.Hive案例_MRETL分析

83.Hive案例_MR ETL Mapper

84.Hive案例_MR ETL清洗数据逻辑

85.Hive案例_MR ETL Driver

86.Hive案例_谷粒影音数据准备

87.Hive案例_谷粒影音需求(一)

88.Hive案例_谷粒影音需求(二)

89.Hive案例_谷粒影音需求(三)

90.Hive案例_谷粒影音需求(四)

91.Hive案例_谷粒影音需求(五、六&八)

92.Hive案例_谷粒影音需求(七)

— Kafka —

Kafka是一个开源流处理平台,由Scala和Java编写。Kafka是一种高吞吐量的分布式发布订阅消息系统,它可以处理消费者规模的网站中的所有动作流数据。

在本课程中,你将学习到Kafka架构原理、安装配置使用、详细的Kafka写入数据和处理数据以及写出数据的流程、新旧版本对比及运用、分区副本机制的详解、内部存储策略、高阶API直接消费数据、低阶API自行管理Offset消费数据、Kafka拦截器以及KafkaStream流式处理。

更新:课件升级、Kafka幂等性、Kafka事务、监控器Eagle的使用、Kafka对接Flume的使用以及企业真实面试题详解。

课程目录

01.Kafka入门_课程介绍

02.Kafka入门_定义

03.Kafka入门_消息队列

04.Kafka入门_消费模式

05.Kafka入门_基础架构

06.Kafka入门_安装&启动&关闭

07.Kafka入门_命令行操作Topic增删查

08.Kafka入门_命令行控制台生产者消费者测试

09.Kafka入门_数据日志分离

10.Kafka入门_回顾

11.Kafka高级_工作流程

12.Kafka高级_文件存储

13.Kafka高级_生产者分区策略

14.Kafka高级_生产者ISR

15.Kafka高级_生产者ACk机制

16.Kafka高级_数据一致性问题

17.Kafka高级_ExactlyOnce

18.Kafka高级_生产者总结

19.Kafka高级_消费者分区分配策略

20.Kafka高级_消费者offset的存储

21.Kafka高级_消费者组案例

22.Kafka高级_高效读写&ZK作用

23.Kafka高级_Ranger分区再分析

24.Kafka高级_事务

25.Kafka高级_API生产者流程

26.Kafka高级_API普通生产者

27.Kafka高级_回顾

28.Kafka案例_API带回调函数的生产者

29.Kafka案例_API生产者分区策略测试

30.Kafka案例_API自定义分区的生成者

31.Kafka案例_API同步发送生成者

32.Kafka案例_API简单消费者

33.Kafka案例_API消费者重置offset

34.Kafka案例_消费者保存offset读取问题

35.Kafka案例_API消费者手动提交offset

36.Kafka案例_API自定义拦截器(需求分析)

37.Kafka案例_API自定义拦截器(代码实现)

38.Kafka案例_API自定义拦截器(案例测试)

39.Kafka案例_监控Eagle的安装

40.Kafka案例_监控Eagle的使用

41.Kafka案例_Kafka之与Flume对接

42.Kafka之与Flume对接(数据分类)

43.Kafka之Kafka面试题


上一篇:
下一篇:
关于尚硅谷
教育理念
名师团队
学员心声
资源下载
视频下载
资料下载
工具下载
加入我们
招聘岗位
岗位介绍
招贤纳师
联系我们
电话:010-56253825
邮箱:info@atguigu.com
地址:北京市昌平区宏福科技园综合楼6层(北京校区)

 深圳市宝安区西部硅谷大厦B座C区一层(深圳校区)

上海市松江区谷阳北路166号大江商厦6层(上海校区)