大数据视频下载导航(学习路线图)

B站1500万+的播放量见证经典，尚硅谷宋红康老师的Java入门视频堪称神作，如今，经典再次超级进化，新版Java视频教程震撼来袭！开发环境全新升级：JDK17+IDEA2022随堂案例全面升级：190个+，全程案例式教学项目实战重磅升级：3套授课项目+6套拓展项目面霸养成模式强化：大厂真题剖析300道+……一套教程满足你学Java的所有幻想！全面覆盖Java所有重点知识，充分考虑到初学者的学习特点，经典图示讲解100张+、拓展练习题350道+、附赠备查电子书1300页+，这不仅仅是一套视频，课件、源码、练习题和大厂真题、项目、学习路线图、资料……全部打包赠送！教程讲解深入源码、深入底层。解析数据结构，手写链表、栈、队列、二叉树，剖析BST与红黑树；剖析最新规范内存结构、解析字节码文件、类的加载；详解HashMap、ArrayList、String等类的底层源码；JUC、设计模式、第三方框架面面俱到……让你醍醐灌顶，快速形成Java知识体系！注重编程思想与编程习惯的培养。编程思想和编程习惯决定了程序员的成长上限，这套教程授之以鱼更授之以渔，教你知识更教你方法，教你方法更教你思路。教你如何编写高效简洁的代码，剖析大厂阿里巴巴的开发规范，帮你养成良好编码习惯，全面梳理面向对象的编程思想，模块化教学方式让你填空式系统地掌握知识点。Java从入门到精通，只此一套搞定！ 

数据库就像一棵常青的技能树，无论是初级程序员还是CTO、首席架构师都能从中汲取足够的技术养料。菜鸟往往积累单点技术，如 DML、DDL、存储过程和函数、约束、索引的数据结构，老鸟则需要吃透底层原理，数据库事务ACID如何实现？锁机制与MVCC又是怎么回事？分布式场景下数据库怎么优化保持高性能？知道怎么用是一方面，知道为什么则是更为稀缺的能力。程序员核心能力中至关重要的一点：精通数据库。精通意味着：第一，形成知识网，更灵活地应对突发问题；第二，懂底层原理，更自由地应对复杂多变的业务场景。B站1000w+播放量名师宋红康继《30天搞定Java核心技术》与《JVM从入门到精通》之后，又一王炸力作：《MySQL从小白到大神》面世！从入门到精通，带你一路打怪升级，猥琐发育，野蛮生长，成为MySQL实战高手！还是同样的配方，还是熟悉的味道，康师傅坚持一贯的“大处着眼，小处入手”的授课思路，针对技术难点庖丁解牛，娓娓道来，全程高能，干货满满。教程调研了多家大厂程序员、架构师，并融合了尚硅谷多年授课积累，几十个实际项目案例剖析，二百多道实战真题，在深度与广度、系统性和实战性方面，本套百科书式的教程可以说是无出其右！【适合人群】1、MySQL初学者，建议全套教程系统学习；2、1-3年工作经验的开发人员或运维人员，“基础篇”可选学，或跳过“基础篇”直接从“高级特性篇”开始学习；3、资深的MySQL DBA，本套教程可作为“案头书”，在解决问题时，某些概念或细节模糊，可拿来作参考。教程分为《MySQL数据库基础篇》与《MySQL高级特性篇》。【“数据库基础篇”内容大纲】1. 数据库概述与MySQL安装篇第01章：数据库概述第02章：MySQL环境搭建2. SQL之SELECT使用篇第03章：基本的SELECT语句第04章：运算符第05章：排序与分页第06章：多表查询第07章：单行函数第08章：聚合函数第09章：子查询3. SQL之DDL、DML、DCL使用篇第10章：创建和管理表第11章：数据处理之增删改第12章：MySQL数据类型精讲第13章：约束4. 其它数据库对象篇第14章：视图第15章：存储过程与函数第16章：变量、流程控制与游标第17章：触发器5. MySQL8 新特性篇第18章：MySQL8其它新特性【“高级特性篇”内容大纲】1. MySQL架构篇第01章：Linux下MySQL的安装与使用第02章：MySQL的数据目录第03章：用户与权限管理第04章：逻辑架构第05章：存储引擎第06章：InnoDB数据页结构2. 索引及调优篇第07章：索引第08章：性能分析工具的使用第09章：索引优化与SQL优化第10章：数据库的设计规范第11章：数据库其他调优策略3. 事务篇第12章：事务基础知识第13章：MySQL事务日志第14章：锁第15章：多版本并发控制（MVCC）4. 日志与备份篇第16章：其它数据库日志第17章：主从复制第18章：数据库备份与恢复

深入掌握JDBC，是打通Java和数据库之间的桥梁。本套教程开发环境采用JDK21，分层次渐进式学习。讲解中融入了框架思想，通过学习ORM思想及手动操作，使用反射技术搭建BaseDAO通用工具类，强化底层思想，为后续框架内容学习打下基础。教程分为三大篇章：基础篇，以解决现有问题的角度，快速学习JDBC的基础应用，让你低学习成本上手使用JDBC；进阶篇，带你理解ORM思想，在基础篇的内容上做进一步的优化，掌握多种连接池优化程序的能力；高级篇，融入实战经验的封装、优化、功能流程的把控，强化开发项目思想，优化代码逻辑。学习本套教程，需掌握数据库MySQL的使用。教程附赠全套视频、源码、笔记、资料，保姆级教学，手把手带你通关JDBC！ 

Linux作为一款经典的开源软件，已经成为服务器操作系统的首选。Linux继承了Unix简约高效的设计风格，性能强大，安全稳定，只需占用很少的硬件资源就可以为庞大的应用服务提供支持。互联网大厂日活过亿的应用，背后依靠的就是成千上万的Linux服务器，在大数据、云计算等蓬勃发展的领域，构建分布式的服务器集群，Linux更是占据了操作系统的主流。在如今的互联网公司中，不论是做系统运维，还是做应用开发、大数据处理，都需要对服务器进行操作管理，Linux成为了不可或缺的技能。在各个大厂的招聘职位中，Linux更是开发人员的必备技术栈。尚硅谷精心打造了Linux新版视频教程，选用Linux发行版CentOS 7，并使用CentOS 7.9版本，教程内容广泛升级，并对不同CentOS版本的变化做了说明。教程易上手重实操，深入浅出，又涵盖了操作系统原理的众多知识点，对Linux日常管理操作进行了详细的讲解，并在Shell编程部分给出了大量工作实践的脚本案例。

Hadoop框架主要用来解决海量数据的存储和分析计算问题。是大数据开发工程师所需技术之一。课程特点：1、全程案例贯穿始终，几乎每个知识点都有配套的案例；2、整个框架深入源码讲解；3、优化措施来源于企业开发；本课程中你将学习到，Hadoop完全分布式集群搭建、Hadoop源码编译、HDFS的Shell操作、HDFS的API操作、HDFS的IO流操作、HDFS读写数据流程、NameNode和SecondaryNameNode工作机制、DataNode工作机制、集群节点动态服役和退役、HDFS2.x新特性、MapReduce编程规范、自定义序列化、自定义InputFormat、自定义OutputFormat、分区、排序、合并、分组、ReduceJoin、MapJoin、数据清洗、计数器、TopN案例、倒排索引案例、MapTask工作机制、ReduceTask工作机制、Shuffle工作机制、MapReduce工作流程、Job提交流程源码、MapReduce源码、数据压缩、Yarn工作机制、作业提交流程、YARN资源调度器、MapReduce企业优化、HDFS小文件企业优化、数据倾斜优化等。

Hadoop是大数据技术中最重要的框架之一，是学习大数据必备的第一课，在Hadoop平台之上，可以更容易地开发和运行其他处理大规模数据的框架。尚硅谷Hadoop视频教程再次重磅升级！以企业实际生产环境为背景，增加了更广泛、更细致、更硬核的生产调优手册，对源码解析部分进行了新的扩充和升级，并增加大量企业实战案例！课程特点：1、新本教程基于当前企业使用流行版本Hadoop3.1.3录制，站在技术的前沿，研究企业最关心的技术，不落人后；2、细从搭建集群开始讲解，细致到每一个配置，每一行代码的讲解，源码讲解也均配有详细注释，逐步分析源码运行，将关键点一网打尽，手把手教你阅读百万行源码3、真使用企业级真实案例进行知识点讲解，以企业实际生产背景为例讲解调优手段，共包含20+企业中真实案例、30+企业真实调优方法，无缝对接真实生产环境；4、全从Hadoop集群的安装部署开始，对Hadoop各种功能模块进行讲解。教程包含各种教学资料，教学笔记、安装包、随堂笔记、源代码、视频，各种打包奉上。前置知识：Java基础、Maven基本操作、IDEA基本使用、Linux基础命令。

ZooKeeper是一个分布式的、开源的分布式应用程序协调服务，是Hadoop和Hbase的重要组件。Zookeeper为分布式应用提供一致性服务，功能包括：配置维护、域名服务、分布式同步、组服务等，是大数据开发工程师必会的框架之一。尚硅谷Zookeeper视频教程再次全方面大升级！在对Zookeeper的集群安装、选举机制、常见操作等内容讲解之外，增加了Zookeeper的分布式锁案例、对ZAB协议的精细讲解，更加细致地讲解了Paxos算法，深入剖析了Zookeeper源码。本套教程的特点是“新、全、细““新“：基于稳定版Zookeeper 3.5.7讲解；“全”：从实践应用到源码内核，无所不包，无所不讲，一套教程让你彻底掌握Zookeeper；“细”：还是一样的配方，还是熟悉的味道，知识点详细、注释详细、源码详细，视频、笔记、代码、资料各种赠送！教程内容：Zookeeper集群安装与部署Zookeeper命令行操作及API操作Zookeeper服务器动态上下线监听案例Zookeeper分布式事务锁案例Zookeeper算法讲解（拜占庭将军问题、Paxos算法、ZAB协议、CAP理论）Zookeeper源码详解（服务端初始化源码、服务器端加载数据源码、选举算法、状态同步算法、Leader启动源码、Follower启动源码、客户端启动源码）

Hadoop是一个能够对海量数据进行分布式处理的软件框架，用户可以轻松地在Hadoop上开发和运行处理PB级数据，具有高可靠性、高扩展性、高容错性、低成本等众多优点。Hadoop是大数据技术中最重要的框架之一，是大数据工程师的必备技能。继尚硅谷Hadoop新版教程重磅升级之后，再次带来Hadoop高可用集群教程，教你如何解决单点故障问题，教程内容包含HDFS手动和全自动高可用集群，以及Yarn集群的全自动高可用集群。学成之后，再也不用担心某个进程挂掉导致集群不可用，老板要杀了你祭天了……课程前置知识：Java、Hadoop、Zookeeper、Linux

HA(High Available)意为高可用，在本课程中主要是Hadoop的高可用，在实际开发环境中是必不可少的技术之一。你将通过本课程学习到，Hadoop存在的单点故障问题，解决单点故障的方案，搭建手动故障转移的HDFS-HA集群，搭建基于Zookeeper的自动故障转移的HDFS-HA集群以及自动故障转移的Yarn-HA集群。

Hive是大数据领域的一门重要工具技术，它基于Hadoop，令繁琐复杂的MapReduce程序可以使用简单易读的标准SQL语句替代，是大数据开发工程师的必备技能之一。经典视频教程，再次全面升级！尚硅谷大数据研究院携四大升级，带来了全新的Hive新版视频教程——【升级一：版本升级】由Hive 3.1.2升级至Hive 3.1.3，小升级，大变化，Hive 3.1.3是广泛应用的新稳定版本，更实用！【升级二：内容升级】重构教程体系，扩充了架构原理讲解、内部服务部署、常见参数详解、分等级实战案例、企业级性能调优方案等内容，更系统，更详实！【升级三：代码升级】增加大量综合实战案例，并分为初中高级便于练习，高效提升HQL技能！【升级四：内核升级】增加大量执行计划解读的讲解，执行计划解读能力是Hive开发工程师的内功之一，提升内功修为，HQL调优不在话下！除四大升级外，Hive新版视频教程延续尚硅谷一贯风格。管家式教学，从安装部署到HQL语法讲解，从函数详解到企业级性能调优，30小时+的教学，手把手带你从入门到精通；败家式赠送，教学视频，配套代码、笔记、资料，送送送！360度无死角的贴心教辅资料，你说学不会，我们不答应！

Hive是基于Hadoop的数据仓库工具，用来进行数据提取、转化、加载，是一种可以存储、查询和分析存储在Hadoop中的大规模数据的机制。Hive将繁琐的MapReduce程序变成了简单方便的SQL语句实现，深受广大软件开发工程师喜爱，是进入互联网行业的大数据开发工程师必备技术之一。本套视频教程为Hive的进阶课程，分为源码解析和优化两部分内容，通过本套教程你将学习到：企业级调优以及在大数据量时如何通过不运行HQL得知优化是否生效，以及简单方便的SQL语句翻译为MapReduce程序的全流程源码分析，包括Hive的经典面试题讲解，帮你开拓解决问题的视野及思路，搞定大厂面试！教程提供全套授课视频、笔记、面试题、资料，共计41讲，时长5小时。

Hive是大数据中一项重要的工具技术，无论是研读源码，还是建立一个匹配自有环境的Hive安装包，掌握Hive的源码编译技术都很重要。本套教程以搭建Hive on Spark环境为主线，一步步演示Hive源码的编译过程，对编译过程中会遇到的诸多问题进行了详细解读，包括解决组件兼容性问题的示例、修复已知Bug的示例等。同时，教程还讲解了多种Hive使用场景的部署过程，并对Hive与Spark的版本兼容性问题进行了调研，是Hive使用的精细“说明书”。教程学习需要对Hadoop、Hive、Spark等大数据框架有一定的了解，需要能够熟练使用Git/GitHub及Maven。

HQL刷题神器，带你从入门到精通！教程基于Hive3.1.3版本，精心研发的一整套HQL练习题详解，题目涵盖初中高级各个不同难度的题型，适用于各个阶段的大数据开发工程师，即可以从头开始打通关，也可以需要哪里点哪里。尚硅谷一贯的风格，保姆式讲解，赠送全套视频、代码、笔记、资料。教程对于HQL每一道练习题的讲解，均含有需求分析和SQL书写，并在课件中大量采用图文演示每一步SQL处理后数据发生的变化，让你对SQL的运行了如指掌，手把手带你把控HQL！

Flume是一个高可靠且高可用的分布式海量日志采集、聚合和传输的系统，它基于简单而灵活的流式架构，具有可靠性机制及故障转移和恢复机制，且有强大的容错能力，已成为大数据开发工程师必会的框架之一。在本套视频教程中，你将学习到Flume架构原理、安装配置、拓扑结构、使用Flume搭建监控端口采集数据、监控本地（或HDFS）文件（或文件夹）采集数据、多数据源采集数据、多数据出口收集日志、Flume负载均衡、Flume中的事务、Flume故障转移、自定义组件Source和Sink以及对于Flume监控Ganglia的运用等。本套新版视频教程的Flume版本由 1.7升级至1.9，针对企业中常用组件做了深入的剖析，用企业的真实案例做演示，增加了Flume监控工具的使用，对Flume核心组件进行了源码阅读，针对企业特殊应用场景做了源码修改。一套教程，轻轻松松让你对Flume从入门到实战！教程适用于从事数据采集工作的从业者、数仓工程师，以及大数据技术爱好者，学习需具备Java基础及Hadoop基础。

Kafka是高吞吐量的分布式消息发布和订阅系统，作为大数据领域全面且开源的分布式事件流平台，已成为大数据从业人员的必备技能。Kafka在实时数据处理、消息队列、流处理等领域具有广泛的应用场景，由于其高性能、高可靠、高吞吐的特点，被广泛应用于高性能的数据管道、流分析和数据集成等不同场景，在海量实时数据传输和事件驱动的微服务架构中也被广泛使用。本套教程基于Kafka 3.6.1版本设计，零基础入门，将理论、演示、源码融合在一起讲解，通过源码演示效果，通过效果印证理论，再通过理论梳理源码，让整个Kafka的技术架构，更加清晰地呈现在你的面前。教程采用简单直白的语言，以及图形化与操作相结合的形式，快速直观地讲解Kafka核心功能，降低软件本身的学习难度，缩减学习周期。你可以通过本套教程的学习，快速掌握Kafka核心组件的用法，理清核心数据的处理流程，并将Kafka应用于自己的项目中。教程内容按照数据在Kafka中传输流转的过程设置：一，服务集群启动，讲解软件启动过程中各服务组件的关系；二，创建主题，用于对传输数据进行分类；三，生产数据，讲解业务系统数据或待处理的数据传输到Kafka的流程，以及底层的实现原理；四，Kafka在接收到数据后，存储数据的核心操作及流程；五，消费者从Kafka中获取数据的方式及底层的操作流程。

HBase是一个面向列式存储的分布式数据库，底层存储基于 HDFS 实现，集群管理基于 ZooKeeper实现。HBase良好的分布式架构设计为海量数据的快速存储、随机访问提供了可能，基于数据副本机制和分区机制可以轻松实现在线扩容、缩容和数据容灾，是大数据领域中Key-Value数据结构存储最常用的数据库方案。本套教程基于HBase2.4.11研发，分析底层代码逻辑，结合实际应用实践，提供了使用指南，教程内容包含HBase架构讲解、常见Shell操作、API操作、RowKey设计和各类调优策略等，同时讲解了HBase与Phoenix、Hive兼容，提供了多种企业开发使用方式，轻松应对不同应用场景的开发需求，带你全局式掌握HBase安装部署和开发使用。

DolphinScheduler是一个分布式、易扩展的可视化DAG工作流任务调度平台，致力于解决数据处理流程中错综复杂的依赖关系，使调度系统在数据处理流程中开箱即用。本套教程由尚硅谷大数据教研团队与DolphinScheduler开发团队联合推出，基于DolphinScheduler 2.0.5版本，延续尚硅谷视频教程的一贯风格，多角度调研与其他大数据框架的版本兼容性，给出管家式的部署安装过程，并对工作流的配置、依赖设置、参数设置等做出了详尽讲解。教程在讲解框架的基础架构，介绍角色的主要作用，演示常见的使用之外，还做了进阶讲解，探讨了工作流传参的相关技巧，依赖资源的引用方式，如何完成邮件告警，以及如何做到工作流失败重跑等。教程堪称保姆级讲解，从安装到优化，各种操作一网打尽，带你轻松掌握当下火热的工作流调度平台：DolphinScheduler。

Maxwell是一个轻量级的MySQL数据抓取软件，在大数据领域有非常广泛的应用。可以实时读取MySQL二进制日志Binlog，并生成JSON格式的消息，作为生产者发送给Kafka、Kinesis、RabbitMQ、Redis、Google Cloud Pub/Sub、文件或其它平台的应用程序。本套教程以Maxwell的底层原理展开讲解，细致地介绍了Maxwell的安装部署及常见应用，详细讲解了如何实现MySQL数据的采集，并将数据分别发送至控制台与Kafka。教程内容详尽，操作简单清楚，让你轻轻松松2个小时掌握Maxwell！

Canal是由阿里开发并开源的轻量级MySQL数据抓取软件，在大数据领域有着非常广泛的应用。可以实时读取MySQL二进制日志Binlog，并生成JSON格式的消息，作为生产者发送给Kafka、Kinesis、RabbitMQ、Redis、Google Cloud Pub/Sub、文件或其它平台的应用程序，还可以使用TCP模式自定义数据格式以及发送的下游。本套教程以Canal的底层原理展开讲解，细致介绍了Canal的安装部署及常见应用，详细讲解了如何实现MySQL数据的采集，并将数据分别发送至Kafka，同时使用TCP模式深层解析封装的数据，并实现自定义数据格式。教程含全套视频、教辅文档、代码、软件，一站式搞定Canal。

Scala是一门基于JVM的静态类型高级语言，兼有面向对象和函数式编程两大特点，可视作Java的扩展和延申，不仅运行效率高且语法简洁高效，对程序员更为友好。它的很多特性对于集合类型数据处理有先天优势，而这恰恰是大数据处理的基础。如今大数据技术蓬勃发展，Spark作为大数据处理的核心框架，是从业人员需要掌握的工具，它的底层代码就由Scala编写，同时提供了功能强大的Scala API，Flink等大数据框架同样提供了完整的Scala API，掌握Scala已成为学习大数据技术的必备技能！尚硅谷精心打造了大数据技术之Scala课程，以后续Spark学习和大数据项目应用为目标，结合众多具体的编程案例，系统详细地介绍了Scala的语法结构和语言特性。本套视频教程分为三大部分：基础篇、核心篇和扩展篇。1. 基础篇：Scala入门介绍和基本语法讲解，内容包括：Scala语言的特点和发展历史、变量和数据类型、运算符以及流程控制；2. 核心篇：Scala的核心特性以及与大数据紧密相关的集合操作，内容包括：函数式编程、面向对象编程以及集合数据类型；3. 扩展篇：Scala的一些其它特色讲解，主要包括：模式匹配、异常处理、隐式转换以及泛型等。本套视频教程采用Scala 2.12版本，以项目为导向，内容详尽，通过案例驱动，由浅入深，通俗易懂，即使编程小白也可快速上手！学习需具备Java语言基础，教程提供全套视频、笔记、代码、资料，总计25小时+。

众所期待，隆重推出！大数据领域中杀手级的应用计算框架：Spark视频教程。本套视频教程基于Scala 2.12版本，对Spark 3.0版本的核心模块进行了详尽的源码级讲解，授课图文并茂，资料详实丰富，带你领略不一样的技术风景线。课程内容涉及方方面面，函数式编程，你熟悉吗？认知心理学，你知道吗？工程化代码框架，你了解吗？在这套Spark视频教程中，你想要的这些全都有！课程内容适合不同层次的开发人员，对你提升个人技术等级大有裨益。

Spark是大数据工程师的必备技能之一，本套Spark性能调优教程从多个角度详解Spark调优策略，包括资源配置调优、Spark SQL语法调优、执行计划解读、数据倾斜问题解决、Job优化、Spark 3.0新特性详解等。每个角度都提供了多种解决方案参考，并提出了详细的配置参数，剖析了常见的故障排除手法，可解决工作中遇到的各种Spark疑难杂症。教程基于Spark 3.0版本，拆解了Spark 3.0的新特性：AQE（自适应查询执行）、DPP（动态分区裁剪）、Hint增强，新增了谓词下推、列剪裁、常量替换、基于CBO的优化等Spark SQL优化手段。教程内容涉及面广、系统性强，将常用的Spark优化手段综合分类，提供了多种解决方案，在讲解常见问题的前提下，更注重培养解决问题的通用思路，让学习者可以触类旁通举一反三。

本套教程由尚硅谷与极狐GitLab官方（极狐GitLab 为 GitLab 的中国发行版）共同研发，联合推出！作为主流的分布式版本控制工具，Git是程序员实战开发的标配。本套教程带你从零开始，掌握Git与GitLab的部署与使用，以企业实战为目标，打通Git与GitLab学习的全链路！ 教程内容分为四大部分：Git基础命令及原理、IDEA多分支操作、GitLab企业实战、任务流开发及自动化部署。讲解以实际开发为驱动，直达痛点，全面展示了企业开发的版本控制流程和自动化部署构建实战，内容完整，模块清晰，方向明确，即学即可在企业中实际运用。 这不仅仅是一套Git的入门教程，更是极狐GitLab企业任务流开发实战。作为一站式DevOps平台，极狐GitLab的高阶功能全面覆盖：源代码托管、CI/CD、效能管理、敏捷项目管理、DevSecOps、云原生。强强联手，重磅力作，带你快速上手Git与GitLab！

Flink是一个开源的分布式流处理框架，适用于大规模数据的实时处理和批量处理。凭借批流统一、性能优良、规模计算、生态兼容、高容错等特点，Flink已然成为大数据领域的当红炸子鸡，被国内外众多大厂所采用，如今掌握Flink的人才炙手可热。本套教程基于Flink新版1.17进行讲解，共分四大篇章：基础篇、核心篇、高阶篇、SQL篇，内容详实，由浅入深，层层递进，涵盖Flink基本概念和核心组件的详细介绍，包括流处理、窗口操作、状态管理、容错机制、连接器、SQL等。还是尚硅谷一贯的风格，保姆式讲解，败家式赠送。教程采用动画讲解重难点，通过大量的实战案例演示，带你掌握如何使用Flink构建可靠、高效的数据处理应用，从而快速解决面对海量数据时的挑战。无论你是从事数据工程、数据分析还是数据科学方向，这套教程都将是你实现数据处理目标的有力助手！ 

Flink是大数据实时计算领域的当红炸子鸡，凭借其优秀的计算性能备受业内青睐，对离线数据和实时数据处理的兼容并包，使其应用越加广泛。Flink已经成为高薪大数据工程师的必备技能之一。尚硅谷在发布Flink系列视频后，又研发推出了Flink性能调优教程，与之前发布的Flink系列教程相辅相成，可作关联学习。本套Flink性能调优教程以企业实际开发环境为基础，从资源配置调优、状态及checkpoint调优、反压处理、数据倾斜、Job优化、Flink SQL调优六大角度出发，详细讲解了如何对Flink应用进行调优，并分别讲解了调优策略的内部机制及具体参数配置，可大大提高Flink开发效率，提升学习者的实战经验。教程中还广泛收集了常见的Flink开发故障，给出了问题解决思路及指导，从原理到实践，再到经验分享，一套教程讲透Flink性能调优。

Flink是大数据实时计算领域的当红炸子鸡，凭借其优秀的计算性能备受业内青睐，对离线数据和实时数据处理的兼容并包，使其应用越加广泛。Flink已经成为高薪大数据工程师的必备技能之一。尚硅谷在发布Flink系列视频后，又研发推出了Flink性能调优教程，与之前发布的Flink系列教程相辅相成，可作关联学习。本套Flink性能调优教程以企业实际开发环境为基础，从资源配置调优、状态及checkpoint调优、反压处理、数据倾斜、Job优化、Flink SQL调优六大角度出发，详细讲解了如何对Flink应用进行调优，并分别讲解了调优策略的内部机制及具体参数配置，可大大提高Flink开发效率，提升学习者的实战经验。教程中还广泛收集了常见的Flink开发故障，给出了问题解决思路及指导，从原理到实践，再到经验分享，一套教程讲透Flink性能调优。

ClickHouse是一个真正面向列的DBMS，采用列式存储，提供超高压缩比的压缩算法，轻松存储海量数据。多样化的引擎方案、类LSM Tree的结构、极致的并行处理能力，可以为用户提供高吞吐实时数据处理，其单表查询能力更是尤其亮眼。ClickHouse多方面的优秀表现使其成为构建离线数仓、实时数仓的不二选择，深受大厂青睐，成为了近年来一个异军突起的OLAP引擎，一匹真正的黑马。尚硅谷不负粉丝期待，深入研发探索，解锁大家最感兴趣的ClickHouse知识点。从入门级别的单机安装、分片集群部署、数据类型讲解、多样化表引擎介绍，以及不可或缺的SQL操作详细讲解；到深入级别的执行计划操作、建表优化、表参数调优、CPU参数调优、内存参数调优，以及多种语法优化规则讲解、多种单表查询优化策略讲解；再到进阶级别的与Prometheus和Grafana集成监控详解、手动实现备份与恢复等……整套教程有四大特点：“新”，采用ClickHouse新稳定版21.3.7.14；“细”，提供各种配置文档、随堂笔记、工具软件；“全”，几乎涵盖ClickHouse各种内容，一条龙搞定；“真”，以真实的生产环境场景讲解，各种知识点都围绕实用性展开，拳拳到肉，步步深入，让你从0到1掌握ClickHouse！

FlinkCDC是Flink社区开发的组件，搭配Flink流批一体数据计算引擎，能够实现采集计算一体化，更加方便项目的需求开发和后续维护。FlinkCDC 1.x带来了Flink通过监控数据库的Binlog，实时获取数据库动态变化数据，FlinkCDC 2.x带来了无锁全量同步，但都需要开发代码完成同步数据功能。FlinkCDC 3.0形成了自己的框架，只需要一个配置信息，无须开发代码即可实现数据同步，同时还能获取元数据变更，即数据库中添加字段之后，下游Sink端会自动同步变更元数据，无须重启就可以做到同步表变更。本套教程理论与实践相结合，从FlinkCDC的基本使用入手，分别讲解了DataStream和FlinkSQL两种方式，充分调研FlinkCDC 3.0，给出了更优化的解决方案，并结合源码深入分析了其核心原理。教程附赠全套视频、代码、文档及资料。 

数据可视化在大数据领域有着十分重要的位置，如何选择一款适合的可视化工具，需要做大量的调研工作。Superset是一款优秀易用的开源数据可视化平台，功能强大且兼容性强，可对接多种数据源，图标展示形式丰富多样，支持自定义仪表盘。Superset一向是尚硅谷数据仓库项目的首选数据可视化平台，此次尚硅谷将Superset视频教程单独研发推出，详细讲解了Superset的环境搭建及使用，教程内容包括Superst环境搭建、启停脚本编写、对接常用数据源、仪表盘配置实战、常用图表如折线图、地图、饼状图的详细配置等。

元数据管理是大数据体系中数据治理的重要一环，Apache Atlas为企业提供了开放式的元数据管理和治理功能，可以方便地将数据库元数据信息导入到Atlas中进行分析，通过Atlas企业可以对数据库元数据建立资产目录，并对数据资产进行分类和治理，为数据分析和治理提供高质量的元数据信息。本套视频教程基于新稳定版本Atlas 2.1进行讲解，从Atlas运行环境的安装部署，到与Apache生态圈的众多组件进行集成，都进行了细致的讲解，并各种经过了兼容性调研，还扩展讲解了如何编译Atlas源码，以及内容配置和用户权限配置等。教程时长4小时，提供配套的笔记、安装包、虚拟机、脚本等教辅资料。

大数据系统通常运行着众多的指标计算程序，想第一时间发现程序异常，需要一套完备的监控系统，能对运行现状进行可视化展示，并及时探查到运行异常并精准告警，基于此需求，我们研发了这套监控告警系统。这是一套集成了Prometheus+Grafana+睿象云的监控告警系统，融合了当下热门的监控系统Prometheus，使用了便捷的数据可视化工具Grafana，睿象云智能告警平台可接入各类告警信息，提供了丰富的告警形式。本套教程细致讲解了三大技术的部署配置与互相集成，手把手教你打造一个功能完善、界面美观、报警及时的监控系统。

大数据系统通常运行着众多的指标计算程序，想第一时间发现程序异常，需要一套完备的监控系统，能对运行现状进行可视化展示，并及时探查到运行异常并精准告警，基于此需求，尚硅谷研发了这套监控告警系统。这是一套集成了Zabbix+Grafana+睿象云的监控告警系统，融合了当下流行的监控系统Zabbix，使用了便捷的数据可视化工具Grafana，睿象云智能告警平台可接入各类告警信息，提供了丰富的告警形式。本套教程细致讲解了三大技术的部署配置与互相集成，手把手带你实现一个功能完善、界面美观、报警及时，对接多个接口的监控系统。Zabbix是一款功能强大的监控系统，具备采集信息、存储信息、展示信息、报警通知等众多功能；Grafana是网络架构和应用分析中最流行的时序数据展示工具，目前支持绝大部分常用的时序数据库； 睿象云智能告警平台CA（Cloud Alert）可以快速接入各类告警信息，并配合分派策略、排班机制，以多种方式发出告警，广泛提升告警管理能力。

Apache Kylin是一个开源的分布式分析引擎，为大数据开发人员提供Hadoop/Spark之上的SQL查询接口，以及支持超大规模数据集的多维分析能力，在大数据领域有着广泛的应用，是大数据开发人员的必备技能之一。本套视频教程由Apache Kylin的开发团队与尚硅谷联合研发推出，对尚硅谷原Kylin教程进行了广泛升级。Kylin版本升级为4.0，涵盖了Kylin新版的重大功能升级，并将构建引擎和查询引擎各种升级为Spark，将存储由HBase升级为HDFS下的Parquet存储，这三方面的升级大大提升了Kylin的Cube构建效率和查询效率。教程详细讲解了Kylin 4.0的安装部署过程，与其他框架的版本兼容性也进行了充分调研，并基于真实数据案例进行了实操演示。除此之外，教程中增加了由Kylin官方推荐使用的MDX for Kylin。MDX for Kylin是基于Mondrian二次开发，使用Apache Kylin作为数据源的MDX查询引擎，可以集成多种数据分析工具，提供在大数据分析场景下更极致的体验。教程基于真实数据，提供了详尽的安装、配置和使用讲解。本次教程升级遵循原版视频的理念，从前置基本概念入手，深入Kylin底层架构，详解Cube构建算法，在实际应用层面多角度讲解常用优化手段。教程提供全套视频、代码、笔记和资料，一套教程带你搞定Kylin！

Apache Hudi是新一代的流式数据湖平台，其将数据库和数据仓库的核心功能直接引入数据湖，并提供了表、事务、高效的增删改、高级索引、流式摄取、数据集群、压缩优化和并发控制等服务。Hudi在任何云平台都能够便携地使用，高级的性能优化可以对接Spark、Flink、Hive等任一款主流查询引擎，并使工作更加高效。尚硅谷大数据教研团队与Apache Hudi开发团队共同合作，联手推出了本套视频教程。教程延续了尚硅谷一贯风格：保姆式讲解，由浅入深，由点及面，娓娓道来，细致讲解了Hudi的内部架构和核心概念；败家式赠送，视频、代码、笔记、资料……帮助初学者轻松入门，快速上手。教程还详细讲解了Hudi与三大大数据计算引擎：Spark、Flink和Hive的对接过程，内容包括环境准备、多种对接方式、重点配置参数分析、进阶调优手段讲解等，从入门到精通，可快速投入实际生产使用。

Iceberg是由Netflix开发的面向海量数据分析场景的数据组织形式，在众多数据湖技术中独树一帜，目前已经晋升Apache重要项目，是各大互联网公司的优选数据湖技术，腾讯即选择了Iceberg作为数据湖存储引擎。本套教程由尚硅谷联合Iceberg开发团队共同推出。从Iceberg的技术特点和存储结构入手展开讲解，详细介绍了与大数据主流框架的集成与使用，包括Hive、Spark SQL、Flink SQL、Flink DataStream，从简单的安装配置，到详细的日常操作，再到解决集成中的各种问题，实用更实战！教程延续了尚硅谷一贯的风格：保姆式讲解，败家式赠送。课程由浅入深，从理论到实操涵盖全面，手把手教学，视频、代码、笔记、资料，一股脑全部送送送！

GreenPlum是基于PostgreSQL的开源大数据技术，被设计用于处理大规模数据仓库和数据分析任务。作为分布式数据库系统，GreenPlum支持高并发处理和大数据量存储，结合PostgreSQL的灵活性与扩展性，通过高效的分布式架构提供强大的数据处理能力，在大数据领域广受欢迎。本套教程主要涵盖：GreenPlum基础概念、架构特点、数据管理和函数的重点使用，以及大数据环境中的解决方案。通过这些知识模块的学习，你将掌握GreenPlum在数据仓库和数据分析中的应用。教程采用较新的稳定版GreenPlum 6.x，课程内容系统且完整，讲解由浅入深通俗易懂，还是尚硅谷一贯的风格，败家式赠送，视频、笔记、代码、资料，一站式服务；保姆式讲解，只要跟着学，没有学不会！

本套视频教程从数据仓库的架构搭建入手，穿插数据仓库的重要理论知识，包括数仓建模、范式理论和同步策略等，让你知其然更知其所以然。内容立足数据仓库项目，循序渐进，强调基础，注重应用，涵盖数据仓库建模理论介绍、电商业务理论介绍、数据抽取同步策略理论介绍、数仓分层详解、电商需求详解、使用Azkaban实现作业周期性执行、三种即席查询系统探讨研究、Superset实现数据大屏展示等。讲解遵循真实项目开发的全流程：分析项目需求、敲定项目架构、打通数据流、实现具体分析需求、进行可视化展示、完善数据治理方面功能……教程从服务器选型到需求实现思路讲解、框架安装、工具使用、内核介绍，内容无所不包，技术点覆盖广泛。整套项目的业务指标近100个、Shell脚本40多个、用户行为原始表11张，业务原始表24张、数仓总表近100张！Superset、Kylin、Druid、Presto、Atlas等前沿技术打包讲解，紧跟技术潮流。本套教程适合具有一定编程基础的大数据初学者，以及想深入了解数据仓库理论知识与搭建实现的大数据从业人员，跟随本套教程学习可以完整搭建一套数据仓库，获得从0到1搭建数据仓库的各种技能点！

数仓3.0视频教程重磅来袭！3.0版框架版本广泛升级：Hadoop-3.1.3、Hive-3.1.2、Flume-1.9.0、Kafka-2.4.1、Hive计算引擎升级为Spark3.0，用户行为日志重新设计……超大杯294集的满足感，视频、代码、资料、笔记，尽在其中！本套视频教程从数据仓库的架构搭建入手，实现了数据仓库项目的闭环，从数据采集到数仓建模到数仓应用各种涵盖。主要内容包括：用户行为日志及业务数据库的数据采集、数据仓库中的分层模型及维度建模、企业具体需求实现及可视化展示、即席查询引擎的搭建及使用、集群监控等，从服务器选型到需求实现思路讲解、框架安装、工具使用、内核介绍，内容完整，理论与实践并重，通俗易懂，实现思路清晰明了。教程适合具有一定编程基础的大数据初学者，以及想深入了解数据仓库理论知识与搭建实现的大数据从业人员，跟随本套教程学习可以完整搭建一套数据仓库，获得从0到1搭建数据仓库的各种技能点！说明：当下企业中2.0和3.0并存，学习者可以根据需要，选择2.0或3.0来学习。

数据仓库项目在整个大数据体系中的重要性不言而喻，是入行大数据的敲门砖，是整个大数据体系的基石。尚硅谷大数据新升级的离线数据仓库项目：尚品汇，由尚硅谷研究院精心研发，不仅仅是一个大数据项目，尚硅谷的Java团队和前端团队也各种参与其中，按照真实的项目开发流程，实现与Java和前端的无缝互联，历时半年精心打磨，倾力推出！教程涵盖Apache生态系统的各种主流技术：Hadoop、Hive、Spark、Flume、Kafka、Azkaban、Zookeeper、Sqoop、Atlas、Kylin、Presto、Kerberos、Ranger、Zabbix等，均采用了稳定版。数据治理内容更加广泛，搭建Kerberos+Ranger的一体化权限管理系统，使用Python+Shell脚本实现自动化数据质量监控，使用Zabbix+Grafana实现集群性能监控，采用目前企业主流的元数据管理应用Atlas实现了数据血缘管理，保障了数仓的安全性、一致性和可靠性。数据仓库建模理论是整个数据仓库的核心部分，本套视频教程对数据仓库理论部分进行了大幅扩充，对维度建模、关系建模理论的讲解更加透彻，新增了数据仓库理论热门名词概念讲解。通过本套教程的学习，你可以掌握数据仓库建模的各种理论知识，从零开始搭建一套数据仓库系统，掌握主流的大数据相关技术，对数据仓库的整体构架有一个完整的认识。本套教程的数据仓库项目与企业真实项目无缝对接，实现需求的思路可直接嫁接至现实工作中，可以为你在大数据开发过程中遇到难题提供更多的解决问题思路。本套教程延续了往期数据仓库视频的特点，讲解细致清楚，每一条SQL语句，每一行代码都讲得明明白白，教程配套的项目源码、文档资料、软件安装包等均可免费获取。教程适合具备一定大数据技术基础的学习者，需掌握Linux的日常操作，了解Hadoop生态的基础框架。

数据仓库项目在整个大数据体系中的重要性不言而喻，是入行大数据的敲门砖，是整个大数据体系的基石。尚硅谷经典之作再次重大升级，离线数仓5.0项目携四大升级震撼来袭！升级一：修改业务数据采集系统！引入实时业务数据采集技术Maxwell和Canal，使用DataX替换Sqoop，实时监测业务数据库变动情况，舍弃原有每天一同步的思路，数据采集更全、更准确、更流畅！升级二：数仓建模理论更丰富广泛！基于数仓建模大神Bill Inmon和Ralph Kimball的经典建模理论，结合阿里巴巴成熟的数仓构建实践，梳理出通用的数仓建模步骤，精简数仓建模体系，新增指标体系构建过程，升级了一套更具权威性且实操性更强的数仓建模理论体系。升级三：更换为更易用、更前沿、更受欢迎的任务流调度系统DolphinScheduler，不再需要单独编写任务流配置文件，真正做到拆箱即用！升级四：数仓整体表格数量大幅增加！完善需求场景，增加主题域和业务过程，更贴近企业实战，数仓更大更完善！通过本套教程的学习，你可以掌握数仓建模的各种理论知识，从零开始搭建一套离线数仓系统，掌握主流的大数据相关技术，对数仓的整体构架有一个完整的认识。本套教程的数仓项目与企业真实项目无缝对接，实现需求的思路可直接嫁接至现实工作中，可以为你在大数据开发过程中遇到难题提供更多的解决问题思路。项目适合具备一定大数据技术基础的人群学习，至少掌握SQL的写法、Linux的基本用法，对Hadoop生态的基础框架有一定了解。

数据仓库（以下简称数仓）在大数据体系中的重要性不言而喻，是入行大数据的敲门砖，是整个大数据体系的基石。尚硅谷大数据拳头项目：电商离线数仓，经典再度进化，6.0版本携四大升级震撼来袭！升级一：版本更新！全部框架版本整体升级，并充分调研框架版本之间的兼容性，提供编译后的源码及安装包，让你学习无后顾之忧。升级二：讲解更细！SQL重点知识讲解，均有配图，思路剖析图文并茂，细致入微，更方便理解，带你轻松领悟SQL编写的核心奥义。升级三：架构更稳！电商离线数仓项目历经多次迭代，设计堪称数仓经典，更加稳固，适配各种规模类型的企业数仓建设，学习之后可以触类旁通，举一反三。升级四：理论更扎实！项目参考阿里巴巴大数据之路的经典数仓理论进行构建，兼容并包大数据领域大神Bill Inmon和Ralph Kimball的经典建模理论，梳理构建出一套完整可实施的数仓构建步骤。经过多年的验证升级，更加扎实可靠。通过本套教程的学习，你可以掌握数仓建模的各种理论知识，从零开始搭建一套离线数仓系统，掌握主流的大数据相关技术，对数仓的整体构架有一个完整的认识。本套教程的数仓项目与企业真实项目无缝对接，实现需求的思路可直接嫁接至现实工作中，可以为你在大数据开发过程中遇到难题提供更多的解决问题思路。教程前置知识：掌握Linux服务器使用、Shell指令的常见操作，Hadoop、Flume、Kafka等框架的基本使用，Hive基础SQL语法和常用函数。

项目为使用Spark Streaming技术开发的大数据实时处理平台，主要用于互联网电商企业对各种用户行为进行复杂的分析，将统计分析的结果以接口或图形化的方式展示出来，辅助产品经理、数据分析师以及管理人员分析现有产品的情况，并根据用户行为分析结果持续改进产品的设计，以及调整公司的战略和业务，最终达成用大数据技术帮助公司提升业绩、营业额以及市场占有率的目标。视频总时长50小时+，附赠各种教辅资料，含笔记、代码、资料、工具等。通过本套项目讲解视频学习，可掌握企业中使用Spark Streaming进行实时计算的完整流程，并掌握整个环节中涉及的各类框架技术，例如高可用的大数据采集框架、高并发的分布式消息队列、基于内存的高吞吐实时计算技术、海量存储、毫秒级查询的数据库等。内容特点：1、企业级大数据项目开发流程贯穿每个业务模块的讲解，囊括需求分析、方案设计、数据设计、编码实现、测试以及性能调优等环节，广泛还原真实大数据项目的开发流程，对实时业务中涉及的双流Join以及Kafka精准一次性消费的问题进行了细致的讲解；2、使用SpringBoot对用户行为数据进行采集；3、通过Canal和Maxwell对业务数据库进行采集；4、将数据采集到分布式消息队列Kafka，并在Kafka中进行分层处理，主要分为ODS、DWD、DWS、ADS层；5、使用当前最火爆的Spark Streaming搭建高吞吐的数据实时处理模块；6、选用ElasticSearch和ClickHouse作为最终的实时数据处理结果的存储位置，并从中获取数据进行展示，进一步降低响应时间对数据进行分析；7、可视化展示使用ElasticSearch+Kibnana、自定义数据接口+可视化项目以及阿里巴巴的DataV进行可视化展示。适合人群：有Scala编程基础，项目使用Scala语言进行开发；了解Spark编程；熟悉常用的技术框架，如Kafka、HBase等（相关技术教程可通过尚硅谷官网免费获取）。

通信运营商每时每刻会产生大量的通信数据，例如通话记录，短信记录，彩信记录，第三方服务资费等等繁多信息。数据量如此巨大，除了要满足用户的实时查询和展示之外，还需要定时定期的对已有数据进行离线的分析处理。电信客服综合案例就是以此为切入点所开发的大数据实战案例。在本课程中，你将学习到，项目架构搭建，数据生产，数据消费，数据分析，以及数据展示等项目核心业务功能的实现。学习过程中，我们将使用Flume，Kafka，HBase，Hadoop,Echarts,Crontab等大数据框架完成整个业务的实现，并在学习过程中对各个框架的应用和原理进行梳理和剖析。

Spark Streaming是Spark核心API的一个扩展，可以实现高吞吐量、具备容错机制的实时流数据处理。本套视频教程以Spark Streaming为主线，实时计算的各个组件为支线，围绕着实时的定义、如何实现实时、怎么保证实时等一系列热点话题展开讲解，手把手带你搭建一套完整可用的实时计算项目。教程涵盖实时计算的各个重要组件：Spark Streaming、Kafka、Redis、ElasticSearch、SpringBoot等，以企业实际生产环境为背景，企业实际需求为例，详细讲解了实时计算的各个环节，从不同角度给出多种解决方案，并确定最优方案。教程内容从0到1，逐行代码逐行注释搭建实时计算项目，广泛提升你的代码功底。附赠全套教程资料：视频、讲义、源码、笔记、软件包等，通过本套教程的学习，你将会对实时计算有更加深刻的领会，在未来的实时处理领域助你一臂之力。

伴随着大数据时代的到来，作为发掘数据规律的重要手段，机器学习已经受到了越来越多的关注。而作为机器学习算法在大数据上的典型应用，推荐系统已成为各行业互联网公司营销体系中不可或缺的一部分，而且已经带来了真实可见的收益。目前，推荐系统和机器学习已经成为各大公司的发力重点，众多知名公司（如亚马逊、netflix、facebook、阿里巴巴、京东、腾讯、新浪、头条等）都在着眼于将蕴含在庞大数据中的宝藏发掘出来，懂机器学习算法的大数据工程师也成为了新时代的紧缺人才。尚硅谷精心打造出了机器学习与推荐系统课程，将机器学习理论与推荐系统项目实战并重，对机器学习和推荐系统基础知识做了系统的梳理和阐述，并通过电影推荐网站的具体项目进行了实战演练，为有志于增加大数据项目经验、扩展机器学习发展方向的工程师提供更好的学习平台。本课程主要分为两部分，机器学习和推荐系统基础，与电影推荐系统项目实战。第一部分主要是机器学习和推荐系统基础理论的讲解，涉及到各种重要概念和基础算法，并对一些算法用Python做了实现；第二部分以电影网站作为业务应用场景，介绍推荐系统的开发实战。其中包括了如统计推荐、基于LFM的离线推荐、基于模型的实时推荐、基于内容的推荐等多个模块的代码实现，并与各种工具进行整合互接，构成完整的项目应用。通过理论和实际的紧密结合，可以使学员对推荐系统这一大数据应用有充分的认识和理解，在项目实战中对大数据的相关工具和知识做系统的回顾，并且可以掌握基本算法，入门机器学习这一领域，为未来发展提供更多的选择，打开通向算法工程师的大门。谁适合学:1. 有一定的 Java、Scala 基础，希望了解大数据应用方向的编程人员2. 有 Java、Scala 开发经验，了解大数据相关知识，希望增加项目经验的开发人员3. 有较好的数学基础，希望学习机器学习和推荐系统相关算法的求职人员

如今大数据已经成了各大互联网公司工作的重点方向，而推荐系统可以说就是大数据更好的落地应用之一，已经为企业带来了可观的用户流量和销售额。特别是对于电商，好的推荐系统可以大大提升电商企业的销售业绩。国内外的知名电商，如亚马逊、淘宝、京东等公司，都在推荐系统领域投入了大量研发力量，也在大量招收相关的专业人才。尚硅谷打造的电商推荐系统项目，就是以经过修改的中文亚马逊电商数据集作为依托，并以某电商网站真实的业务架构作为基础来实现的，其中包含了离线推荐与实时推荐体系，综合利用了协同过滤算法以及基于内容的推荐方法来提供混合推荐。具体实现的模块主要有：基于统计的离线推荐、基于隐语义模型的离线推荐、基于自定义模型的实时推荐，以及基于内容的、和基于Item-CF的离线相似推荐。整个项目具有很强的实操性和综合性，对已有的大数据和机器学习相关知识是一个系统性的梳理和整合，通过学习，同学们可以深入了解推荐系统在电商企业中的实际应用，可以为有志于增加大数据项目经验的开发人员、特别是对电商业务领域感兴趣的求职人员，提供更好的学习平台。适合人群：1.有一定的 Java、Scala 基础，希望了解大数据应用方向的编程人员2.有 Java、Scala 开发经验，了解大数据相关知识，希望增加项目经验的开发人员3.有电商领域开发经验，希望拓展电商业务场景、丰富经验的开发人员4.有较好的数学基础，希望学习机器学习和推荐系统相关算法的求职人员

本套课程由阿里云大学和尚硅谷联合打造，以国内电商巨头实际业务应用场景为依托，以阿里云框架为技术支持，紧跟大数据主流场景，对接企业实际需求，对电商实时数仓的搭建进行了详细讲解。课程内容结合国内多家企业实际项目经验，从框架版本选型、系统架构设计、业务流程设计，手把手带你从零开始完成基于阿里云的实时数仓项目。（版本框架：RDS、DataHub、DTS、实时计算、DataWorks、DataV等）

一、项目简介该项目由阿里云大学和尚硅谷联合打造。本项目教程以国内电商巨头实际业务应用场景为依托，同时以阿里云ECS服务器为技术支持，紧跟大数据主流场景，对接企业实际需求，对电商数仓的常见实战指标进行了详尽讲解，让你迅速成长，获取更前沿的技术经验。二、项目架构版本框架：Flume、DateHub、DataWorks、MaxCompute、MySql以及QuickBI等；Flume：大数据领域被广泛运用的日志采集框架；DateHub：类似于传统大数据解决方案中Kafka的角色，提供了一个数据队列功能。对于离线计算，DataHub除了供了一个缓冲的队列作用。同时由于DataHub提供了各种与其他阿里云上下游产品的对接功能，所以DataHub又扮演了一个数据的分发枢纽工作；据上传和下载通道，提供SQL及MapReduce等多种计算分析服务，同时还提供完善的安全解决方案；DataWorks：是基于MaxCompute计算引擎，从工作室、车间到工具集都齐备的一站式大数据工厂，它能帮助你快速完成数据集成、开发、治理、服务、质量、安全等全套数据研发工作；QuickBI & DataV：专为云上用户量身打造的新一代智能BI服务平台。三、项目场景数仓项目广泛应用于大数据领域，该项目技术可以高度适配电商、金融、医疗、在线教育、传媒、电信、交通等各领域；四、项目特色本课程结合国内多家企业实际项目经验。从集群规模的确定到框架版本选型以及服务器选型，手把手教你从零开始搭建基于阿里云服务器的大数据集群。采用阿里云ECS服务器作为数据平台，搭建高可用的、高可靠的Flume数据采集通道，运用阿里云DateHub构建中间缓冲队列并担任数据分发枢纽将数据推送至阿里自主研发的DataWorks对数据进行分层处理，采用MaxCompute作为处理海量数据的方案，将计算结果保存至MySQL并结合阿里的QuickBI工作做最终数据展示。

在大数据处理领域，实时和离线各占非常大的比重，本套视频教程综合展示实时数据处理领域的一个重要应用：实时数仓项目。项目从数据采集开始，分别讲解了针对不同数据采取的不同采集策略，使用的不同数据采集工具。在数据处理部分，将实时采集的数据按照数据建模要求进行合理分层，使用当前最火热的实时计算引擎Flink，对实时计算结果进行可视化展示。内容包括：搭建用户行为数据的实时数据采集框架Flume-Kafka-Flink；采用Canal、Maxwell、Flink CDC三种方案实现业务数据的实时采集；分层搭建实时数据仓库，包括ODS层、DWD层、DIM层、DWM层、DWS层、ADS层；数据可视化接口的实现；ClickHouse技术的深入讲解……每一部分讲解均参照实际开发环境，提供了多种问题的解决方案，引导学员对问题进行更深层的思考。通过本套教程的学习，你将掌握企业实际开发中实时数仓搭建的全流程，深入理解Flink的高阶应用实例，掌握开发环节多种框架技术。教程总计40小时+，附赠各种视频、代码、笔记及资料。教程涵盖的关键技术点：数仓架构深入讲解、离线架构与实时架构对比分析、SpringBoot项目搭建讲解、Nginx安装配置使用、Flink CDC深入案例分析、Maxwell与Canal对比分析、使用侧输出流分流操作、Flink与HBase交互、Flink状态编程应用、Flink CEP循环模式匹配、双流join、旁路缓存、异步IO编码、ClickHouse多引擎讲解、Flink SQL、数据可视化接口编写、Flink实战优化方案等。

Flink实时数仓项目3.0，依托于真实电商巨头的电商体系和实际业务场景，并参照离线数仓的建模理论全力打造。新版项目重磅升级，在延续实用与硬核的基础上，全面升级了实时数仓的建模理论，建模体系更完善，数据分析更高效。项目采用Flink作为核心的实时计算引擎，充分利用Flink的优秀特性：状态编程、自定义处理函数、CEP、CDC等，对每一个指标的计算提供了基础API和Flink SQL两种实现方式。使用Maxwell作为业务数据采集框架，实时监控业务数据库变动情况。同时，充分探讨了多种大数据框架工具，如Redis、HBase、ClickHouse等，利用每个框架的特点发挥效用。通过本套教程的学习，你将掌握企业实际开发过程中实时数仓的全流程搭建，深入理解Flink的高阶应用，掌握开发环节的多种框架技术！Flink实时数仓项目3.0与电商数仓5.0项目（即将发布）无缝对接，采用相同的数据源及数据采集体系，便于系统性学习。教程内容涵盖：搭建用户行为数据的实时数据采集框架Flume-Kafka-Flink；采用Maxwell搭建业务数据采集体系；使用Flink CDC结合配置表、HBase完成数仓DIM层的搭建；参照数仓建模理论，分层搭建实时数仓，包括DWD层、DWS层、ADS层；使用SpringBoot编写数据接口，结合Sugar完成实时指标结果数据的可视化展示等。教程关键技术点：数仓架构深入讲解、离线架构与实时架构对比分析、SpringBoot项目搭建讲解、Flink CDC深入案例分析、使用侧输出流分流操作、Flink与HBase交互、Flink状态编程应用、Flink CEP循环模式匹配、双流Join、旁路缓存、异步IO编码、ClickHouse多引擎讲解、Flink SQL、数据可视化接口编写、Flink实战优化方案等。

随着数据湖技术的更新迭代，以Hudi为代表的项目架构已初步成型。本套教程详细介绍了如何搭建湖仓一体的整合项目，教程基于尚硅谷离线数仓项目5.0架构，以及数据建模的基础原理，带你完成一套比离线数仓更具时效性的湖仓一体架构。教程内容分为四部分：数据湖与数仓的区别与联系、项目环境介绍、湖仓分层数据计算、结果可视化展示。教程针对流式计算的统计和聚合给出了具体的解决方案，在维度关联中给出了应对不同生产场景的两种解决方案，供你在生产环境中选择使用。

本套教程由尚硅谷大数据研究院与腾讯云官方联合推出，依托国内电商巨头的真实业务场景，基于各大互联网企业对于腾讯云EMR架构体系的需求，将整个电商的实时数据仓库体系搭建在腾讯云架构上。教程完成了整个实时数据仓库架构的海量数据采集、存储、计算以及可视化展示，整个业务流程全部搭建在腾讯云服务器上，并全部采用腾讯云EMR的服务组件，将各腾讯云EMR服务组件进行充分联动。项目文档按照出书标准编写，详细讲解一行一行手敲代码，内容全面且细致，教程附赠全套视频、文档、代码、资料。通过本套教程的学习，你可以全方位掌握腾讯云的大数据服务组件使用和调优。

腾讯云EMR是由腾讯云打造的线上租赁式大数据解决方案平台，一站式高效部署。使用便携，没有繁琐的配置文件，直接线上修改配置；应用灵活，可以选择腾讯云提供的服务，也可以自行安装搭建服务。本套教程是由尚硅谷及腾讯云官方联合推出的离线数仓项目，基于腾讯云EMR平台打通数据采集通道，从数仓建模到逐层构建离线数仓，拥有完整的数仓建模理论及建模过程，且在构建过程中采用了腾讯云EMR平台组件和原生组件相结合的方式，让企业在组件选择上更加灵活。项目文档按照出书标准编写，详细讲解一行一行手敲代码，内容全面且细致，教程附赠全套视频、代码、笔记、资料。通过本套教程的学习，你可以全方位掌握腾讯云的大数据服务组件使用和调优。

为了满足前台的快速迭代需求和后台的稳定性需求，中台概念应运而生。互联网时代，实现数据驱动、智能预判需求、快速响应创新，成为企业实现持续发展的关键节点，众多互联网大厂通过中台来实现数字化升级。九章云台是尚硅谷精心打造的一个技术中台项目，带你从零开始体验中台项目的开发流程，包括了权限管理、实时数据大盘、报表管理、任务调度、Hive元数据分析、数据库的表级血缘关系计算等众多功能实现。项目特点：使用新版本SpringBoot 3.0和Java19编写后端；使用Java生态中的定时调度库Quartz实现任务调度模块，为学习者理解复杂的任务调度工具如AirFlow或Dolphin Scheduler奠定了坚实的基础；使用广为使用的语法分析器生成器Antlr4分析数据血缘；使用最新版Neo4j图数据库持久化计算出血缘关系图；使用Raw JDBC风格编写所有Crud代码，方便学习者理解及后续进一步优化。 

广告数仓项目以广告主投放到媒体平台为业务基础，收集管理平台数据及媒体平台发送的广告曝光点击次数之后，进行数据分析与统计，实现可视化报表展示。项目共分六大部分：广告业务详情介绍、数仓建模原理介绍、数仓集群部署和环境搭建、数仓数据分析及ETL完整流程、DolphinScheduler全流程调度、FineBI可视化大屏展示，是一套完整的数仓项目，学习者部署本地虚拟机即可实现全部项目流程。教程介绍了媒体投放广告的详细流程，帮助学习者了解广告投放业务体系，掌握ETL流程中常用的技术手段。项目中使用的框架包括：Hadoop、Hive、Spark、Kafka、Flume、Datax、ClickHouse、DolphinScheduler、FineBI等。

尚硅谷经过长期的精心打磨，仔细推演，隆重推出在线教育大数据项目！本套教程堪称在线教育行业大数据处理领域的重磅之作，项目借助真实在线教育行业的海量业务数据和用户日志数据，构建了完整的数据采集、分析、处理、展示通道，严格遵循主流数据仓库建模理论，搭建了高效率、高组织性、高可实施性的数仓架构体系。教程共分三大部分：采集系统、离线数仓、实时数仓。项目拥有完善的离线指标体系和实时指标体系，各指标体系均进行了完整的指标拆解与分析，形成了庞大的指标网络。涵盖40多个Shell脚本，5大类用户行为日志数据，30多张业务数据原始表格，100多张数仓分层表，分析展示了上百个离线指标、几十个实时指标。项目采用MaxWell和DataX作为数据采集工具，灵活设计数据采集策略，将采集来的数据同时服务于离线数仓和实时数仓。结合阿里巴巴成熟的数仓构建实践，总结出一套数仓建模理论体系，并梳理出通用的数仓建模步骤。分别使用Hive和Flink构建离线数仓和实时数仓，采用了流行的任务流调度系统DolphinScheduler。还是尚硅谷一贯的风格，保姆式讲解，败家式赠送，项目以细致入微的教学方式，手把手带你轻松掌握在线教育大数据处理的要领，更好地应对行业挑战和变革！

尚硅谷经过长期的精心打磨，仔细推演，隆重推出物流大数据项目！本套教程堪称物流行业大数据处理领域的重磅之作，项目借助真实物流行业的海量业务数据，构建了完整的数据采集、分析、处理、展示通道，严格遵循主流数据仓库建模理论，搭建了高效率、高组织性、高可实施性的数仓架构体系。教程共分三大部分：采集系统、离线数仓、实时数仓。项目拥有完善的离线指标体系和实时指标体系，各指标体系均进行了完整的指标拆解与分析，形成了庞大的指标网络。涵盖30多个Shell脚本，30多张业务数据原始表格，100多张数仓分层表，分析展示了上百个离线指标、几十个实时指标。项目采用FlinkCDC和DataX作为数据采集工具，灵活设计数据采集策略，将采集来的数据同时服务于离线数仓和实时数仓。结合阿里巴巴成熟的数仓构建实践，总结出一套数仓建模理论体系，并梳理出通用的数仓建模步骤。分别使用Hive和Flink构建离线数仓和实时数仓，采用了流行的任务流调度系统DolphinScheduler。还是尚硅谷一贯的风格，保姆式讲解，败家式赠送，项目以细致入微的教学方式，手把手带你轻松掌握物流大数据处理的要领，更好地应对行业挑战和变革！ 

新能源汽车数仓项目共分三大部分：数仓采集环境搭建、数仓分层计算、FineBI可视化大屏展示。项目的核心内容为汽车行驶连续日志的数据分析，采用了数仓模型拆解业务及特定模型构建的形式，完成需求指标的分析计算。项目带你从0到1完成数仓框架环境搭建、数仓建模分析，以及最终数据的可视化展示，了解数仓建模理论体系及实际应用，并为连续的日志分析提供了有效解决方法。还是尚硅谷一贯的风格，保姆式讲解，败家式赠送，学习者部署本地虚拟机参照视频及教辅资料即可实现全部项目流程。项目中使用的框架包括：Hadoop、Hive、Spark、Kafka、Flume、Datax、DolphinScheduler、FineBI、ZooKeeper等。 

本套项目教程以线上问诊为基础业务，真实还原了线上问诊平台对于用户数据的分析和统计，并以大屏展示的方法呈现数据分析的结果。线上问诊离线数仓项目共分四大部分：数仓建模原理介绍、数仓模型搭建、DolphinScheduler全流程调度、SuperSet可视化大屏展示。项目以线上问诊采集项目为前置基础，使用线上问诊采集项目的基础架构，将数据导入数仓中，对数据进行系统化的分析计算，得到指标需求结果。项目中使用的框架包括：Hadoop、Hive、Spark、Kafka、Flume、Flink-CDC、Datax、DolphinScheduler、SuperSet等。通过本套视频教程的学习，你将彻底了解数仓建模理论体系，深入认识线上问诊平台的业务理论体系。

线上问诊实时数仓项目延续了离线数仓的业务逻辑，以线上问诊开处方为基础业务逻辑，真实表现了线上问诊数据的实时分析统计。线上问诊实时数仓项目共分三大部分：实时数仓架构介绍、数仓模型搭建、Suger可视化大屏展示。项目以线上问诊采集项目为前置基础，使用采集项目中搭建的虚拟机环境，读取采集项目实时监控的业务数据，对数据进行实时的分析计算，最终得到指标需求结果。项目中使用的框架包括：Hadoop、Kafka、Flume、Maxwell、Flink、HBase、Phoenix、Redis、Doris、Suger等。教程通过精炼的业务体系逻辑，带你快速掌握实时数仓所使用的技术手段！  

金融审批数仓项目共分三大部分：数仓采集环境搭建、数仓分层计算、SuperSet可视化大屏展示。项目的核心内容为金融审批业务的连续阶段性分析，采用了特殊的事实表建模完成里程碑生命周期业务的便捷统计。教程带你从0到1完成数仓框架环境搭建、数仓建模分析，以及数据的可视化展示。帮助学习者深入了解数仓建模理论体系及实际应用，对金融系统中特殊的阶段性业务分析，提供了有效的解决方法。还是尚硅谷一贯的风格，保姆式讲解，败家式赠送，一站式学习，学习者参照视频及教辅资料即可实现全部项目流程！

金融审批实时数仓项目共分三大部分：实时数仓架构介绍、数仓模型搭建、Sugar可视化大屏展示。金融审批实时数仓项目延续了离线数仓的业务逻辑，以金融租赁业务线为主题，从审批流程一直到设备租赁，完整地对金融租赁业务进行了各个流程的实时数据分析。项目以金融审批采集项目为前置基础，使用采集项目中搭建的虚拟机环境，读取采集项目实时监控的业务数据，对数据进行实时的分析计算，得到指标需求结果，写出到Doris之后，使用Sugar进行可视化展示。项目使用的框架包括：Hadoop、Kafka、Flume、Maxwell、Flink、HBase、Phoenix、Redis、Doris、Sugar等。整套教程通过精炼的业务体系逻辑，帮助学习者快速掌握实时数仓所使用的技术手段。

车险离线数仓项目共分三大部分：数仓采集环境搭建、数仓分层计算、SuperSet可视化大屏展示。项目的核心内容为对汽车保险核心业务的交易域、理赔域进行统计分析。教程带你从0到1完成数仓框架环境搭建、数仓建模分析，以及数据的可视化展示。帮助学习者深入了解数仓建模理论体系及实际应用。还是尚硅谷一贯的风格，保姆式讲解，败家式赠送，一站式学习，学习者参照视频及教辅资料即可实现全部项目流程！项目中使用的框架包括：Hadoop、Kafka、Flume、Hive、DataX、DolphinScheduler、Maxwell、Zookeeper、SuperSet等。教程通过精炼的业务体系逻辑，带你快速掌握离线数仓所使用的技术手段！ 

本套教程由尚硅谷与阿里云联手打造！以国内电商巨头实际业务应用场景为依托，采用阿里云DataWorks大数据平台为技术支持、MaxCompute作为处理海量数据的方案、QuickBI做数据展示，对电商数仓的常见实战指标进行了详尽讲解。教程从集群规模的确定，到框架版本选型以及服务器选型，手把手教你从零开始搭建基于阿里云服务器的大数据集群。紧跟时代主流场景，对接企业实际需求，技术高度适配电商、金融、医疗、在线教育、传媒、电信、交通等众多领域，让你快速掌握最前沿的技术！阿里云官方训练营：https://edu.aliyun.com/trainingcamp/352804学习福利：阿里云相关产品免费试用、达成学习目标获阿里云训练营结营证书、尚硅谷讲师与阿里云大数据专家定期答疑、专属学习社群交流互动、活动奖品多多！

教程由尚硅谷与阿里云联手打造，是继阿里云离线数仓教程之后的又一力作。项目以国内电商巨头实际业务应用场景为依托，采用阿里云Hologres实时数仓与Flink云服务，构建高性能的实时数仓分析系统，紧跟时代主流场景，对接企业实际需求，让你快速掌握阿里云生态，获取技术经验！教程结合国内多家企业实际项目经验，使用Flink结合DataHub数据总线，将存储在数据库中的业务数据推送至Hologres实时数仓中，对数据进行分层处理，采用Flink云服务作为处理海量数据的方案，将计算结果保存至Hologres并结合阿里云DataV做数据展示，对电商数仓的常见实战指标进行了详尽讲解。阿里云官方训练营：https://edu.aliyun.com/trainingcamp/352900学习福利：阿里云相关产品免费试用、达成学习目标获阿里云训练营结营证书、尚硅谷讲师与阿里云大数据专家定期答疑、专属学习社群交流互动、活动奖品多多！

本套项目教程以快餐点餐为基础业务，真实还原了快餐点餐平台对于用户数据的分析和统计，并以大屏展示的方法呈现了数据分析的结果。快餐离线数仓项目分为四大部分：数仓建模原理介绍、数仓模型搭建、DolphinScheduler全流程调度、FineBI可视化大屏展示。项目以快餐采集项目为前置基础，在此基础上将数据导入数仓当中，对数据进行系统化的分析计算，得到指标需求结果。项目使用框架包括：Hadoop、Hive、Spark、Kafka、Flume、DataX、DolphinScheduler、FineBI等。通过本套教程的学习，你将系统了解数仓建模理论，深入认识快餐平台的业务理论体系。 

新版本！新内容！Flink实时数仓项目4.0带来新升级，对标企业实际开发场景，为你带来不一样的学习体验！本套项目教程以电商采集项目为前置基础，整体内容分为三大部分：实时数仓架构介绍、数仓模型搭建、Suger可视化大屏展示。教程通过精炼的业务体系逻辑，带你快速掌握实时数仓所使用的技术手段。使用到的框架包括：Hadoop、Kafka、Flume、Maxwell、Flink、HBase、Redis、Doris、Suger、StreamPark等。相较于Flink实时数仓项目3.0版本，本项目采用企业级分模块开发部署方式，使用了新版的Flink 1.17，自主部署了GitLab，同时采用GitFlow任务流的形式，来对整体项目进行版本控制，采用StreamPark框架，将整个项目在线部署至YARN集群，提供在线监控、自动告警等功能。

IDEA全称IntelliJ IDEA，是Java语言开发的集成环境。因功能强悍且设置人性化，IDEA在业内被广为使用，堪称程序员居家旅行必备的Java开发利器。本套教程采用IDEA2022.x版本（兼容JDK17），从IDEA的安装和设置入手，详解IDEA中工程与模块的结构、代码模板的设置与使用、断点调试、快捷键使用、Maven工程与Web工程的搭建、数据库的关联、常用热点插件使用等共计12大专题内容。康师傅出品，必属精品。还是一样的配方，还是熟悉的味道，视频、课件、代码、资料、软件，只有你想不到，没有康师傅给不到，送送送，送到你心动！无论是初学Java的菜鸟，还是习惯了其它IDE开发工具的老鸟，都可以通过本套教程快速上手IDEA。

SVN(Subversion)是目前使用广泛的版本控制软件，作为CVS的继任者，它在很多方面都具有鲜明的特色，提供了更好的操作体验，很好的解决了在实际的企业开发过程中诸如：数据备份、代码还原、协同修改、版本管理、追溯问题代码的编写人和编写时间以及权限控制等问题。在本套视频中通过几个生动的小故事引出协同开发中存在的问题，从而体会SVN的作用，最终落实到常用的SVN操作。手把手教你安装服务器端程序、配置版本库、操作客户端界面，帮你破茧成蝶，完成蜕变为Developer的第一步。

名师力作，彪悍升级！升级一：Redis7新特性一网打尽多AOF文件支持、config命令增强、限制客户端内存使用、Client-eviction、listpack紧凑列表调整、访问安全性增强ACLV2、Redis Functions、RDB保存时间调整、命令新增和变动、性能资源利用率、安全等，统统收入教程中！升级二：教程知识覆盖面广分为基础篇+高阶篇两部分，小白可以打通关，从入门到精通；老鸟可以直接高阶篇走起，从源码级深度学习Redis，剖析大厂落地真实案例，从熟手变专家。只此一套打包带走，让你彻底掌握Reids知识体系！升级三：大厂面试真题讲解十大专题分类讲解：BigKey专题、缓存双写一致性专题、大数据统计类专题、新类型专题、布隆过滤器专题、缓存预热-雪崩-穿透-击穿专题、Redis分布式锁专题、Redlock算法专题、Redis源码专题、IO多路复用专题。刷完面试不怂，Offer拿到手软！升级四：互联网企业真实案例剖析 分享大厂企业级解决方案，包括：美团App查找附近的酒店、腾讯微信红包、头条抖音推送播放去重、新浪微信好友关系、天猫聚划算业务等。不惧实战，升职加薪！还是阳哥的配方，还是你熟悉的课程，管生又管养，管杀又管埋，上了阳哥的车，一路火花带闪电，学成达到阿里P6-P7的水平，成为炙手可热的NoSQL高级开发人员！

本Java视频主要讲授Java JUC线程部分的内容：针对 Java 5.0 提供的 java.util.concurrent （简称 JUC ）包中的线程的高级应用。 在此包中增加了在并发编程中常用的实用工具类，用于定义类似于线程的自定义子系统，包括线程池、异步 IO 和轻量级任务框架。提供可调的、灵活的线程池。还提供了设计用于多线程上下文中的 Collection 实现等。

如今的大数据技术应用场景，对实时性的要求越来越高。作为新一代大数据流处理框架，Flink已经成为各大公司实时领域的发力重点。越来越多的公司将实时项目向Flink迁移，国内以阿里为代表的一众大厂贡献了大量源码，Flink社区也在快速发展壮大。Flink能够提供毫秒级别的延迟，同时保证了数据处理的低延迟、高吞吐和结果的正确性，还提供了丰富的时间类型和窗口计算、Exactly-once语义支持，还可以进行状态管理，并提供了CEP（复杂事件处理）的支持。Flink已被认为是大数据实时处理的方向和未来，掌握Flink的人才炙手可热。尚硅谷精心打造推出了新版Flink（Scala）教程，基于Flink 1.13版本，各种代码使用Scala语言编写，可读性更强，更易于上手。教程对Flink底层原理和API做了详细梳理和阐述，并基于电商应用场景给出了大量应用案例代码。教程分为四大篇章：一、基础篇（1-4章）：Flink快速上手Flink部署提交和运行时架构，初步掌握Flink的原理和用法。二、核心篇（5-6章）：系统学习Flink APIFlink核心层API：DataStream API，包括基本的转换操作和窗口使用，并着重介绍Flink中时间语义和水位线（Watermark）的概念和原理。三、高阶篇（7-10章）：Flink高阶用法更加底层的API，Flink的处理函数（Process Function）、多流转换操作、状态编程和容错机制等。通过高阶篇学习，可以解决Flink实际应用中大多数问题，并更深刻地理解Flink有状态流处理的本质。四、扩展篇（11-12章）：Flink SQL和CEP高层级的API，扩展篇的讲解中，面向应用层提供了大量方便的接口用法，在实际项目中有着广泛应用。

Oozie是大数据生态圈中一个基于工作流的任务调度工具，也是大数据工程师的一个常用工具。在本课程中，你将学习到Oozie的原理、安装配置、使用Oozie实现调度Shell脚本、逻辑调度多个Shell脚本、直接调度MapReduce任务以及定时逻辑调度多个任务等。

近年来，容器技术在互联网行业大火，特别是在开发和运维方向，极大地解决了规模化和灵活化部署的问题，作为容器技术的代表作Docker更是被广泛应用。本套教程为2018版尚硅谷Docker经典视频的新升级，基础篇进行了更加细致且深度的讲解，并新增了大厂进阶篇，技术点从入门到高级广泛覆盖！教程同时适用于零基础小白和已熟悉Docker的使用者，可各取所需，有选择性和针对性的学习，哪里不会点哪里。基础篇自容器和镜像的概念讲起，从Docker开发环境的搭建，到容器仓库的管理操作，再到日常开发软件部署等均有详细讲解，通过案例驱动，落地阿里库和私有库的镜像推送，完成容器协作流程。进阶篇详解亿级分布式缓存的集群容器化部署案例，Dokcerfile的语法编写，结合微服务发布镜像到Docker的实战需求，同时升级docker-compose完成一键部署多个微服务，再用Portainer和CAdvisor+InfluxDB+Granfana完成容器的可视化统计和监控配置。通过本套教程的学习，你将系统掌握容器技术，从Docker菜鸟到Docker老鸟，成为云原生时代的高级开发人员！

在数据大爆炸的时代，快速准确地查询到目标数据尤为重要，对此Elasticsearch交出的答卷无疑非常抢眼。Elasticsearch是一个基于Lucene库的全文搜索引擎框架，是经典实时日志分析技术架构ELK平台的核心框架。本套教程分别讲解了Elasticsearch 7.x和8.x，兼顾了主流应用和新技术。第教程第一部分（第1-62集），由浅入深讲解了Elasticsearch7.8的开发应用、核心原理以及与其他经典数据分析引擎Spark、Flink的集成方式。对Elasticsearch基础概念：Restful、倒排索引、JSON等进行说明，使用不同方式（HTTP、Java API）不同的角度（设计、原理）讲解软件的核心操作，对Elasticsearch在不同环境（Windows、Linux）下的部署进行演示，体会不同模式（单点、集群）的区别。并讲解了Elasticsearch的设计思想及核心概念，将Elasticsearch和Spring框架集成，与主流的数据分析引擎相结合，实现生产环境中代码操作，并重点讲解了Elasticsearch的优化和常见面试题。教程第二部分（第63-103集），Elasticsearch8.0发布后，新版本增加了大量的新功能和新特性，在速度、扩展、高相关性和简单性方面开启了一个新的时代。教程从实操、应用、特性三大方面对Elasticsearch8.1进行了广泛讲解，内容囊括了：新老版本的对比及使用上的变化，Elasticsearch8.1的部署演示及注意事项，并着重介绍了安全认证的软件集成访问，Elasticsearch的核心功能及评分机制的公式，Elasticsearch的优化和特性等。

Kubernetes（简称k8s）是谷歌开源的一套容器化集群管理系统，当下已被众多大厂及中小企业采用，容器化技术是目前的大势所趋。本套教程k8s版本升级为新版1.18.0，内容由浅入深，且更加深化细节，对于开发者大大提高了友好度，增加了项目实战部署。教程完整演示了一个真实的项目从零开始部署到k8s集群，包括项目打包、制作镜像、部署过程等。教程总计64个视频，全长15小时，赠送课程资料及笔记，全套教程分为五大部分：一、k8s概念和架构二、从零搭建k8s集群通过集群部署工具kubeadm和二进制方式两种搭建方式，让学习者熟练掌握kubernetes的搭建过程和集群内部架构。三、K8s核心概念包含最小部署单元Pod、控制器Controller、Service、Ingress对外暴露端口、集群安全机制RBAC、持久化存储PV和PVM、Helm工具使用等。四、搭建集群监控平台系统五、从零搭建高可用k8s集群教程所需前置知识：1、需具备Linux环境及掌握Linux常见操作2、需掌握Docker技术

1.算法是程序的灵魂，优秀的程序在对海量数据处理时，依然保持高速计算，就需要高效的数据结构和算法支撑。2.网上数据结构和算法的课程不少，但存在两个问题：1)授课方式单一，大多是照着代码念一遍，数据结构和算法本身就比较难理解，对基础好的学员来说，还好一点，对基础不好的学生来说，基本上就是听天书了2)说是讲数据结构和算法，但大多是挂羊头卖狗肉，算法讲的很少。 本课程针对上述问题，有针对性的进行了升级3)授课方式采用图解+算法游戏的方式，让课程生动有趣好理解4)系统广泛的讲解了数据结构和算法, 除常用数据结构和算法外，还包括程序员常用10大算法：二分查找算法（非递归）、分治算法、动态规划算法、KMP算法、贪心算法、普里姆算法、克鲁斯卡尔算法、迪杰斯特拉算法、弗洛伊德算法、马踏棋盘算法。可以解决面试遇到的最短路径、最小生成树、最小连通图、动态规划等问题及衍生出的面试题，让你秒杀其他面试小伙伴3.如果你不想永远都是代码工人，就需要花时间来研究下数据结构和算法。教程内容：本教程是使用Java来讲解数据结构和算法，考虑到数据结构和算法较难，授课采用图解加算法游戏的方式。内容包括: 稀疏数组、单向队列、环形队列、单向链表、双向链表、环形链表、约瑟夫问题、栈、前缀、中缀、后缀表达式、中缀表达式转换为后缀表达式、递归与回溯、迷宫问题、八皇后问题、算法的时间复杂度、冒泡排序、选择排序、插入排序、快速排序、归并排序、希尔排序、基数排序(桶排序)、堆排序、排序速度分析、二分查找、插值查找、斐波那契查找、散列、哈希表、二叉树、二叉树与数组转换、二叉排序树(BST)、AVL树、线索二叉树、赫夫曼树、赫夫曼编码、多路查找树(B树B+树和B*树)、图、图的DFS算法和BFS、程序员常用10大算法、二分查找算法(非递归)、分治算法、动态规划算法、KMP算法、贪心算法、普里姆算法、克鲁斯卡尔算法、迪杰斯特拉算法、弗洛伊德算法马踏棋盘算法。学习目标：通过学习，学员能掌握主流数据结构和算法的实现机制，开阔编程思路，提高优化程序的能力。

算法是程序的灵魂，为什么有些程序可以在海量数据计算时，依然保持高速计算,大家可能会说: 程序使用了内存计算框架(比如Spark)和缓存技术(比如Redis等),那再深入的思考一下，这些计算框架和缓存技术又是怎样被技术高手设计出来的呢? 拿实际工作经历来说, 在Unix下开发服务器程序，功能是要支持上千万人同时在线， 在上线前，做内测，一切OK,可上线后，服务器就支撑不住了, 公司的CTO对代码进行优化，再次上线，坚如磐石。那一瞬间,你就能感受到程序是有灵魂的，就是算法。如果你不想永远都是代码工人,那就花时间来研究下数据结构和算法吧.本课程是使用Scala语言来讲解数据结构和算法，内容包括: 稀疏数组、单向队列、环形队列、单向链表、双向链表、环形链表、约瑟夫问题、栈、表达式的转换与求值、递归与回溯、迷宫问题、冒泡排序、选择排序、插入排序、快速排序、归并排序、排序速度分析、二分查找、散列、哈希表、二叉树、二叉树与数组转换、二叉排序树(BST)、其它二叉树介绍(AVL 线索二叉树 赫夫曼树)。通过学习，学员能掌握主流数据结构的实现机制,开阔编程思路，提高优化程序的能力。

本套Java视频教程横扫每个技术点，内容涵盖Oracle数据的安装、配置及日常的数据库管理，SQL内容精讲精练，并涵盖约束、SET运算符和高级子查询，以及PL/SQL的实战使用。每个技术点均以目前新版本设计，结合企业应用的实用性加以修订。

DataX是阿里巴巴开源的异构数据源离线同步工具，致力于实现多种数据库与各种异构数据源之间稳定高效的数据同步功能。作为离线数据同步框架，DataX采用Framework + plugin架构构建，将数据源读取和写入抽象成为Reader/Writer插件，纳入到整个同步框架中。目前DataX已经有了比较广泛的插件体系，主流的关系型数据库、NoSQL、大数据计算系统都已接入。本套视频教程从DataX安装部署开始讲起，详细讲解了MySQL、Oracle、MongoDB、SQLServer、DB2等数据库的数据同步操作，且不囿于安装操作，更深入内核源码，解读数据同步的执行流程，并对DataX的使用优化进行深入调研，提供了多种常见优化方案。教程附赠各种配套的课件和软件，一套教程，带你轻松玩转DataX。

StreamX是一款优秀的Flink&Spark极速开发框架与一站式大数据流处理平台。开发者在使用StreamX时只需编写简单的配置文件，即可实现多个开箱即用功能的复用，通过简洁易用的Web页面，即可实现开发任务的编译、部署与管理监控。StreamX的初衷是让Flink&Spark开发变得更简单。使用StreamX进行开发，可以降低学习成本与开发难度，大大简化Flink&Spark任务的日常操作和维护工作，让开发者可以只关注核心业务。2021年11月18日，StreamX成功入选2021年度最有价值开源项目。尚硅谷本着非精品不用的原则，与StreamX创作团队达成合作，针对StreamX1.2.2版本，尚硅谷大数据团队研发了配套的视频教程，提供给各位开发者学习使用。

SeaTunnel是一个非常易用的支持海量数据实时同步的超高性能分布式数据集成平台，是首个来自中国的数据集成平台成功进入Apache孵化器的项目，它架构于Spark和Flink之上，每天可以稳定高效同步数百亿数据。SeaTunnel使用控制翻转的设计模式，用户使用SeaTunnel时只需编写一份配置文件，SeaTunnel就会将配置文件翻译为一个Spark或Flink任务来完成数据的同步和计算。除了大大简化分布式数据处理难度外，SeaTunnel还可以解决的问题：数据丢失与重复、任务堆积与延迟、吞吐量低、应用到生产环境周期长、缺少应用运行状态监控。尚硅谷研发的SeaTunnel视频教程，基于SeaTunnel 2.1.0版讲解，内容涵盖SeaTunnel的框架设计和核心源码。Flink源码贡献者Tony老师，以一个真实的案例，细致讲解了程序员如何迈出自己参与开源社区的第一步，成为一名源码贡献者。教程内容梗概：1. SeaTunnel概述2. SeaTunnel快速上手案例3. SeaTunnel工作流4. SeaTunnel源码讲解5. SeaTunnel应用案例6. 如何参与开源社区

Doris是百度大数据部门研发的一个大规模并行处理的分析型数据库产品，在大数据领域已有非常广泛的应用。Doris可以对接多种数据源，满足多种数据分析需求，仅需亚秒级响应时间即可获得查询结果。Doris具有优良的分布式查询规划能力，在实时数据分析领域有良好的应用前景，可以提供稳定的OLAP分析能力，是大数据从业人员需要掌握的一种硬核工具。本套视频教程由尚硅谷大数据教研团队与Doris开发团队共同开发。教程从Doris的架构讲起，细致入微地介绍了Doris的安装部署过程，以及在测试环境与实际开发环境中的部署配置。对Doris的使用进行了详细讲解，内容包括数据表的创建、数据的查询、数据的导入与导出、与Spark和Flink等外部系统的集成、与监控报警系统的集成等。除此之外，教程还着重讲解了Doris在使用过程中的优化与常见注意事项，让你在完成本套教程学习后可以快速投入实际生产使用。

Azkaban是Linkedin公司推出的一个任务调度系统，目前在企业中应用非常广泛。对于大数据项目而言，工作流之间互相依赖且通常在零点左右调度执行，一个可以完善部署工作流且能实现报警功能的调度系统十分重要。本套教程重点讲解Azkaban的安装部署及进阶使用，内容涵盖：工作流调度系统简介、常见工作流调度系统对比；Azkaban安装部署；Azkaban复杂工作流的配置部署，工作流配置文件的编写规则；Azkaban工作流失败重试机制及定时调度；Azkaban邮件报警；Azkaban电话报警等。本套教程为老版教程的新升级，基于Azkaban版本3.x讲解；引入了官方推荐的结构更清晰、功能更丰富的flow2.0；增加了更多类型的工作流案例，讲解更广泛；根据企业实际需求新增了条件工作流；新增了邮件报警，电话报警配置更加高效。

Telegraf是一个开源的插件化数据收集软件，侧重时序数据收集，如主机的CPU、内存、网络等指标，以及物联网场景下各种传感器的数据上报。Telegraf已拥有200多种指标采集插件和40多种输出插件，几乎覆盖了各种的监控项。本套视频延续了尚硅谷一贯的保姆式教程风格，案例驱动讲解，从入门级的简单案例上手，层层递进，徐徐展开，细致讲解了Telegraf的配置文件编写方式，并充分展示了Telegraf的Pipeline式架构。教程深入剖析了Telegraf插件系统的拓展，授之以鱼更授之以渔，教你如何根据生产环境自定义编写插件。教程内容还包含：Telegraf的内部数据结构（InfluxDB行协议）深入讲解，Telegraf命令行使用全讲解，获取Telegraf远程配置全流程，集成官方未提供的外部插件，Telegraf与Prometheus集成使用等。讲解循序渐进，从入门到进阶，带你彻底玩转Telegraf！

InfluxDB是一款用Go语言编写的时序数据库，使用在运维与IOT领域来完成监控报警任务。对于时序数据场景来说，InfluxDB有着很高的写入、查询与数据压缩性能，并且可以让你快速高效地开展对时序数据的分析工作。本套教程延续了尚硅谷一贯的保姆式风格，用一个个示例带你了解InfluxDB的世界，手把手教你用InfluxDB搭建一个实时报警系统。热门技术倾囊相授，教辅资料慷慨相赠，视频、代码、笔记、软件，一站式提供！本套教程与尚硅谷之前发布的Telegraf教程是姊妹课程，学成之后，可以使用InfluxDB生态直接实现时序数据场景的大多数需求。

调度选得好，下班回家早；调度用得对，半夜安心睡。Airflow是一款Python语言编写的工作流调度器，支持使用Python多种类库，以DAG的形式设计任务依赖，并且支持多并发调度任务。本套教程使用Miniconda部署Pyhton 3.8虚拟环境，采用Airflow 2.4.3，根据生产要求修改底层数据库为MySQL，更改执行器为本地执行器。教程分为四个部分：Airflow概述、安装部署、使用优化、案例展示，带你根据开发需求修改调度脚本完成Airflow部署！

Filebeat是一款轻量级日志采集器，支持抓取自身节点中多种框架的系统日志，发送到下游的Logstash、Elasticsearch、kafka等框架，简化了日志收集、解析和可视化的过程。本套教程使用Filebeat 8.5.2，展示抓取不同场景的日志，并与多款框架进行整合操作。教程分为三个部分：Filebeat概述、安装部署、案例展示，帮助你根据开发中的日志收集处理情况进行实际开发使用。 

Cloudera Manager是一个拥有集群自动化安装、中心化管理、集群监控和报警功能的大数据集群管理工具。本套教程基于Cloudera Manager 6.3.1，并使用当下备受企业青睐的CDH 6.3.2，部署于阿里云ECS服务器之上，实现大数据集群的快速自动化安装部署，搭建完成一个功能全面的企业级离线数据仓库。教程依托真实电商环境，参考众多大厂项目架构，沿用了尚硅谷离线数据仓库5.0项目。搭建的功能模块囊括：用户行为数据采集、业务数据采集、数据仓库分层搭建、全流程自动化调度、报表数据可视化、安全认证、权限管理等。项目功能完善，讲解详细深入。教程主要内容包括：CDH与Cloudera Manager介绍、阿里云部署CDH各功能模块的流程详解、离线数仓的搭建全流程。

本套视频教程是基于Hive on Spark版本的离线数仓调优指南，通过对Yarn配置、Spark配置、Hive SQL中聚合优化、分组优化和并行度优化等方式，结合代码和具体参数详细介绍如何进行离线数仓的调优。教程特色：一、真实，采用阿里云服务器，配置拉满；二、数据体量大，以电商表为模板，单表数据量达160G；三、调优手段多，从聚合、Join等多方面着手，调优效果明显。学习前置知识：Hive、Spark、离线数仓。

Nifi是由Apache提供的一款开源数据同步框架，以简单易用、功能强大、完全分布式著称，具有官方提供的WebUI界面，对于数据的流向和转换情况一目了然。本套教程介绍Nifi的部署与使用，讲解Nifi新版1.19.1的集群化证书验证的安装部署，同时基于企业开发中的实际应用场景，来帮助你快速上手Nifi。教程分为三部分：Nifi简介、Nifi部署、案例应用。其中，部署采用了官方工具验证证书的完全分布式部署，并在实际案例中提供了具体问题的解决办法。

在数据工程师的工作中，相当一部分任务需要为外部系统提供数据支持，包括查询画像、BI报表等，有时甚至需要接收外部系统发送的数据，将其处理或转储，例如对接日志服务器，将日志实时清洗后存入Kafka。本套教程面向偏科的大数据工程师，尤其是JavaWeb应用开发薄弱的大数据工程师。从0到1，讲解如何基于主流的大数据工作场景，例如，从存储离线数仓Ads层数据的MySQL中，从存储实时数仓Ads层数据的ClickHouse中，以及从即席查询的ElasticSearch、HBase、Redis中查询指定的数据，发布数据接口。发布的数据接口可以为第三方的程序或BI大屏，提供实时请求的数据支撑。本套教程包含两部分内容：第一部分，是数据接口发布的基础背景知识讲解，3小时快速掌握常用的Mybatis和SpringBoot开发常识；第二部分，是数据接口发布和接收的案例讲解，3.5小时，通过9个案例，讲解如何开发数据接口工程，如何对接多种数据源，如何对接外部BI系统，以及如何接收对接日志服务器转存到Kafka。主流大数据工作环境下的数据接口发布与接收技巧，通过本套教程的学习，6.5小时即可快速掌握！

Dinky为Apache Flink而生，让Flink SQL纵享丝滑。顾名思义，Dinky是一个小而美的框架，它基于 Apache Flink 二次开发，无侵入，开箱即用，是易扩展的一站式 FlinkSQL & SQL DataOps，可以很大程度上提高我们的开发效率。本套教程由尚硅谷与Dinky官方联合推出，视频及教辅资料全部经过官方审核，是一套内容即全且细的权威教程！基于Flink 1.17.0和Dinky 0.7.3讲解，技术前沿，内容详实。秉持尚硅谷的老传统，保姆式讲解，手把手教学，按照教程步骤，甚至直接复制粘贴即可顺畅使用，让你的Dinky学习So easy！

Apache Paimon是一个流数据湖平台，是Streaming实时计算能力和Lakehouse新架构优势的结合，具有高速数据摄取、变更日志跟踪和高效的实时分析能力。Paimon是由Flink社区内部孵化而来，原名Flink Table Store（简称FTS），是Flink的子项目。2023年3月12日，捐赠给Apache软件基金会后改名Apache Paimon。本套教程内容涵盖Paimon的核心特点：统一批处理和流处理、数据湖能力、各种合并引擎、变更日志生成、丰富的表类型、模式演化等。内容讲解基于各个软件的新版本：Paimon 0.5 SNAPSHOT、Flink 1.17.0、Hive 3.1.3、Spark 3.3.1。还是尚硅谷一贯的风格，教辅资料败家式赠送，手把手教学保姆式讲解，Paimon上手，一套带走！