Flink实时数仓3.0

视频源码笔记 学习人次 2w+

课程下载

本套教程及资料一键下载

谷粒学苑

在线视频学习无需下载

技术交流

与1000w+谷粉共同进步

尚硅谷_Flink实时数仓3.0

课程介绍

Flink实时数仓项目3.0,依托于真实电商巨头的电商体系和实际业务场景,并参照离线数仓的建模理论全力打造。新版项目重磅升级,在延续实用与硬核的基础上,全面升级了实时数仓的建模理论,建模体系更完善,数据分析更高效。

项目采用Flink作为核心的实时计算引擎,充分利用Flink的优秀特性:状态编程、自定义处理函数、CEP、CDC等,对每一个指标的计算提供了基础API和Flink SQL两种实现方式。使用Maxwell作为业务数据采集框架,实时监控业务数据库变动情况。同时,充分探讨了多种大数据框架工具,如Redis、HBase、ClickHouse等,利用每个框架的特点发挥效用。

通过本套教程的学习,你将掌握企业实际开发过程中实时数仓的全流程搭建,深入理解Flink的高阶应用,掌握开发环节的多种框架技术!Flink实时数仓项目3.0与电商数仓5.0项目(即将发布)无缝对接,采用相同的数据源及数据采集体系,便于系统性学习。

教程内容涵盖:
搭建用户行为数据的实时数据采集框架Flume-Kafka-Flink;采用Maxwell搭建业务数据采集体系;使用Flink CDC结合配置表、HBase完成数仓DIM层的搭建;参照数仓建模理论,分层搭建实时数仓,包括DWD层、DWS层、ADS层;使用SpringBoot编写数据接口,结合Sugar完成实时指标结果数据的可视化展示等。

教程关键技术点:
数仓架构深入讲解、离线架构与实时架构对比分析、SpringBoot项目搭建讲解、Flink CDC深入案例分析、使用侧输出流分流操作、Flink与HBase交互、Flink状态编程应用、Flink CEP循环模式匹配、双流Join、旁路缓存、异步IO编码、ClickHouse多引擎讲解、Flink SQL、数据可视化接口编写、Flink实战优化方案等。

视频目录