金融审批实时数仓项目
金融审批实时数仓项目共分三大部分：实时数仓架构介绍、数仓模型搭建、Sugar可视化大屏展示。金融审批实时数仓项目延续了离线数仓的业务逻辑，以金融租赁业务线为主题，从审批流程一直到设备租赁，完整地对金融租赁业务进行了各个流程的实时数据分析。
项目以金融审批采集项目为前置基础，使用采集项目中搭建的虚拟机环境，读取采集项目实时监控的业务数据，对数据进行实时的分析计算，最终得到指标需求结果，写出到Doris之后，使用Sugar进行可视化展示。
项目使用的框架包括：Hadoop、Kafka、Flume、Maxwell、Flink、HBase、Phoenix、Redis、Doris、Sugar等。整套教程通过精炼的业务体系逻辑，帮助学习者快速掌握实时数仓所使用的技术手段。
教程目录
01.金融审批实时数仓课程介绍
02.采集平台内容回顾
03.金融审批实时数仓搭建概念介绍
04.金融审批实时数仓基础架构介绍
05.金融审批实时数仓具体开发层级介绍
06.数仓建模ER模型介绍
07.数仓建模ER模型三范式介绍
08.数仓建模维度模型介绍
09.维度建模事实表简单概述
10.维度建模事务型事实表介绍
11.维度建模周期快照事实表
12.维度建模累积快照事实表
13.维度建模维度表设计流程
14.维度表设计规范化和反规范化
15.维度表设计维度变化的选择
16.维度表设计多值维度和多值属性
17.数仓分层规划介绍
18.数仓构建流程简单介绍
19.数仓构建数据调研
20.数仓构建明确数据域
21.数仓构建业务总线矩阵和维度模型设计
22.数仓构建指标分析和汇总模型设计
23.IDEA环境准备
24.Flink的环境准备
25.HBase的环境部署
26.Redis的环境部署
27.Doris的FE部署
28.Doris的BE集群安装部署
29.Doris的BE集群bug解决
30.实时数仓ODS层开发
31.DIM_动态拆分维度表原理介绍
32.DIM_动态拆分维度表整体流程介绍
33.DIM_FlinkCDC的基础介绍
34.DIM_FlinkCDC的使用演示
35.DIM_Flink读取Kafka数据
36.DIM_整体流程介绍及封装创建环境方法
37.DIM_工具类读取Topic_db原始数据
38.DIM_读取MySQL配置表数据
39.DIM_HBase创建关闭连接方法封装
40.DIM_HBase创建表格的代码实现
41.DIM_完成HBase创建表格的流程
42.DIM_合并两条流的数据确定处理方法
43.DIM_处理合并流数据的核心方法编写
44.DIM_初始化配置数据解决主流数据过早到的问题
45.DIM_写出数据函数结构编写
46.DIM_HBase删除写入数据方法编写
47.DIM_数据写出演示
48.DWD_整体流程介绍
49.DWD_读取业务数据筛选业务表格
50.DWD_按照授信id进行分组
51.DWD_动态分流数据状态介绍
52.DWD_完成数据分流的结构介绍
53.DWD_审批三种状态的数据处理
54.DWD_添加批复状态补全审批通过的信息
55.DWD_审批通过与新增授信合同制作数据先后问题
56.DWD_审批拒绝和审批取消的数据处理方式
57.DWD_批复数据后到的处理方式
58.DWD_授信表数据后到的处理编写
59.DWD_审批域数据写出到对应的Kafka主题
60.DWD_授信域数据分流写出到对应的Kafka主题
61.DWD_合并合同制作及合同表数据流
62.DWD_分流处理租赁域数据架构
63.DWD_完成租赁域数据分流
64.DWD_租赁域数据写出
65.DWD_数据测试及bug解决
66.DWS_审批通过各行业各方向各信审经办窗口统计结构介绍
67.DWS_审批通过聚合读取数据及类型转换
68.DWS_审批通过数据分组开窗聚合
69.DWS_使用泛型异步读取DIM层数据介绍
70.DWS_HBase的异步连接及读取数据架构介绍
71.DWS_实现三级行业名称和二级行业id的维度关联
72.DWS_使用Redis实现旁路缓存优化
73.DWS_完成全部的维度关联
74.DWS_自定义工具将Bean转JsonString
75.DWS_自定义注解过滤不需要的属性
76.DWS_将窗口聚合数据写出到Doris中
77.DWS_审批取消各维度窗口聚合代码编写
78.DWS_审批取消业务关联维度数据及写出到Doris
79.DWS_审批拒绝窗口汇总聚合
80.DWS_信审经办审批通过的窗口聚合数据
81.DWS_信审经办业务员审批通过数据写出
82.DWS_信审经办粒度审批取消窗口汇总
83.DWS_信审经办粒度拒绝窗口汇总
84.DWS_授信新增窗口汇总
85.DWS_授信占用窗口汇总
86.DWS_合同制作窗口汇总
87.DWS_合同签约各窗口汇总
88.DWS_合同起租各窗口汇总
89.可视化_Sugar使用方式介绍
90.可视化_数据接口的结构介绍
91.可视化_内网穿透介绍
92.可视化_渐变色各方向审批通过图形可视化展示
