大数据线上问诊实时数仓项目

尚硅谷线上问诊实时数仓项目延续了离线数仓的业务逻辑,以线上问诊开处方为基础业务逻辑,真实表现了线上问诊数据的实时分析统计。

线上问诊实时数仓项目共分三大部分:实时数仓架构介绍、数仓模型搭建、Suger可视化大屏展示。项目以线上问诊采集项目为前置基础,使用采集项目中搭建的虚拟机环境,读取采集项目实时监控的业务数据,对数据进行实时的分析计算,最终得到指标需求结果。

微信图片_20230815150424.png

项目中使用的框架包括:Hadoop、Kafka、Flume、Maxwell、Flink、Phoenix、HBase、Redis、Doris、Suger等。教程通过精炼的业务体系逻辑,带你快速掌握实时数仓所使用的技术手段!

教程目录

01.线上问诊实时数仓教程介绍
02.采集项目数据采集回顾
03.线上问诊实时数仓概念介绍
04.线上问诊实时数仓核心架构介绍
05.实时数仓架构的具体操作流程
06.数仓建模ER模型介绍
07.数仓建模ER模型三范式介绍
08.数仓建模维度模型介绍
09.维度建模事实表简单概述
10.维度建模事务型事实表介绍
11.维度建模周期快照事实表
12.维度建模累积快照事实表
13.维度建模维度表设计流程
14.维度表设计规范化和反规范化
15.维度表设计维度变化的选择
16.维度表设计多值维度和多值属性
17.数仓分层规划
18.数仓构建流程简单介绍
19.数仓数据调研介绍
20.数仓分配数据域
21.数仓构建业务总线矩阵及维度模型设计
22.数仓指标体系分析
23.IDEA开发环境准备
24.Flink的环境准备
25.HBase的环境部署
26.Redis的环境部署
27.Doris的FE部署
28.Doris的BE集群安装部署
29.Doris的BE集群bug解决
30.ODS_使用Kafka存储原始数据
31.DIM_实时监控实现动态配置维度表元数据信息原理介绍
32.FlinkCDC测试代码编写
33.DIM_整体代码结构介绍
34.DIM_流式环境创建的方法封装
35.DIM_读取Kafka主流ODS层数据
36.DIM_读取配置表数据
37.DIM_封装HBase获取同步连接
38.DIM_创建HBase中的维度表
39.DIM_处理合并流完成主流过滤维度表的操作
40.DIM_写出维度表数据到HBase
41.DIM_维度表代码测试及整体逻辑回顾
42.DWD_FlinkSQL的使用方法
43.DWD_使用FlinkSQL读取ODS层数据
44.DWD_问诊事实表筛选数据
45.DWD_问诊事务事实表数据写出
46.DWD_问诊支付成功事实表代码编写及演示
47.DWD_处方事实表代码编写
48.DWD_处方事实表数据测试
49.DWD_interval_Join的原理介绍
50.DWD_处方开单支付事务事实表编写及测试
51.DWD_用户注册事务事实表
52.DWD_新增患者事务事实表
53.DWD_医生注册事务事实表
54.DWS_医院性别年龄粒度问诊聚合需求介绍
55.DWS_读取DWD层数据并转换结构
56.DWS_使用异步连接优化维度关联
57.DWS_旁路缓存优化介绍
58.DWS_实现维度关联的抽象类设计
59.DWS_实现医院id和患者信息的维度关联
60.DWS_开窗聚合问诊次数及问诊金额代码及演示
61.DWS_修复补全维度信息
62.DWS_将JavaBean保留需要的字段转换为JsonString
63.DWS_Doris写出工具类编写
64.DWS_写出数据到Doris演示
65.DWS_问诊支付成功窗口聚合
66.DWS_处方开单窗口聚合
67.DWS_处方开单支付窗口聚合
68.DWS_用户注册的窗口聚合
69.DWS_患者添加窗口聚合
70.DWS_医生注册窗口汇总
71.DWS_医院粒度评价表使用状态找出新增评价
72.DWS_医院粒度评价导出数据
73.大屏可视化流程介绍
74.大屏可视化内网穿透展示
75.SugerBI实现可视化展示