拦不住了 | 尚硅谷新能源汽车数仓项目发布
新能源汽车数仓项目共分三大部分：数仓采集环境搭建、数仓分层计算、FineBI可视化大屏展示。项目的核心内容为汽车行驶连续日志的数据分析，采用了数仓模型拆解业务及特定模型构建的形式，完成需求指标的分析计算。
项目从0到1完成数仓框架环境搭建、数仓建模分析，以及最终数据的可视化展示，了解数仓建模理论体系及实际应用，并为连续的日志分析提供了有效解决方法。项目中使用的框架包括：Hadoop、Hive、Spark、Kafka、Flume、DolphinScheduler、Datax、FineBI、ZooKeeper等。
教程目录
001.新能源汽车课程介绍
002.新能源汽车数仓概述
003.数仓需求介绍及框架选择
004.数仓架构介绍
005.服务器选型介绍
006.集群资源规划介绍
007.采集数据格式介绍
008.克隆准备3台虚拟机
009.分发脚本和免密登录配置
010.JDK安装部署
011.环境变量配置介绍
012.节点进程查看脚本介绍
013.ZooKeeper的安装部署和使用
014.Hadoop配置介绍
015.Hadoop高可用配置及群起脚本
016.HDFS的多目录配置和集群平衡
017.Hadoop的参数调优
018.Kafka的安装部署
019.Kafka命令行简单介绍
020.Flume的安装及内存的调整
021.MySQL的安装部署
022.MySQL远程软件连接的问题解决
023.采集数据模拟生成展示
024.日志采集架构及组件选择
025.采集日志Flume的配置文件编写
026.日志采集Flume的测试及脚本编写
027.消费Flume的配置编写
028.消费Flume的拦截器编写
029.消费Flume日志演示
030.维度数据同步策略选择
031.DataX同步工具简单介绍
032.DataX架构原理介绍
033.DataX基础实现同步任务
034.DataX使用传参演示
035.DataX的并发控制和内存修改
036.使用DataX完成维度表同步
037.数仓建模模型介绍
038.维度模型事实表和维度表介绍
039.数仓环境搭建_Hive的基础配置
040.Hive替换为Spark引擎
041.修改Yarn对应am的内存限制
042.配置数仓运行环境
043.业务场景模拟_回顾采集通道
044.业务场景模型_生成0502数据
045.数仓分层介绍
046.ODS_Hive映射HDFS成为表格介绍
047.ODS_Hive函数get_json_object解析Json数据
048.ODS_Hive的serde简单介绍
049.ODS_Hive使用serde解析Json数据
050.ODS_日志表格建表介绍
051.ODS_Hive导入日志表格数据演示
052.ODS_汽车信息表数据导入
053.ODS_数据导入脚本基础内容编写
054.ODS_数据导入脚本使用演示
055.DIM层维度表回顾
056.DIM层汽车信息维度表导入
057.DIM离线维度编码表导入
058.DIM层脚本数据导入
059.DWD_事实表建模理论分析
060.DWD_电动模式行驶日志事实表装载
061.DWD_混动模式和新能源燃料模式行驶日志事实表装载
062.DWD_充电日志事实表装载
063.DWD_行驶充电和故障记录日志事实表装载
064.DWD_电机日志事实表
065.DWD_数据导入首日脚本编写
066.DWD_数据导入脚本使用
067.DWS_搭建建模分析
068.DWS_纯电模式单次行程汇总表
069.DWS_纯电模式单次行程数据装载
070.DWS_单次充电聚合表数据导入
071.DWS_单次汇总数据脚本装载
072.DWS_最近1日里程聚合数据导入
073.DWS_告警单日汇总和电机信息单日汇总数据导入
074.DWS_单日电池组情况汇总基础数据读取
075.DWS_单日电池组每日汇总数据装载
076.DWS_每日聚合脚本数据装载
077.ADS_创建表格特点介绍
078.ADS_每月里程统计数据导入
079.ADS_最近7天里程汇总数据导入
080.ADS_不同类型汽车每月行程统计
081.ADS_告警主题每月汇总
082.ADS_温控主题每月汇总
083.ADS_能耗主题表格字段介绍
084.ADS_能耗主题充电指标计算
085.ADS_能耗主题旅次消耗计算
086.ADS_能耗主题最近100km能耗计算
087.ADS_能耗主题数据导入
088.ADS_汽车类型平均能耗计算
089.ADS_数据脚本导入
090.数据导出建表语句
091.数据导出样例演示
092.脚本工具自动化生成DataX的配置文件
093.使用脚本完成DataX数据导出
094.DolphinScheduler架构介绍
095.DolphinSchedule安装配置文件编写
096.DolphinSchedule元数据配置及安装
097.DolphinSchedule启动停止命令介绍
098.DolphinSchedule管理用户介绍
099.DolphinSchedule简单任务的执行演示
100.DolphinSchedule的定时和传参功能
101.DolphinSchedule依赖资源和告警功能介绍
102.新数据的全流程调度
103.FineBI的安装部署和启动
104.FineBI演示样例简单表格实现
105.FineBI的钻取联动和过滤功能
106.FineBI实战展示新能源汽车指标
107.新能源数仓整体内容回顾
