新能源汽车项目

项目包含数十个 Shell 脚本、多个传感器日志数据和数十个统计指标。

深入研究各大企业的数据仓库建模体系，并以阿里巴巴的数据仓库建模理论作为基准，构建实用、贴近实际生产且具有广泛应用性的数据仓库建模体系。

根据建模理论，提出强实践性的数据仓库搭建理论过程，包括数据调研、明确数据域、构建业务总线矩阵、维度模型设计、明确统计指标、汇总模型设计和分层构建数据仓库。

参考大型企业的数据仓库分层体系，合理划分数据层次，降低数据耦合度，提高数据分析效率并降低数据计算成本。

采用实战式数据模拟策略，生成全面的原始数据，并针对实际数据进行数据采集。

使用 Flume 收集传感器日志数据，深入研究适配组件，提供详细的实战配置文件，自定义采集组件，解决时间戳漂移和优化小文件存储问题，分享更多实战经验。

采用当前流行的数据采集框架 DataX 收集业务数据，提供详细的配置文件和脚本解读，掌握更多脚本编写技巧。

真实数据ETL实践，学会对原始数据进行清洗、脱敏、数据分类和整合。

基于业务总线矩阵，构建数据仓库的DWD层，完成事务型事实表、周期型事实表和累积快照事实表的搭建与数据装载。