离线数仓项目

本项目依托国内电商巨头的实际业务场景，引入海量的真实点击数据和业务数据，紧跟大数据主流技术需求，拥有丰富的数据仓库功能模块，功能完善，还原真实企业级数仓场景，给予学生真实的大数据开发体验，充分探查大数据开发的技术现状，轻松掌握多门技术，提升开发能力。

项目覆盖Hadoop、Hive、Spark、DataX、Maxwell、Flume、Kafka等大量流行的大数据框架，跨越ETL、海量数据存储、海量数据计算、海量数据采集、消息队列、定时调度、服务器安全监控、元数据管理等多种技术领域。

技术点

项目涵盖40多个Shell脚本，5大类用户行为日志数据，34张业务数据原始表格，100多张电商大数据表格，100多个电商统计指标；
充分调研各大厂数仓建模体系，以阿里巴巴的数据仓库建模理论为最终蓝本，搭建最实用、最贴近生产实际、最能广泛应用的数仓建模体系；
应用建模理论，提出可实践性强的数仓搭建理论过程，数据调研 → 明确数据域 → 构建业务总线矩阵 → 维度模型设计 → 明确统计指标 → 汇总模型设计 → 分层构建数仓；
多方参考大厂数仓分层体系，合理数据分层，降低数据耦合度，提高数据分析效率，降低数据计算成本；
基于五大主题指标，分析统计100余个指标，构建ADS层；
采用Flume采集用户行为日志数据，适配组件广泛调研，给出详细贴近实战的配置文件，自定义采集组件，解决时间戳零点漂移，优化小文件存储带来问题，提供更多实战经验；
采用最新流行数据采集框架DataX采集业务数据，提供详细配置文件及脚本解读，掌握更多脚本编写技巧；
安装部署受各大厂欢迎的DolphinScheduler，最流行的工作流调度系统，实现数据仓库搭建全流程定时自动化调度以及故障自动邮件告警；