渴望技术转型
转换行业的IT小白
增长经验
搭建完善的项目
接触广泛技术面
渴望了解新技术、新行业
有兴趣了解数据分析
学习前沿技术
突破职业瓶颈
掌握核心技能
Linux、Hadoop
Java、Hive
Flume、Kafka
等基础框架
全面了解广告行业运营流程
充分熟悉广告行业指标体系
熟练掌握异常流量清洗过程
熟悉掌握数据仓库技术框架
充分掌握FineBI数据分析工具
充分调研各大厂数仓建模体系,以阿里巴巴的数据仓库建模理论为最终蓝本,搭建实用且贴近生产实际的数仓建模体系;
应用建模理论,提出可实践性强的数仓搭建理论过程,数据调研→明确数据域→构建业务总线矩阵→维度模型设计→明确统计指标→汇总模型设计→分层构建数仓;
多方参考大厂数仓分层体系,合理数据分层,降低数据耦合度,提高数据分析效率,降低数据计算成本;
实战式数据模拟策略,真实广告流量监测业务场景,模拟生成全面的原始数据,针对真实数据进行分析统计;
采用Flume采集广告监测日志,适配组件全面调研,给出详细贴近实战的配置文件,自定义采集组件,解决时间戳零点漂移,优化小文件存储带来问题,提供更多实战经验;
采用流行数据采集框架DataX采集业务数据,提供详细配置文件及脚本解读,掌握更多脚本编写技巧;
真实数据ETL实操,结合Hive自定义函数,涵盖对原始广告日志数据的清洗、转换以及遗产广告流量的识别;
使用高性能OLAP数据库ClickHouse实现低延时即席查询;
使用FineBI工具实现自助报表分析,具备钻取、联动、筛选等交互功能。
安装部署受各大厂欢迎的DolphinScheduler工作流调度系统,实现数据仓库搭建全流程定时自动化调度以及故障自动邮件告警;