IT小白向大数据领域迈进
掌握实用技能
增长经验
搭建完善的项目
接触广泛技术面
学习前沿技术
突破职业瓶颈
掌握核心技能
Linux、Hadoop
Java、Hive
Flume、Kafka
等基础框架
熟练使用Doris
充分掌握Doris概念与构建流程
熟练应用数仓建模理论
熟练掌握Doris与其他大数据框架的集成
采用当前大厂非常流行的Doris框架,实现统一数仓架构;
多方参考大厂数仓分层体系,合理数据分层,降低数据耦合度,提高数据分析效率,降低数据计算成本。
采用SeaTunnel监控业务数据变动情况,做到实时准确的采集变动数据。
采用SeaTunnel采集用户行为日志数据,实时同步到Doris;
ODS层、DWD层、DIM层、DWS层和ADS层之间采用Doris+ DolphinScheduler框架10分钟调度一次处理,真正做到统一数仓。
采用FineBI对结果数据进行多图表、仪表盘可视化展示;
分析总结项目搭建过程中遇到的问题,增加开发经验,提升实战问题解决能力。