在线教育

真实数据ETL实操，掌握如何对原始数据进行清洗、脱敏、数据分类、整合；

基于业务总线矩阵构建数据仓库DWD层，完成事务型事实表、周期型事实表、累积快照事实表搭建和数据装载；

基于业务总线矩阵构建数据仓库DIM层，针对缓慢变化维度，构建拉链表；

基于指标体系分析构建DWS层，将相同粒度、统计周期的派生指标整合统计为宽表，提高计算结果复用性；

安装部署受各大厂欢迎的DolphinScheduler工作流调度系统，实现数据仓库搭建全流程定时自动化调度以及故障自动邮件告警；

采用SuperSet对调度采集至RDBMS数据库中的结果数据进行多图表、仪表盘可视化展示；

采用Echarts，结合SpringBoot对结果数据进行可视化展示，充分掌握数据展示接口编写流程；

基于企业级数据仓库的海量数据计算业务，对CPU配置、内存分配、任务提交、任务执行计划等方面进行全面的性能调优；

对所有指标计算需求提供基于Table API和Flink SQL的两种解决方案，满足不同企业开发需求，培养多角度开发能力；

使用FlinkCEP技术实现不同用户行为模式的识别，完成用户跳出行为的筛选；

采用Doris存储最终宽表数据，大大提高数据查询效率，并为用户提供即席查询、可视化报表展示的多样可能性；

采用SpringBoot编写数据展示接口对接SugarBI实现数据可视化大屏展示，熟练掌握数据展示接口的编写流程

详细讲解生产环境中会产生的反压问题，对反压原因、反压定位、反压处理进行详细分解；

多角度分析大数据分析中常见的数据倾斜问题，提供详尽的问题定位策略和多种解决方案；

 详细讲解生产环境中常见的故障：非法配置异常、Java 堆空间异常、直接缓冲存储器异常、元空间异常、网络缓冲区数量不足、超出容器内存异常、Checkpoint 失败、Checkpoint 慢、Kafka动态发现分区、Watermark不更新、依赖冲突、超出文件描述符限制、脏数据导致数据转发失败等，令学员在短时间内掌握生产环境中常见到、难解决的开发难题，迅速增长经验，提升能力。