渴望技术转型
转换行业的IT小白
有一定技术基础
希望增长经验
接触更广技术面
从事一定年限技术开发
目标突破自我
学习大数据技术
突破职业瓶颈
从事大数据开发工作
深耕离线计算
期待转型实时开发岗位
Linux、Flink
Java、ClickHouse
Redis、Kafka
等基础框架
深入了解实时计算在大数据开发中的重要地位深入了解实时数据仓库的建模理论
灵活应用Flink的的流式计算技术，灵活掌握自定义函数、状态编程、CDC、CEP、Flink SQL等技术
多种技术框架协调配合、灵活应用，彻底了解HBase、Redis、ClickHouse等在实时计算中的应用
将实时数据仓库与离线数据仓库真正融为一体，融会贯通整个大数据开发的关键技术
数仓建模Flink计算Flink CEP可视化展示项目上线部署性能优化安全监控
使用HBase+Phoenix的组合存储DIM层维度数据，大大提高响应速度；
项目涵盖5大类用户行为日志数据、34张真实开发场景下的业务数据表、几十个Flink实时计算任务、上百个实时计算指标、上万行实时开发代码；
参照大厂实际数仓建模理论，分层构建实时数据仓库，ODS层、DIM层、DWD层、DWS层、ADS层，分层计算，数据分流，提高效率，降低耦合度；
使用Flink CDC结合MySQL动态配置表，动态获取维度表配置，实现数据动态自动分流；
使用FlinkCEP技术实现不同用户行为模式的识别；
结合键控状态KeyedState的状态编程实现数据去重，计算去重类指标；
提供针对多种场景的双流Join解决方案，深入分析各种解决方案的优劣，培养问题解决能力；
对各种指标计算需求提供Flink的Table API和Flink SQL两种解决方案，满足不同企业开发需求，培养多角度开发能力；
采用Redis进行旁路缓存，提高响应速度，并使用Flink提供的异步IO进行优化；
采用ClickHouse实现最终宽表数据的存储，大大提高数据查询效率，并为用户提供即席查询、可视化报表展示的多样可能性；
采用SpringBoot编写数据展示接口对接Sugar实现数据可视化大屏展示，熟练掌握数据展示接口的编写流程；
基于企业级的海量数据分析任务，对CPU配置、内存分配、并行度配置、CheckPoint等方面进行广泛的性能调优；
详细讲解生产环境中会产生的反压问题，对反压原因、反压定位、反压处理进行详细分解；
多角度分析大数据分析中常见的数据倾斜问题，提供详尽的问题定位策略和多种解决方案；
详细讲解生产环境中常见的故障：非法配置异常、Java 堆空间异常、直接缓冲存储器异常、元空间异常、网络缓冲区数量不足、超出容器内存异常、Checkpoint 失败、Checkpoint 慢、Kafka动态发现分区、Watermark不更新、依赖冲突、超出文件描述符限制、脏数据导致数据转发失败等，令学员在短时间内掌握生产环境中常见到、难解决的开发难题，迅速增长经验，提升能力。
