没有接触过互联网行业
渴望技术转型
转换行业的IT小白
学习过一定的编程理论
希望提升经验
接触更广技术面
从事一定年限技术开发
目标突破自我
学习大数据技术
突破职业瓶颈
从事大数据开发工作
希望了解更多
大数据开发技术
接触更多实时分析架构
Linux、Spark、Scala
ElasticSearch、Redis
Kafka等基础框架
全面掌握Scala语言开发Spark的实时计算任务的开发技巧；
充分了解使用不同的CDC框架，如Canal和Maxwell，采集MySQL变动数据以及数据采集结构和数据分析方法；
掌握如何使用SparkStreaming和Kafka实现实时数据仓库的分层数据管理，提高数据复用性，提高指标分析效率；
充分掌握使用SparkStreaming的实时计算开发技巧和任务部署策略；
掌握ElasticSearch与SparkStreaming和SpringBoot的无缝对接技术，掌握SpringBoot编写数据展示接口，对数据进行可视化大屏展示。
通过SparkStreaming解决了实时计算中常见的精确一次性消费问题；
分别采用Canal和Maxwell作为MySQL的变动数据采集工具，实时采集数据并发送至消息队列Kafka中；
使用Scala语言开发SparkStreaming的实时计算程序，利用高阶函数抽象提取双流join、维度关联、精确一次性消费的工具类，解决实时计算中的常见难题；
利用SpringBoot开发数据可视化展示接口，熟练掌握接口编写流程。
利用SparkStreaming的广播变量编写实时计算代码优化计算流程，提高计算效率；
项目覆盖多种电商源数据、多种大数据分析框架配合使用、数十个实时数据分析指标，全程使用Scala语言作为SparkStreaming开发语言，超过6000行代码；
采用Redis存储临时性计算数据、采用ElasticSearch存储明细数据、采用Kibana配置可视化分析，对接多种大数据分析框架，灵活组合应用，增加开发经验；
