目录
第1章 项目背景 3
第2章 项目架构 3
第3章 项目实现 3
3.1 数据生产 4
3.1.1 数据结构 4
3.1.2 编写代码 5
3.1.3 打包测试 9
3.2 数据采集/消费(存储) 9
3.2.1 数据采集 10
3.2.2 数据消费 11
3.2.3 数据查询方式一 18
3.2.4 数据查询方式二 23
3.2.5 数据消费方案优化 27
3.2.6 协处理器 29
3.2.7 数据消费测试 29
3.3 数据分析 30
3.3.1 需求分析 31
3.3.2 Mysql表结构设计 32
3.3.3 环境准备 34
3.3.4 需求实现 36
3.3.5 运行测试 54
3.4 数据展示 54
3.4.1 环境准备 55
3.4.2 编写代码 60
3.4.5 最终预览 72
3.5 定时任务 74
第4章 项目总结 74
通信运营商每时每刻会产生大量的通信数据,例如通话记录,短信记录,彩信记录,第三方服务资费等等繁多信息。数据量如此巨大,除了要满足用户的实时查询和展示之外,还需要定时定期的对已有数据进行离线的分析处理。例如,当日话单,月度话单,季度话单,年度话单,通话详情,通话记录等等+。我们以此为背景,寻找一个切入点,学习其中的方法论。当前我们的需求是:统计每天、每月以及每年的每个人的通话次数及时长。