尚硅谷大数据技术之电信客服
3.5 定时任务
新的数据每天都会产生,所以我们每天都需要更新离线的分析结果,所以此时我们可以用各种各样的定时任务调度工具来完成此操作。此例我们使用crontab来执行该操作。
1) 编写任务脚本:analysis.sh
#!/bin/bash /home/admin/modules/cdh/hadoop-2.5.0-cdh5.3.6/bin/yarn jar ~/softwares/jars/ct_analysis-1.0-SNAPSHOT.jar com.atguigu.analysis.runner.CountDurationRunner -libjars /home/admin/modules/cdh/hadoop-2.5.0-cdh5.3.6/lib/* |
2) 制定crontab任务
# .------------------------------------------minute(0~59) # | .----------------------------------------hours(0~23) # | | .--------------------------------------day of month(1~31) # | | | .------------------------------------month(1~12) # | | | | .----------------------------------day of week(0~6) # | | | | | .--------------------------------command # | | | | | | # | | | | | | 0 0 * * * /home/admin/call/analysis.sh |
3) 考虑数据处理手段是否安全
a、定时任务统计结果是否会重复
b、定时任务处理的数据是否全面
第4章 项目总结
重新总结梳理整个项目流程和方法论。