尚硅谷大数据技术之电信客服

3.5 定时任务

新的数据每天都会产生,所以我们每天都需要更新离线的分析结果,所以此时我们可以用各种各样的定时任务调度工具来完成此操作。此例我们使用crontab来执行该操作。

1) 编写任务脚本:analysis.sh

#!/bin/bash

/home/admin/modules/cdh/hadoop-2.5.0-cdh5.3.6/bin/yarn jar ~/softwares/jars/ct_analysis-1.0-SNAPSHOT.jar com.atguigu.analysis.runner.CountDurationRunner -libjars /home/admin/modules/cdh/hadoop-2.5.0-cdh5.3.6/lib/*

2) 制定crontab任务

# .------------------------------------------minute(0~59)

# | .----------------------------------------hours(0~23)

# | | .--------------------------------------day of month(1~31)

# | | | .------------------------------------month(1~12)

# | | | | .----------------------------------day of week(0~6)

# | | | | | .--------------------------------command

# | | | | | |

# | | | | | |

0 0 * * * /home/admin/call/analysis.sh

3) 考虑数据处理手段是否安全

a、定时任务统计结果是否会重复

b、定时任务处理的数据是否全面

4章 项目总结

 

重新总结梳理整个项目流程和方法论。