尚硅谷大数据技术之电信客服

发布时间:2018年11月09日作者:yafei浏览次数:886

3.5 定时任务

新的数据每天都会产生,所以我们每天都需要更新离线的分析结果,所以此时我们可以用各种各样的定时任务调度工具来完成此操作。此例我们使用crontab来执行该操作。

1) 编写任务脚本:analysis.sh

#!/bin/bash

/home/admin/modules/cdh/hadoop-2.5.0-cdh5.3.6/bin/yarn jar ~/softwares/jars/ct_analysis-1.0-SNAPSHOT.jar com.atguigu.analysis.runner.CountDurationRunner -libjars /home/admin/modules/cdh/hadoop-2.5.0-cdh5.3.6/lib/*

2) 制定crontab任务

# .——————————————minute(0~59)

# | .—————————————-hours(0~23)

# | | .————————————–day of month(1~31)

# | | | .————————————month(1~12)

# | | | | .———————————-day of week(0~6)

# | | | | | .——————————–command

# | | | | | |

# | | | | | |

0 0 * * * /home/admin/call/analysis.sh

3) 考虑数据处理手段是否安全

a、定时任务统计结果是否会重复

b、定时任务处理的数据是否全面

4章 项目总结

 

重新总结梳理整个项目流程和方法论。

 


上一篇:
下一篇:
相关课程

java培训 大数据培训 前端培训 UI/UE设计培训

关于尚硅谷
教育理念
名师团队
学员心声
资源下载
视频下载
资料下载
工具下载
加入我们
招聘岗位
岗位介绍
招贤纳师
联系我们
全国统一咨询电话:010-56253825
地址:北京市昌平区宏福科技园2号楼3层(北京校区)

深圳市宝安区西部硅谷大厦B座C区一层(深圳校区)

上海市松江区谷阳北路166号大江商厦6层(上海校区)

武汉市东湖高新开发区东湖网谷(武汉校区)