尚硅谷大数据技术之Oozie(新)第4章 Oozie的使用

4.4 案例四:Oozie定时任务/循环任务

目标:Coordinator周期性调度任务

分步实现:

  • 配置Linux时区以及时间服务器
  • 检查系统当前时区:

# date -R

注意:如果显示的时区不是+0800,删除localtime文件夹后,再关联一个正确时区的链接过去,命令如下:

# rm -rf /etc/localtime

# ln -s /usr/share/zoneinfo/Asia/Shanghai /etc/localtime

同步时间:

# ntpdate pool.ntp.org

修改NTP配置文件:

# vi /etc/ntp.conf

去掉下面这行前面的# ,并把网段修改成自己的网段:

restrict 192.168.122.0 mask 255.255.255.0 nomodify notrap

注释掉以下几行:

#server 0.centos.pool.ntp.org

#server 1.centos.pool.ntp.org

#server 2.centos.pool.ntp.org

把下面两行前面的#号去掉,如果没有这两行内容,需要手动添加

server  127.127.1.0    # local clock

fudge  127.127.1.0 stratum 10

重启NTP服务:

# systemctl start ntpd.service,

注意,如果是centOS7以下的版本,使用命令:service ntpd start

# systemctl enable ntpd.service,

注意,如果是centOS7以下的版本,使用命令:chkconfig ntpd on

集群其他节点去同步这台时间服务器时间:

首先需要关闭这两台计算机的ntp服务

# systemctl stop ntpd.service,

centOS7以下,则:service ntpd stop

# systemctl disable ntpd.service,

centOS7以下,则:chkconfig ntpd off

# systemctl status ntpd,查看ntp服务状态

# pgrep ntpd,查看ntp服务进程id

同步第一台服务器linux01的时间:

# ntpdate linux01

使用root用户制定计划任务,周期性同步时间:

# crontab -e

*/10 * * * * /usr/sbin/ntpdate hadoop102

重启定时任务:

# systemctl restart crond.service,

centOS7以下使用:service crond restart,

其他台机器的配置同理。

3)配置oozie-site.xml文件

属性:oozie.processing.timezone

属性值:GMT+0800

解释:修改时区为东八区区时

注:该属性去oozie-default.xml中找到即可

4)修改js框架中的关于时间设置的代码

$ vi /opt/module/cdh/oozie-4.0.0-cdh5.3.6/oozie-server/webapps/oozie/oozie-console.js

修改如下:

function getTimeZone() {

    Ext.state.Manager.setProvider(new Ext.state.CookieProvider());

    return Ext.state.Manager.get("TimezoneId","GMT+0800");

}

5)重启oozie服务,并重启浏览器(一定要注意清除缓存)

[atguigu@hadoop102 oozie-4.0.0-cdh5.3.6]$ bin/oozied.sh stop

[atguigu@hadoop102 oozie-4.0.0-cdh5.3.6]$ bin/oozied.sh start

6)拷贝官方模板配置定时任务\

$ cp -r examples/apps/cron/ oozie-apps/

7)修改模板job.properties和coordinator.xml以及workflow.xml

job.properties

nameNode=hdfs://hadoop102:8020

jobTracker=hadoop103:8032

queueName=default

examplesRoot=oozie-apps

 

oozie.coord.application.path=${nameNode}/user/${user.name}/${examplesRoot}/cron

#start:必须设置为未来时间,否则任务失败

start=2017-07-29T17:00+0800

end=2017-07-30T17:00+0800

workflowAppUri=${nameNode}/user/${user.name}/${examplesRoot}/cron

 

EXEC3=p3.sh

coordinator.xml

<coordinator-app name="cron-coord" frequency="${coord:minutes(5)}" start="${start}" end="${end}" timezone="GMT+0800" xmlns="uri:oozie:coordinator:0.2">

<action>

<workflow>

    <app-path>${workflowAppUri}</app-path>

    <configuration>

        <property>

            <name>jobTracker</name>

            <value>${jobTracker}</value>

        </property>

        <property>

            <name>nameNode</name>

            <value>${nameNode}</value>

        </property>

        <property>

            <name>queueName</name>

            <value>${queueName}</value>

        </property>

    </configuration>

</workflow>

</action>

</coordinator-app>

workflow.xml

<workflow-app xmlns="uri:oozie:workflow:0.5" name="one-op-wf">

<start to="p3-shell-node"/>

  <action name="p3-shell-node">

      <shell xmlns="uri:oozie:shell-action:0.2">

          <job-tracker>${jobTracker}</job-tracker>

          <name-node>${nameNode}</name-node>

          <configuration>

              <property>

                  <name>mapred.job.queue.name</name>

                  <value>${queueName}</value>

              </property>

          </configuration>

          <exec>${EXEC3}</exec>

          <file>/user/atguigu/oozie-apps/cron/${EXEC3}#${EXEC3}</file>

          <!-- <argument>my_output=Hello Oozie</argument>-->

          <capture-output/>

      </shell>

      <ok to="end"/>

      <error to="fail"/>

  </action>

<kill name="fail">

    <message>Shell action failed, error message[${wf:errorMessage(wf:lastErrorNode())}]</message>

</kill>

<kill name="fail-output">

    <message>Incorrect output, expected [Hello Oozie] but was [${wf:actionData('shell-node')['my_output']}]</message>

</kill>

<end name="end"/>

</workflow-app>

8)上传配置

[atguigu@hadoop102 oozie-4.0.0-cdh5.3.6]$ /opt/module/cdh/hadoop-2.5.0-cdh5.3.6/bin/hdfs dfs -put oozie-apps/cron/ /user/admin/oozie-apps

9)启动任务

[atguigu@hadoop102 oozie-4.0.0-cdh5.3.6]$ bin/oozie job -oozie http://hadoop102:11000/oozie -config oozie-apps/cron/job.properties -run

注意:oozie允许的最小执行任务的频率是5分钟