Airflow教程——如何部署一个健壮的Airflow系统

发布时间:2021年09月24日作者:atguigu浏览次数:1,167

Airflow是一个以编程方式编写,安排和监视工作流的平台。

使用Airflow将工作流编写任务的有向无环图(DAG)。Aiflow计划程序在遵循指定的依赖项同时在一组工作线程上执行任务。丰富的命令实用程序使在DAG上执行复杂的调度变得轻而易举。丰富的用户界面使查看生产中正在运行的管道,监视进度以及需要时对问题进行故障排除变得容易。

具有以下特点

Dynamic:Airflow配置需要使用Python,允许动态生产管道。这允许编写可动态。这允许编写可动态实例化管道的代码;

Extensible:轻松定义自己的运算符,执行程序并扩展库,使其适合于您的的环境;

Elegant:Airlfow是精简的,使用功能强大的Jinja模板引擎,将脚本参数化内置于Airflow的核心中;

Scalable:Airflow具有模板块架构,并使用消息队列来安排任意数量的工作任务。

1、安装环境准备

环境准备:

阿里云服务器,centos7.5系统,Python2.7.5,Pip 20.3.1,openssl1.02(重要)

Airflow教程——如何部署一个健壮的Airflow系统

 

如上所示,hadoop101,hadoop102,hadoop103为hadoop集群,airflow节点部署airlfow。

python、pip、openssl版本如下:

Airflow教程——如何部署一个健壮的Airflow系统

 

Airflow教程——如何部署一个健壮的Airflow系统

 

Airflow教程——如何部署一个健壮的Airflow系统

 

2、升级PIP

若PIP版本不满足20.3.1,以如下方式升级:

[root@airflow~]# pip install --upgrade pip
[root@airflow~]# pip -V
pip20.3.1 from /usr/lib/python2.7/site-packages/pip (python 2.7)
[root@airflow~]# pip install --upgrade setuptools

3、安装Miniconda

conda是一个开源的包、环境管理器,可以用于在同一个机器上安装不同Python版本的软件包及其依赖,并能够在不同的Python环境之间切换,Anaconda包括Conda、Python以及一大堆安装好的工具包,比如:numpy、pandas等,Miniconda包括Conda、Python。

此外,我们不需要如此多的工具包,故选择MiniConda。

1)下载Miniconda(Python3版本)

下载地址:
https://repo.anaconda.com/miniconda/Miniconda3-latest-Linux-x86_64.sh

[root@airflow~]# mkdir /opt/software
[root@airflow~]# cd /opt/software/
[root@airflowsoftware]# wgethttps://repo.anaconda.com/miniconda/Miniconda3-latest-Linux-x86_64.sh

2)安装Miniconda

[root@airflowsoftware]# bash Miniconda3-latest-Linux-x86_64.sh

(1)在安装过程中,出现以下提示时,可以指定安装路径

Airflow教程——如何部署一个健壮的Airflow系统

 

(2)出现以下字样,即为安装完成

Airflow教程——如何部署一个健壮的Airflow系统

 

3)加载环境变量配置文件,使之生效

[root@airflowsoftware]# source ~/.bashrc

Miniconda安装完成后,每次打开终端都会激活其默认的base环境,我们可通过以下命令,禁止激活默认base环境。

[root@airflowsoftware]# conda config --set auto_activate_base false

3、安装Python3.7.4

1)配置conda国内镜像

[root@airflow~]# conda config --add channels https://mirrors.tuna.tsinghua.edu.cn/anaconda/pkgs/free
[root@airflow~]# conda config --add channels https://mirrors.tuna.tsinghua.edu.cn/anaconda/pkgs/main
[root@airflow~]# conda config --set show_channel_urls yes
[root@airflow~]# conda create --name python3 python=3.7.4

说明:conda环境管理常用命令

创建环境:conda create -n env_name

查看所有环境:conda info –envs

删除一个环境:conda remove -n env_name –all

2)激活python3环境

[root@airflow~]# conda activate python3
(python3)[root@airflow ~]# python -V
Python3.7.4

3)退出python3环境

(python3)[root@airflow ~]# conda deactivate
[root@airflow~]# python -V
Python2.7.5

4、安装Airflow

(1)安装airflow,先切换到python3环境

[root@airflow~]# conda activate python3
(python3)[root@airflow ~]# cd /opt/software/
(python3)[root@airflow software]# pip install "apache-airflow==1.10.14"

(2)初始化airflow

(python3)[root@airflow software]# airflow db init

(3)查看版本

(python3)[root@airflow software]# airflow version
1.10.14

(4)airflow安装好存放路径

(python3)[root@airflow airflow]# pwd
/root/airflow

(5)启动airflow web服务,启动后浏览器访问http://airflow:8080

(python3)[root@airflow airflow]# airflow webserver -p 8080 -D
Airflow教程——如何部署一个健壮的Airflow系统

 

(2)启动airflow调度

(python3)[root@airflow airflow]# airflow scheduler -D

以上,安装完成。

想要了解跟多关于大数据培训课程内容欢迎关注尚硅谷大数据培训,尚硅谷除了这些技术文章外还有免费的高质量大数据培训课程视频供广大学员下载学习。


上一篇:
下一篇:
相关课程

java培训 大数据培训 前端培训 UI/UE设计培训

关于尚硅谷
教育理念
名师团队
学员心声
资源下载
视频下载
资料下载
工具下载
加入我们
招聘岗位
岗位介绍
招贤纳师
联系我们
全国统一咨询电话:010-56253825
地址:北京市昌平区宏福科技园2号楼3层(北京校区)

深圳市宝安区西部硅谷大厦B座C区一层(深圳校区)

上海市松江区谷阳北路166号大江商厦3层(上海校区)

武汉市东湖高新开发区东湖网谷(武汉校区)

西安市雁塔区和发智能大厦B座3层(西安校区)