首页 > 其他分享 >Docker安装Airflow

Docker安装Airflow

时间:2023-05-18 18:55:06浏览次数:36  
标签:compose airflow sudo Airflow Docker 安装 docker

环境

 系统:Ubuntu 22.04.2 LTS 
 docker Version:20.10.21
 docker-compose version 1.29.2,
 python3 --version Python 3.10.6

1、 安装docker

1.1先更新系统

		sudo apt-get update
		sudo apt-get upgrade

1.2安装docker:

		apt-get install docker.io

1.3查看docker版本:

		docker version

1.4 将当前用户加入docker这个group

sudo usermod -aG docker $USER

1.5 验证是否添加成功

groups 或者 id -nG

1.6 重启docker

sudo service docker restart

1.7 验证docker 是否安装成功

docker version 或 docker info
第一个命令“docker version”将列出已安装的Docker版本,以及客户端和服务端的详细信息。如果输出中没有错误,则说明Docker已成功安装。
第二个命令“docker info”将显示有关Docker daemon(Docker守护程序)的详细信息,包括系统信息、容器信息和镜像信息等。同样,如果输出中没有错误,则说明Docker已成功安装。

1.8修改docker配置文件,使得docker能被远程访问

vim /lib/systemd/system/docker.service

修改为
ExecStart=/usr/bin/dockerd -H tcp://0.0.0.0:2375 -H unix:///var/run/docker.sock

1.9重载守护进程以及重启Docker:

sudo systemctl daemon-reload
sudo service docker restart

1.20安装 docker-compose

sudo apt-get install -y docker-compose

验证安装是否成功
docker-compose --version

2.安装 airflow

2.1 新建 airflow 文件夹

设置正确的Airflow用户
在Linux中,需要知道user id 以及设置group id为0,否则在dags、 logs、 plugins中的文件将由root用户创建。这里我们需要配置AIRFLOW_UID

mkdir -p /usr/local/airflow  
cd /usr/local/airflow
mkdir -p ./dags ./logs ./plugins
echo -e "AIRFLOW_UID=$(id -u)" > .env

备注:
./dags 我们可以将我们写的DAG文件放置到这里。
./logs 存放来源于任务执行器与调度器的日志。
./plugins 存放一些我们自定义的插件。

2.2要在 Docker Compose 上部署 Airflow,

官网上直该获取 docker-compose.yaml。
地址:
		curl -LfO 'https://airflow.apache.org/docs/apache-airflow/2.6.0/docker-compose.yaml' 
备注:如果网络超时就手动下载在上传到服务器

初始化数据库
		docker-compose up airflow-init
运行Airflow 启动所有服务	#建议第一次运行时不要加-d,查看日志运行
		docker-compose up -d
#Ctrl+C停止,然后重新启动一下
		docker-compose down
		docker-compose up -d
登录airflow
		地址:http://localhost:8080
		登录名/密码 :airflow airflow
检查容器状态
		docker ps

3 常用命令

启动Airflow服务:     				docker-compose up
后台启动Airflow服务:				docker-compose up -d
停止Airflow服务:					docker-compose down
列出正在运行的Airflow容器:			docker ps
查看镜像							docker images
查看docker状态						sudo systemctl status docker
进入某个Airflow容器的终端:			docker exec -it <container_name> bash    备注:<container_name>为容器名或ID
显示Airflow服务的日志:				docker-compose logs [-f] [service_name]  备注: -f参数表示实时跟踪日志,service_name参数表示服务名,默认为所有服务。
构建Airflow镜像                     docker-compose build
清除未使用的镜像、容器、网络和卷:  docker system prune
查看Airflow所在的网络IP地址:		docker network inspect airflow-stack_airflow-net | grep Gateway    备注:irflow-stack_airflow-net表示Docker Compose文件中定义的Airflow网络名
docker 保存镜像						docker save -o airflow2.tar apache/airflow:2.6.0
tar 文件导入到另一台机器上			docker load -i airflow2.tar

可以参考文献:

			https://github.com/puckel/docker-airflow 
			https://blog.csdn.net/qq_35491275/article/details/121981215
			https://blog.51cto.com/helpdesk/5651419?articleABtest=1

CSDN 狗都不用的,欢迎各位大佬指点不足支持,一起学习和交流

QQ 897252348

标签:compose,airflow,sudo,Airflow,Docker,安装,docker
From: https://www.cnblogs.com/bannian/p/17413019.html

相关文章

  • 解决mysql自动插入的日期时间和现在的时间不一致的问题(基于docker)
    新建表的时候发现插入的时间还是早上 先查看配置文件的对不对 配置文件没问题问题只能出在服务器了,连上Linux 查看本机的时间没问题进入容器dockerexec-itmysql./bin/bash 日期明显有问题了进入mysqlmysql-uroot-pshowglobalvariabl......
  • docker-compose 部署 es8.7
    https://blog.51cto.com/wangguishe/6177453系统设置sysctl.conf#echovm.max_map_count=262144>>/etc/sysctl.conf   ulimits#dockerrun--rmdocker.elastic.co/elasticsearch/elasticsearch:8.7.0/bin/bash-c'ulimit-Hn&&a......
  • linux安装redis的多种方式
    一、通用方式要在Linux上安装Redis,可以按照以下步骤进行操作:1.打开终端,使用以下命令下载Redis的压缩包:wgethttp://download.redis.io/releases/redis-x.x.x.tar.gz注意将"x.x.x"替换为你想要下载的Redis版本号。2.解压下载的压缩包:tarxzfredis-x.x.x.tar.gz进入......
  • IIS安装与配置
    一、环境介绍WindowsServer201964位标准版二、IIS安装2.1、打开服务器管理器,单击添加角色和功能在WindowsServer2019服务器管理中,点击角色和功能。2.2、打开添加角色和功能向导】对话框,开始安装默认选择,直接下一步。2.3、打开安装类型选项卡安装类型,选择......
  • 在Linux的Ubuntu系统下安装QT及相关环境配置
    qt下载地址:http://download.qt.io/archive/qt/?tdsourcetag=s_pcqq_aiomsg 安装QT    从官网下载QT的安装包,在本地安装。本次使用的是Ubuntu18.06以及QT5.14.2,下文皆使用此版本作为示例。    首先安装QT,具体操作如下: 1、使用cd命令:cd/home/(usr)/download,切......
  • 如何安装python
    在Linux和MacOS系统中,Python通常已经预装了,可以通过以下命令检查Python是否已经安装:python--version如果Python已经安装,则会显示Python的版本号。如果Python没有安装,则可以通过以下命令安装:在Ubuntu和Debian系统中,可以使用以下命令安装Python:sudoapt-getupdates......
  • 如何安装python
    在Linux和MacOS系统中,Python通常已经预装了,可以通过以下命令检查Python是否已经安装:python--version如果Python已经安装,则会显示Python的版本号。如果Python没有安装,则可以通过以下命令安装:在Ubuntu和Debian系统中,可以使用以下命令安装Python:sudoapt-getupdates......
  • 现已可用Windows 10 Hyper-V管理器轻松安装Ubuntu
    微软一直在努力确保开发人员拥有所需的所有工具,WindowsSubsystemforLinux就被用来帮助他们安装不同版本的Linux。现在公司已经做出了另一项改变,可以协助开发人员快速安装Ubuntu,这是最流行的基于Linux的操作系统之一Windows10用户可以使用Hyper-V管理器在其Windows10设备上轻松......
  • win10+ubuntu20双系统安装
    电脑:暗影精灵5air内存:16G硬盘:500GSSD+1T硬盘笔者之前一直使用ubuntu单系统,偶尔想玩个游戏却不能,加上ubuntu系统下有些操作过于复杂,不如windows方便,于是想装个双系统,win10+ubuntu20.04.6制作启动盘最好在windows电脑上进行,ubuntu也有刻录的功能,但如果对命令不熟悉,可能......
  • 九头蛇的安装与使用
    安装win+rcmdcd文件位置hydra.exe使用例hydra.exe-lroot-PC:\Users\Administrator\Desktop\zidian.txt192.168.0.0sshhydra.exe-L字典位置-P字典位置有具体的就填小写要放字典就填大写linuxhydra.exe-l用户名-P字典位置IP地址协议(ssh)windowshydra爆破rdp:(前......