Preguntas etiquetadas con airflow

Problema ¿Hay alguna forma en Airflow de crear un flujo de trabajo tal que se desconozca el número de tareas B. * hasta que se complete la Tarea A? He analizado los subdags, pero parece que solo puede funcionar con un conjunto estático de tareas que deben determinarse en la …

99 python  workflow  airflow 

Después de una nueva instalación utilizando pip install apache-airflow, cualquier intento de ejecutar el flujo de aire termina con un error de importación de Python: Traceback (most recent call last): File "/Users/\*/env/bin/airflow", line 26, in <module> from airflow.bin.cli import CLIFactory File "/Users/\*/env/lib/python3.7/site-packages/airflow/bin/cli.py", line 70, in <module> from airflow.www.app import (cached_app, …

19 python  flask  airflow  werkzeug 

Instalación realizada correctamente. db se inició correctamente e intenta iniciar el servidor web muestra el siguiente error. Reinstalé todo pero todavía no funciona. Apreciaré si alguien me ayuda. Salida de consola: $:~/airflow# airflow webserver -p 8080 ____________ _____________ ____ |__( )_________ __/__ /________ __ ____ /| |_ /__ ___/_ /_ …

16 airflow 

Estoy usando https://github.com/helm/charts/tree/master/stable/airflow helm chart y construyendo la puckle/docker-airflowimagen v1.10.8 con kubernetes instalados y usando esa imagen en el helm chart, pero sigo obteniendo File "/usr/local/bin/airflow", line 37, in <module> args.func(args) File "/usr/local/lib/python3.7/site-packages/airflow/bin/cli.py", line 1140, in initdb db.initdb(settings.RBAC) File "/usr/local/lib/python3.7/site-packages/airflow/utils/db.py", line 332, in initdb dagbag = models.DagBag() File "/usr/local/lib/python3.7/site-packages/airflow/models/dagbag.py", line …

12 kubernetes  airflow  kubernetes-helm  airflow-scheduler 

Cerrado. Esta pregunta no es reproducible o fue causada por errores tipográficos . Actualmente no está aceptando respuestas. ¿Quieres mejorar esta pregunta? Actualice la pregunta para que sea sobre el tema de Stack Overflow. Cerrado hace 3 meses . Recibo el error anterior cuando intento la versión de flujo de …

12 python  airflow 

Estoy tratando de mover archivos s3 de un depósito "sin eliminación" (lo que significa que no puedo eliminar los archivos) a GCS usando el flujo de aire. No puedo garantizar que haya nuevos archivos todos los días, pero debo buscar nuevos archivos todos los días. Mi problema es la creación …

10 python  airflow  directed-acyclic-graphs 

Tengo un escenario como el siguiente: Gatillo una Task 1y Task 2sólo cuando los nuevos datos es avialable para ellos en la tabla de origen (Athena). El desencadenante para la Tarea1 y la Tarea2 debería ocurrir cuando se realiza una nueva partición de datos en un día. Activar Task 3solo …

9 python  airflow  amazon-athena  directed-acyclic-graphs  airflow-scheduler