Apache Airflow на VPS
Apache Airflow на VPS: data orchestration, DAG scheduling, Python-based workflows.
Официальный сайт: https://airflow.apache.org
Что такое Apache Airflow
Apache Airflow — стандарт де-факто для data engineering: DAG-based workflows на Python, scheduler, executor, Web UI. Используется в Airbnb (создатель), Netflix, всех data-teams.
Ставим Standalone или через docker-compose (полный stack: scheduler + web + Postgres + Redis + workers). Ест 4+ GB RAM.
Требования и совместимость
Установка Apache Airflow
Быстрый снапшот команд для установки на чистом VPS. У нас доступен готовый snapshot для клика в панели — эти команды выполняются автоматически.
pip install apache-airflow
airflow standalone
# Или docker-compose:
curl -LfO https://airflow.apache.org/docs/apache-airflow/stable/docker-compose.yaml
docker compose up -dВозможности Apache Airflow
Ключевые фичи и характеристики, которые получаете из нашего snapshot Apache Airflow на VPS.
- • DAG-based workflows
- • Scheduler + executor
- • Web UI + REST API
- • Provider packages (AWS, GCP, DB, etc.)
- • Backfill + retries
Для каких задач подходит
- ETL / ELT pipelines
- Data engineering / BI
- ML training pipelines
Частые вопросы
- vs Prefect / Dagster?
- Airflow — самый старый, самая big экосистема. Prefect/Dagster — модернее, лучший DX, но меньше community.
- MWAA / Cloud Composer нужен?
- Managed стоит $100-300/мес. Self-hosted на VPS — €10-30. Trade-off — операционный overhead.
- Executor выбирать?
- LocalExecutor — dev. CeleryExecutor — production. KubernetesExecutor — для K8s. У нас — CeleryExecutor + Redis по умолчанию.
Смотрите также
Prefect на VPS: modern data orchestration, Python-native, Airflow-alternative.
Dagster на VPS: asset-oriented data pipelines, Python, отличный DX для DS-команд.
Temporal на VPS: durable execution, распределённые workflows, code-first.
Смотреть
Категория целиком.
Подобрать план.
Развернуть Apache Airflow за 60 секунд
Готовый снапшот с автобэкапом, TLS и systemd. От €3/мес.