Автоматизация и workflow · Apache 2.0

Apache Airflow на VPS

Apache Airflow на VPS: data orchestration, DAG scheduling, Python-based workflows.

Официальный сайт: https://airflow.apache.org

vCPU от
2
рекомендуется
RAM от
4 GB
минимум
Диск от
40 GB
SSD/NVMe
План
VPS-M
оптимальный

Что такое Apache Airflow

Apache Airflow — стандарт де-факто для data engineering: DAG-based workflows на Python, scheduler, executor, Web UI. Используется в Airbnb (создатель), Netflix, всех data-teams.

Ставим Standalone или через docker-compose (полный stack: scheduler + web + Postgres + Redis + workers). Ест 4+ GB RAM.

Требования и совместимость

CPU
2 vCPU
рекомендуется
RAM
4 GB
минимум
Disk
40 GB
SSD/NVMe
License
Apache 2.0
официально
Поддерживаемые ОС: Ubuntu 22.04

Установка Apache Airflow

Быстрый снапшот команд для установки на чистом VPS. У нас доступен готовый snapshot для клика в панели — эти команды выполняются автоматически.

pip install apache-airflow
airflow standalone
# Или docker-compose:
curl -LfO https://airflow.apache.org/docs/apache-airflow/stable/docker-compose.yaml
docker compose up -d

Возможности Apache Airflow

Ключевые фичи и характеристики, которые получаете из нашего snapshot Apache Airflow на VPS.

  • DAG-based workflows
  • Scheduler + executor
  • Web UI + REST API
  • Provider packages (AWS, GCP, DB, etc.)
  • Backfill + retries

Для каких задач подходит

  • ETL / ELT pipelines
  • Data engineering / BI
  • ML training pipelines

Частые вопросы

vs Prefect / Dagster?
Airflow — самый старый, самая big экосистема. Prefect/Dagster — модернее, лучший DX, но меньше community.
MWAA / Cloud Composer нужен?
Managed стоит $100-300/мес. Self-hosted на VPS — €10-30. Trade-off — операционный overhead.
Executor выбирать?
LocalExecutor — dev. CeleryExecutor — production. KubernetesExecutor — для K8s. У нас — CeleryExecutor + Redis по умолчанию.

Развернуть Apache Airflow за 60 секунд

Готовый снапшот с автобэкапом, TLS и systemd. От €3/мес.