Apache Airflow

服务商概述

Apache Airflow 于 2015 年诞生于 Airbnb（爱彼迎），后捐赠给 Apache 软件基金会成为顶级开源项目，是全球最流行的数据工作流编排平台。它以 Python 代码定义 DAG（有向无环图） 的方式来声明任务及其依赖关系，通过调度器按计划或事件触发执行，广泛用于 ETL、数据仓库构建、机器学习流水线与报表生成等场景。

Airflow 的核心抽象是 DAG——开发者用 Python 编写任务（Task）并声明其依赖，Airflow 负责调度、重试、并行与失败告警。平台提供可视化 Web UI 查看任务状态、日志与执行历史，并支持 Cron 调度、事件触发与传感器（Sensor）等待外部条件满足。作为 Apache 顶级项目，Airflow 拥有 300+ 社区贡献者与庞大的插件生态，是开源数据工程领域的事实标准。

核心优势

• Python 声明式 DAG：用 100% 纯 Python 定义工作流，天然具备版本控制、代码评审与可测试性，适合工程化团队。
• 大规模任务调度：可调度包含 1000+ 任务节点的大型数据管道，支持依赖管理、失败重试与并行执行。
• 300+ 社区与插件生态：提供与 Docker、Kubernetes、云平台、数据库的丰富集成算子。
• 灵活触发机制：支持 3 种触发方式（Cron 定时、事件触发与传感器等待），适配批处理与准实时场景。
• 可视化监控：Web UI 提供任务状态、执行历史、日志与甘特图 4 类视图，配合 Prometheus、Grafana 可构建完整监控体系。

产品生态

DAG 调度引擎

Airflow 的核心调度器（Scheduler）负责任务编排与依赖解析，执行器（Executor）支持 Sequential、Local、Celery、Kubernetes 等多种模式，适配从单机到大规模集群的不同场景。

算子库（Operators）

内置 300+ 算子覆盖 Bash、Python、SQL、HTTP 等基础操作，以及各云厂商与数据库的连接器，配合Docker 部署与Kubernetes 部署可构建弹性数据平台。

Airflow UI

Web 界面提供 DAG 树状视图、甘特图、任务日志与运行历史，运维人员可直观掌握管道健康状态。

与机器学习生态集成

Airflow 与 Kubeflow、MLflow 等AI 平台工具配合，可编排模型训练、评估与部署流水线，支撑 MLOps 实践。

不足之处

• 学习曲线陡峭：需要掌握 Python、DAG、调度与执行器概念，入门门槛高于可视化 ETL 工具。
• 运维复杂：自部署需要管理调度器、执行器、元数据库与日志存储等多组件，生产环境建议使用托管服务。
• 不适合实时流处理：Airflow 面向批处理调度，低延迟流式场景需配合 Kafka、Flink 等流处理引擎。
• 缺少企业级托管：社区版需自行维护，托管版（如 Cloud Composer）成本较高。

适用场景

• ETL 与数据管道（★★★★★）：定时抽取、转换、加载多源数据，构建数据仓库与数据湖。
• 机器学习流水线（★★★★★）：编排特征工程、模型训练、评估与部署，支撑 MLOps。
• 报表与业务批处理（★★★★）：定时生成报表、同步数据、执行批量任务。
• 数据驱动的小型团队（★★★）：单机部署即可满足轻量调度需求，性价比高。
• 实时流处理（★★）：低延迟场景建议采用流处理引擎，Airflow 仅作批处理补充。

价格参考

注：社区版完全免费（Apache 2.0），主要成本来自自部署的服务器与运维人力。

常见问题

• Airflow 与 Jenkins 有什么区别？ Jenkins 面向 CI/CD 构建与部署，Airflow 面向数据管道与工作流编排，二者可配合使用（如 Airflow 调度数据任务、Jenkins 执行发布）。

• Airflow 适合实时流处理吗？ 不适合。Airflow 是批处理调度器，低延迟流式场景需配合 Kafka、Flink 等流处理引擎，选型见 AI 工作流自动化平台。

• Airflow 需要写代码吗？ 需要。DAG 用 Python 定义，相比可视化 ETL 工具有一定的编程门槛，但也带来了版本控制与可测试性，部署见 Docker 部署指南。

• Airflow 是免费的吗？ 社区版基于 Apache 2.0 许可完全免费，可自托管；托管服务（Cloud Composer、MWAA、Astronomer）按量收费，开源选型见 开源软件市场。