公司介绍

Apache Airflow 于 2015 年诞生于 Airbnb，2016 年捐赠给 Apache 软件基金会并于 2019 年成为顶级项目。它是全球最流行的数据工作流编排平台，用 Python DAG 定义任务依赖，广泛用于 ETL、数据仓库与机器学习流水线。

关联服务商：Airflow 数据工作流编排服务

核心产品

  • DAG 调度引擎：Python 定义的有向无环图任务编排
  • 算子库：300+ 内置算子与丰富插件
  • Airflow UI：可视化任务监控与日志查看
  • 多种执行器：Local、Celery、Kubernetes 等
  • 传感器与触发：Cron、事件与传感器等待机制

核心优势

开源免费：Apache 2.0 许可，社区驱动
Python 原生：版本控制、可测试、工程化
生态丰富：与 Docker、Kubernetes、云平台深度集成
大规模调度：支撑 1000+ 任务节点管道