公司介绍
MLflow 由 Databricks 于 2018 年创建并开源,是一款开源的机器学习生命周期管理平台。MLflow 旨在解决机器学习开发生命周期中的核心挑战,覆盖实验追踪、模型管理、部署监控等全流程,是目前社区最活跃的 ML 平台之一。
产品与服务
MLflow 提供一套统一的机器学习工具链:
| 产品/模块 | 说明 |
|---|---|
| MLflow Tracking | 实验跟踪 API,记录参数、代码版本、指标和输出文件,支持对比实验 |
| MLflow Models | 标准化模型打包格式,支持将模型部署到 REST API、批处理和流处理 |
| MLflow Model Registry | 集中式模型库,提供模型版本管理、阶段晋级(Staging/Production)和审批流程 |
| MLflow Projects | 可复现的运行打包格式,支持将 ML 代码封装为可共享的项目单元 |
| MLflow Recipes | 预构建 ML 管道模板,涵盖数据准备、训练、评估和部署的标准化流程 |
核心优势
| 优势 | 说明 |
|---|---|
| 开源免费 | Apache 2.0 许可,社区活跃,企业可自由部署和定制 |
| 框架无关 | 支持 TensorFlow、PyTorch、Scikit-learn、XGBoost 等主流 ML 框架 |
| 端到端覆盖 | 从实验追踪到模型部署和监控,覆盖 ML 全生命周期 |
| Databricks 背书 | 由 Databricks 维护,与 Spark、Delta Lake 深度集成 |
| REST API | 提供完整的 REST API 和 Python/R/Java SDK |
| 可扩展 | 支持自定义跟踪后端、模型注册和部署目标 |
市场地位
MLflow 在开源 ML 生命周期管理平台市场与以下产品构成竞争关系:
| 竞争对手 | 说明 |
|---|---|
| Weights & Biases | 商业 MLOps 平台,专注于实验跟踪和超参数调优 |
| Neptune.ai | 面向研究团队的元数据管理平台,支持实验跟踪和模型注册 |
| Comet ML | 基于云的 ML 实验管理平台,提供自动化的实验对比和可视化 |
| Kubeflow | 基于 Kubernetes 的 ML 工作流平台,侧重模型训练和部署编排 |
| DVC | 基于 Git 的数据版本控制和实验管理工具,轻量级开源方案 |
| SageMaker (AWS) | AWS 托管的全托管 ML 平台,涵盖从训练到部署的完整流程 |
发展历程
- 2018 年:MLflow 由 Databricks 创建并开源,首次发布 Alpha 版本
- 2020 年:MLflow 1.0 正式发布,Model Registry 上线
- 2021 年:MLflow 加入 Linux Foundation,成为中立开源项目
- 2023 年:MLflow 2.0 发布,引入 MLflow Recipes 和 AI Gateway
- 至今:持续迭代,社区贡献者超 800 人,GitHub Stars 超 20k
关联服务商:MLflow 服务