优势
不足
产品信息
详细说明
服务商概述
dbt(data build tool)由 Fishtown Analytics(现 dbt Labs)于 2016 年创建,把「转换」从 ETL 中拆出来放进仓库内部完成:分析师用 SELECT 语句编写模型,dbt 负责依赖解析、编排、测试与文档生成,形成 ELT 模式的标准做法。
对后端与数据库场景,它的价值是「SQL 工程化」:模型之间用 ref() 建立依赖,自动生成执行顺序与血缘图;内置数据测试(唯一性、非空、外键关系)与文档站点;配合版本控制与 CI,仓库变更可以像应用代码一样评审与回归。
门槛在于前置条件与成本:必须先有数据仓库(Snowflake、BigQuery、Redshift 等)并做好加载,dbt 只负责转换;Jinja 模板与宏需要学习;dbt Cloud 按开发者席位计费,团队规模大时成本明显,开源版则需自建调度。
核心优势
- ref() 自动解析模型依赖,生成执行顺序与数据血缘图
- 内置通用与自定义数据测试,可纳入 CI 做数据质量门禁
- 自动生成文档站点,模型、字段与测试结果可浏览
- 支持 Snowflake、BigQuery、Redshift、Databricks 等主流数仓
产品生态
模型与分层
按 staging、intermediate、marts 分层组织模型,用物化策略(view/table/incremental)控制成本。
测试与文档
schema.yml 定义测试与描述,dbt test 执行断言,dbt docs 生成文档站点。
调度与生态
dbt Cloud 提供托管调度与 CI;开源版可用 Airflow、Dagster 等编排工具驱动。
不足之处
- 只做转换,不负责数据抽取与加载,必须先有可用数仓
- Jinja 模板与宏体系需要学习,复杂逻辑可读性下降
- dbt Cloud 按开发者席位计费,团队扩张后成本明显
- 开源版调度与 CI 需自建,运维投入高于托管方案
适用场景
- 数仓建模与分层治理(★★★★★):分层与血缘清晰
- 数据质量门禁(★★★★★):内置测试可纳入 CI
- 分析团队协作(★★★★):SQL 工程化与评审
- 无数仓的轻量脚本转换(★):前置条件不满足
价格参考
| 套餐 | 价格 | 能力边界 |
|---|---|---|
| dbt Core(开源) | $0 | Apache 2.0,自建调度 |
| dbt Cloud 开发者席位 | 约 50 美元/席/月起 | 含托管调度、CI 与文档 |
| dbt Cloud 企业版 | 按合同报价 | 含治理、SSO 与支持 |
dbt Core 免费,但需要自己搭调度与 CI(Airflow、GitHub Actions);dbt Cloud 按席位约 50 美元/月起,把调度、CI 与文档托管起来。团队在五人以上时,托管带来的效率通常高于自建运维成本。
常见问题
-
dbt 能替代 ETL 工具吗? 不能完全替代,它只做仓库内转换(T);抽取与加载仍需 Fivetran、Airbyte 或自研管道,dbt 补上的是转换层的工程化。
-
一定要用 dbt Cloud 吗? 不一定,dbt Core 开源且能力完整;Cloud 的价值在托管调度、CI 与文档访问,团队规模小时可用开源版加 GitHub Actions 起步。
-
和存储过程比有什么优势? 模型可版本化、可测试、可生成血缘与文档,依赖关系自动解析;存储过程逻辑藏在数据库里,评审与测试成本高得多。