PROVIDER - 开源自托管的 LLM 可观测平台

Langfuse

Langfuse 是开源可自托管的 LLM 可观测平台,1 套 Docker Compose 即可部署并让数据留在自有环境,提供 trace、session 与 score 3 层数据模型和提示版本管理,兼容 OpenTelemetry 与 5 个以上框架;不足是自托管需维护数据库与存储、中文资料有限。

AI平台 德国 2026.11.19
4.3分

详细说明

优势 5 项

核心开源,可用 1 套 Docker Compose 自托管,数据完全留在自有环境
提供 trace、session 与 score 3 层数据模型,可还原多轮会话与人工标注
内置提示管理,支持版本、标签与 A/B 对比,1 处改动即可上线
兼容 OpenTelemetry 与主流 SDK,可在 5 个以上框架中接入
提供成本与延迟看板,可按 2 个维度拆账:模型与用户

不足 4 项

自托管需要维护数据库与对象存储,运维成本不低
云版与自托管版功能发布节奏存在差异
大规模追踪下查询性能依赖调优
中文文档与社区内容相对有限

服务商概述

Langfuse 是开源的 LLM 工程平台,聚焦追踪、提示管理与评测,同时提供云托管与自托管。

在 AI 平台分类里,它属于「自主可控的可观测层」:数据敏感或需内网部署的团队,用它替代闭源 SaaS。

核心优势

  • 开源可自托管:1 套 Compose 起服务
  • 三层模型:trace、session 与 score
  • 提示管理:版本、标签与对比
  • 协议开放:OpenTelemetry 兼容
  • 成本可视:按模型拆账

产品生态

平台能力

链路追踪、会话聚合、评分与人工标注、提示管理与版本对比、数据集评测、成本与延迟分析。

集成

提供 Python 与 JS SDK,兼容 OpenTelemetry,可接入 LangChain、LlamaIndex、Dify 等 5 个以上框架。

典型场景

内网 LLM 应用监控、提示迭代管理、会话质量评估、成本归因分析。

不足之处

  • 运维成本:自托管需维护数据库与存储
  • 版本差异:云版与自托管节奏不同
  • 查询性能:大数据量需调优
  • 中文资料:文档与社区偏少

适用场景

  • 数据必须留内网(★★★★★):自托管是刚需
  • 提示版本管理(★★★★☆):内置能力完整
  • 多框架混合栈(★★★★☆):协议兼容好
  • 零运维偏好(★★★☆☆):云版更省心

价格参考

项目 价格 备注
开源自托管 $0 需自备服务器与存储
Cloud Hobby $0 免费层,含基础额度
Cloud Core / Pro 按月订阅 更高额度与团队功能

常见问题

自托管要准备什么?

需要数据库、对象存储与容器运行环境,官方提供 Docker Compose 模板。

支持非 LangChain 框架吗?

支持,通过 SDK 或 OpenTelemetry 即可接入 5 个以上框架。

能做提示 A/B 测试吗?

可以,提示支持版本与标签,可并行对比效果。

数据会上传到云吗?

自托管模式下数据只存在自有环境。

代码示例

# 自托管:拉取官方 Compose 并启动
git clone https://github.com/langfuse/langfuse.git
cd langfuse && docker compose up -d
from langfuse import Langfuse

langfuse = Langfuse(public_key="pk", secret_key="sk", host="http://localhost:3000")

trace = langfuse.trace(name="qa-flow")
gen = trace.generation(name="answer", model="qwen3-32b", input="如何降低推理成本?")
gen.end(output="使用批处理与缓存可降本 50%")
langfuse.flush()

社区与资源

  • 官方网站:https://langfuse.com/
  • 官方文档:https://langfuse.com/docs
  • 源码仓库:https://github.com/langfuse/langfuse
前往 Langfuse 官网 → https://langfuse.com/
访问官网 ↗