Opik 提供 LLM 调用链路追踪,可查看 1 次对话中每步工具与模型调用,支持数据集实验管理与提示回归评测,内置相关性幻觉格式合规等多个自动评分指标,并有开源自托管与云端 2 种形态;不足是自动评分需人工抽检、大规模追踪存储成本需规划。
TAG COLLECTION
可观测 资源聚合
汇总与可观测相关的服务商、新闻资讯与公司资料,帮助您快速比较产品、服务与行业动态。
服务商
Artillery 用 1 份 YAML 描述压测场景,覆盖 HTTP、WebSocket、Socket.io 与 Playwright 浏览器 4 类目标,内置阈值断言可作 CI 门禁并支持 Lambda 横向扩展;不足是复杂逻辑表达受限、高级报表需订阅且插件生态较小。
Helicone 通过替换 1 个 base_url 接入 LLM 观测,提供请求日志、成本与延迟看板,内置缓存与限流 2 类网关能力并支持提示检索,核心组件开源可自托管;不足是代理层多一跳延迟、高级能力需付费。
Humanloop 提供集中式提示管理,可在 1 处维护多版本并灰度发布,支持人工评估标注队列与 2 个版本的 A/B 在线对比,并记录线上调用与反馈便于回溯,含合规审计与访问控制;不足是定价偏高、中文支持有限、自动评测需自行配置。