Braintrust 提供评测数据集与评分函数,可对 1 次提示改动做自动回归比对,支持实验并列对比与生产日志回流,数行代码接入主流框架并支持自定义评分器与人工标注组合;不足是免费额度受限、评分函数需自行设计、中文评测最佳实践较少。
TAG COLLECTION
LLM评测 资源聚合
汇总与LLM评测相关的服务商、新闻资讯与公司资料,帮助您快速比较产品、服务与行业动态。
服务商
Arize 同时覆盖传统 ML 与 LLM 可观测,1 个平台可做模型漂移监控与生成质量评估,开源 Phoenix 支持本地嵌入与检索分析,提供 RAG 评估与生产流量回放根因定位,并有云版与自托管 2 种形态;不足是学习曲线长、高级能力集中在付费档。
Comet 记录实验参数指标与产物,可在 1 个面板对比多次运行,支持 2 行代码接入主流框架的自动记录、模型注册与版本追溯,以及可视化差异对比,并提供云端与私有化 2 种部署;不足是免费额度受限、大规模日志需容量规划、中文支持有限。
Opik 提供 LLM 调用链路追踪,可查看 1 次对话中每步工具与模型调用,支持数据集实验管理与提示回归评测,内置相关性幻觉格式合规等多个自动评分指标,并有开源自托管与云端 2 种形态;不足是自动评分需人工抽检、大规模追踪存储成本需规划。
Humanloop 提供集中式提示管理,可在 1 处维护多版本并灰度发布,支持人工评估标注队列与 2 个版本的 A/B 在线对比,并记录线上调用与反馈便于回溯,含合规审计与访问控制;不足是定价偏高、中文支持有限、自动评测需自行配置。