Helicone 美国 Helicone 通过替换 1 个 base_url 接入 LLM 观测,提供请求日志、成本与延迟看板,内置缓存与限流 2 类网关能力并支持提示检索,核心组件开源可自托管;不足是代理层多一跳延迟、高级能力需付费。
PromptLayer 美国 PromptLayer 提供提示词可视化编辑与版本管理,1 次保存生成可回溯历史,记录每次请求的提示、响应与耗时并支持 2 个版本的 A/B 对比,可通过 SDK 或代理接入主流模型;不足是平台规模较小、深度可观测能力有限。