TAG COLLECTION

GPU推理 资源聚合

汇总与GPU推理相关的服务商、新闻资讯与公司资料,帮助您快速比较产品、服务与行业动态。

2 服务商 1 新闻资讯 0 公司

服务商

2 条结果

NVIDIA NIM

美国

NVIDIA NIM 把模型封装为容器化微服务,1 个镜像即可启动标准化推理接口,基于 TensorRT 与 TensorRT-LLM 优化可把吞吐提升数倍,支持私有化部署并覆盖文本图像语音与多模态 4 类模型;不足是需自备 GPU、部分模型需授权、上线流程较重。

DeepInfra

美国

DeepInfra 按 Token 计费托管开源权重模型,提供兼容 OpenAI 的接口,1 处 base_url 替换即可迁移,覆盖对话、嵌入、重排与图像 4 类模型并支持无服务器弹性与专用实例 2 种模式;不足是无闭源旗舰、冷启动首包延迟波动。

新闻资讯

1 条结果

相关标签