批处理

LLM 推理优化实践：vLLM、量化与批处理详解

大模型上线后，推理吞吐与延迟直接决定成本与体验。本文详解 vLLM 与 TensorRT-LLM 的连续批处理、PagedAttention、KV Cache、量化与投机解码等优化手段。