vLLM

vLLM官网（vllm.ai）是开源的大模型推理与服务引擎，以PagedAttention显存管理实现高吞吐、低延迟的批量推理，兼容OpenAI接口，被广泛应用于企业私有化部署、Agent服务与多卡集群推理场景，是当前LLM工程落地的关键基础设施。