⚡

vLLM

AI开发大模型推理

工具介绍

开源的大模型推理加速引擎，基于 PagedAttention 技术实现高吞吐、低延迟的 LLM 服务，支持量化、张量并行与 OpenAI 兼容 API。

大模型推理加速开源PagedAttention量化GPU

官方入口

访问 vLLM 官网了解更多

前往官网 →

最后更新：2026-07-29