⚡

llama.cpp

AI开发大模型推理

工具介绍

纯C++实现的高性能LLM推理库，支持主流权重量化、CPU/GPU混合计算与无依赖部署，一行命令启动。

C++量化本地推理开源跨平台CPU/GPU

官方入口

访问 llama.cpp 官网了解更多

前往官网 →

最后更新：2026-07-29