🔧

KTransformers

AI开发大模型推理

工具介绍

开源的本地大模型显存优化框架，通过异构计算与量化技术，在 24G 显卡上运行 1M 上下文、132B 参数模型，实现消费级硬件极限推理。

大模型本地部署开源CPU offload量化GPU 内存优化

官方入口

访问 KTransformers 官网了解更多

前往官网 →

最后更新：2026-07-29