llama.cpp

llama.cpp

模型部署

ggml-org/llama.cpp

131.9K24.6KC++MIT

在你的电脑上离线运行大语言模型，不用联网也不用买显卡

在你的电脑上离线运行大语言模型，不用联网也不用买显卡

🏠 本地运行🧠 模型部署🔌 API集成🏗️ 智能体搭建

llama.cpp 预览图 — 预览卡片由 GitHub 根据仓库信息自动生成，卡上的星数可能滞后于上方数据。

工具信息

类型🐙 开源项目

Stars131.9K

Forks24.6K

语言C++

许可证MIT

解锁完整分析 —— 免费

你看到的是 llama.cpp 的公开预览。AI 生成的优缺点、使用场景、部署指南与适配人群，注册即可免费查看（无需绑卡）。Pro 会员另享 AI 对比（每 30 天 50 次）与会员日报周报。

对比同类工具

看看 llama.cpp 和其他模型部署工具的差异

更多工具

一个开源的机器学习框架，让开发者能构建和训练自己的AI模型。

一个让你在本地电脑上轻松运行各种大语言模型的工具，支持DeepSeek、Qwen、Gemma等热门模型。

用Python加载和运行各种预训练AI模型，覆盖文本、图像、音频等多种任务。

把大语言模型部署成高速 API 服务的开源推理引擎，跑得快、显存省

本地运行和微调AI大模型的图形工具，支持DeepSeek、Gemma等，无需编程也能开箱即用。