sglang

sglang

模型部署

sgl-project/sglang

37.6K9.8KPythonApache-2.0

让大模型和多模态模型推理跑得更快、更省显存的服务框架。

让大模型和多模态模型推理跑得更快、更省显存的服务框架。

🧠 模型部署🔌 API集成🏠 本地运行

sglang 预览图 — 预览卡片由 GitHub 根据仓库信息自动生成，卡上的星数可能滞后于上方数据。

工具信息

类型🐙 开源项目

Stars37.6K

Forks9.8K

语言Python

许可证Apache-2.0

解锁完整分析 —— 免费

你看到的是 sglang 的公开预览。AI 生成的优缺点、使用场景、部署指南与适配人群，注册即可免费查看（无需绑卡）。Pro 会员另享 AI 对比（每 30 天 50 次）与会员日报周报。

对比同类工具

看看 sglang 和其他模型部署工具的差异

更多工具

一个开源的机器学习框架，让开发者能构建和训练自己的AI模型。

一个让你在本地电脑上轻松运行各种大语言模型的工具，支持DeepSeek、Qwen、Gemma等热门模型。

用Python加载和运行各种预训练AI模型，覆盖文本、图像、音频等多种任务。

在你的电脑上离线运行大语言模型，不用联网也不用买显卡

把大语言模型部署成高速 API 服务的开源推理引擎，跑得快、显存省