vllm

一个开源的机器学习框架，让开发者能构建和训练自己的AI模型。

一个让你在本地电脑上轻松运行各种大语言模型的工具，支持DeepSeek、Qwen、Gemma等热门模型。

用Python加载和运行各种预训练AI模型，覆盖文本、图像、音频等多种任务。

在你的电脑上离线运行大语言模型，不用联网也不用买显卡

本地运行和微调AI大模型的图形工具，支持DeepSeek、Gemma等，无需编程也能开箱即用。