Unsloth 发布开源桌面应用 Unsloth Desktop,支持本地运行与训练模型
Introducing Unsloth Desktop 🦥
Unsloth 发布开源桌面应用 Unsloth Desktop,可在 Windows、macOS 和 Linux 上本地运行与训练模型,无需额外配置,支持文本、MLX、扩散图像/视频、音频、GGUF 等模型。
官方给出本地运行与训练的开源桌面应用能力清单,并附 B200 上扩散推理的实测提速数字,便于判断本地部署的可用性。
今天,我们非常激动地推出 Unsloth Desktop,这是我们全新的开源桌面应用,用于在本地运行和训练模型,支持 Windows、macOS 和 Linux。
Unsloth Desktop 下载简单,无需任何设置。它几乎适用于所有现代 CPU 和 GPU 配置以及大多数操作系统。
以下是 Unsloth 支持的全部功能概览:
支持文本、MLX、扩散图像/视频、音频、GGUF 及更多模型
自愈式工具调用准确率提升 50%,并支持沙箱化 Python 和 Bash 执行
图像和视频生成 + 训练,扩散推理速度更快
首日支持 Qwen3.8、Muse Glimmer 30B、MiniMax H3、Kimi K3、DeepSeek-V4 Flash 和 Gemma 4
无限私密的 网页搜索、深度研究、RAG 和 MCP
并行对话,每个对话都有自己的工具、沙箱和提示队列
一个 兼容 OpenAI 的 API,并可连接云端 OpenAI 和 Anthropic 模型
通过 Cloudflare HTTPS 从任何设备安全远程访问
可在 NVIDIA、AMD、Intel、Apple Silicon、CPU 和多 GPU 系统上运行
图像 + 视频生成 🎬
现在你可以在 Desktop 中直接本地生成和训练 图像和视频。扩散推理更快,支持 LoRA 工作流,视频生成可通过 Metal 在 Apple Silicon 上运行,也支持 CPU 配置。
MiniMax H3 已获支持,它可生成带同步音频的视频,并接受图像、视频或音频作为参考。在 NVIDIA B200 上,960×544、124 帧、8 步生成从 70 多秒降至约 13 秒。
更好的工具调用 🔧
借助自愈式工具调用,工具调用现在准确率提升 50%。你的本地模型可以在沙箱中运行 Python 和 Bash,进行计算、数据分析、代码测试和文件生成,格式错误的工具调用会自动修复并重试。你可以下载对话产生的任何文件或产物。
你还可以将本地模型连接到大多数智能体。运行:
unsloth start claude即可将本地模型与 Claude Code 连接。你可以在 Claude Code、Codex 和其他智能体之间自由切换。
深度研究 + 本地 RAG 🔎
Desktop 包含无限私密的 网页搜索、深度研究、RAG 和 MCP。深度研究会制定计划、阅读来源、跟踪引用并生成完整报告,你还可以将其与你自己的知识库结合使用。
你还可以 将本地文件夹直接链接到 RAG,并保持同步。添加、重命名或更新文件,Unsloth 都会自动处理。
你还可以在一个模型仍在生成时开始新对话,进行并行聊天。
Meta Muse Glimmer 30B
今天的版本还支持 Meta 全新的稠密 30B 编码模型“Muse Glimmer”,它可以在约 18GB 内存/显存的设备上本地运行,并且你可以用 Unsloth 对该模型进行微调。
随时随地运行本地模型 💻
Unsloth Desktop 可在 NVIDIA、AMD、Intel/Vulkan、Apple Silicon、CPU 和多 GPU 系统上运行,支持 GPU 层控制、内存卸载以及针对 GGUF 模型的张量并行。你可以通过兼容 OpenAI 的 API 提供任何服务,通过 Cloudflare HTTPS 安全地对外暴露,并基本上可以通过手机或其他设备远程访问该模型。
Unsloth Desktop GitHub
Unsloth Desktop 现已支持 Windows、macOS 和 Linux。
你也可以从我们的 GitHub releases 页面下载 Unsloth Desktop。我们非常希望你能试用一下,也欢迎任何反馈!
非常感谢 NVIDIA 和 Hugging Face 与我们在本次发布上的合作!最重要的是,我们感谢早期的 alpha 测试者,没有他们我们无法做到。
我们希望很快分享更多令人兴奋的消息,尤其是关于 Qwen3.8 的。
来源:Unsloth Blog · unslothai.substack.com