跳到正文
GitHub Changelog· Allison·· 3 小时前精选AI 评分59

GitHub Copilot Fusion 支持选择本地模型

GitHub Copilot Fusion now supports selection of local models

AI 导读

GitHub Copilot Fusion 上线本地模型智能路由实验预览,可在 Copilot CLI、Copilot 应用和 VS Code 中自动在设备端模型与云端模型之间选择,无需逐次手动切换。

推荐理由

原文说明了本地模型与云端模型之间的自动路由如何在 CLI、应用和 VS Code 中启用,并划清了 BYOK 与路由资格的边界。

正文 · AI 翻译

今天,我们将面向本地模型的智能路由功能以实验性预览形式发布。GitHub Copilot Fusion 现在可以在受支持的设备端模型和云端模型之间进行选择,从而在 GitHub Copilot CLI、GitHub Copilot 应用和 Visual Studio Code 中实现智能本地模型路由。这一选择性加入的实验性预览让你能够使用设备的算力,而无需为每个请求手动切换模型。如需深入了解此功能,请参阅我们于 10 月 7 日发布的最初公告。

Copilot CLI showing the download for MAI Code 1.1 Flash including system requirements and the model picker

在 Windows 上托管下载与设置

在受支持的 Windows 设备上,你可以通过 Windows ML 提供程序下载并配置 MAI Code 1.1 Flash。

Copilot app settings showing MAI Code 1.1 Flash downloading and the provider options for bringing your own model

  • 在 Copilot CLI 中,启用实验模式并打开 /model 以按照设置提示操作。
  • 在 Copilot 应用中,在 Settings > Model providers 下配置 Windows ML 提供程序,在 Settings > Experiments 下启用 Local model auto routing,然后开始新会话。在 Windows 上,Windows ML local models 默认启用。
  • 在 VS Code 中,启用 chat.copilot.localModel.enabled。

模型就绪后,在 Copilot Fusion 中选择 Standard,让 Copilot 在本地模型和云端模型之间进行选择。你也可以为当前会话直接选择本地模型。

自带本地模型

托管下载体验仅限 Windows,但 Copilot CLI 的本地 Copilot Fusion 路由也适用于在 Windows、macOS 和 Linux 上手动配置的模型。

你可以通过本地 OpenAI 兼容服务器配置 MAI Code 1.1 Flash 或 Qwen3.8 Flash Next。模型下载和推理运行时由你管理,并且你的设备必须有足够的资源来运行它。将该模型配置为受支持的本地模型提供程序,启用实验性本地路由,并在 Copilot Fusion 中选择 Standard,让 Copilot 在符合条件的本地模型和云端模型之间进行选择。

这建立在 Copilot CLI 近期本地模型发现改进的基础之上。通过自带密钥(BYOK)配置添加或发现模型,并不会自动使其符合 Copilot Fusion 的条件。

Copilot 应用也支持通过 BYOK 连接并直接选择兼容的本地模型。不过,其智能路由目前仅支持托管的 Windows ML 模型。

本地推理并不会让你的会话离线。Copilot Fusion 仍在云端做出路由决策,并且本地模型的安全防护可能与 Copilot 提供的云端模型不同。

有关设置说明,请参阅向 GitHub Copilot CLI 添加 LLM 模型和向 GitHub Copilot 应用添加 LLM 模型。有关路由行为,请参阅我们关于本地模型智能路由的文档。

文章GitHub Copilot Fusion 现已支持选择本地模型首次发表于The GitHub Blog。

来源:GitHub Changelog · github.blog