Hugging Face 发布 Personal Copilot 教程:用自有代码库微调 StarCoder
Hugging Face 发布教程,展示如何用其 GitHub 组织前 10 个公开仓库的代码微调 StarCoder,训练出名为 HugCoder 的代码补全助手。
推荐理由:完整复现了从数据采集、QLoRA 微调到 VS Code 本地部署的全流程,并给出成本与效果对比,可迁移到自有代码库。
技术方向
AI 写代码的一切:编码助手、Vibe Coding、代码模型评测与开发工作流变革。
108 条精选近 30 天 11 条共收录 226 条
Hugging Face 发布教程,展示如何用其 GitHub 组织前 10 个公开仓库的代码微调 StarCoder,训练出名为 HugCoder 的代码补全助手。
推荐理由:完整复现了从数据采集、QLoRA 微调到 VS Code 本地部署的全流程,并给出成本与效果对比,可迁移到自有代码库。
Meta 发布 Code Llama 系列代码模型,包含 7B、13B、34B 三个参数规模,基于 Llama 2 初始化并用 5000 亿 token 代码数据训练,采用与 Llama 2 相同的社区许可并允许商用。
推荐理由:Meta 发布 Code Llama 系列并接入 Hugging Face 生态,读者可了解其参数规模、上下文窗口与多语言基准表现。
Anthropic 通过 API 发布 Claude Instant 1.2,这是其更快、更低价但仍具能力的模型版本,融合了 Claude 2 在真实场景中的优势,在数学、编码、推理和安全方面有明显提升。
推荐理由:官方给出 Claude Instant 1.2 在数学、编码与安全上的具体基准对比,可据此判断轻量模型的性价比变化。
Anthropic 发布新模型 Claude 2,可通过 API 使用,并在美国与英国上线 claude.ai 公开测试网站。Claude 2 在编码、数学和推理上较前代提升,Bar 考试多选题得分从 Claude 1.3 的 73.0% 升至 76.5%,Codex HumanEval 从 56.0% 升至 71.2%,GSM8k 从 85.2% 升至 88.0%。
推荐理由:官方给出 Claude 2 在 Bar、GRE、HumanEval 等基准上的具体分数与 100K token 上下文,便于对照前代判断能力提升幅度。
Hugging Face 团队介绍如何将 16B 参数的 StarCoder 微调为对话式编码助手 StarChat,使用 OpenAssistant 约 2.1 万条英文对话数据,并采用 ChatML 格式标记角色、屏蔽用户轮次的损失。
推荐理由:原文完整给出用对话数据微调 StarCoder 的流程与代码,读者可据此复现一个开源编码助手。
BigCode 发布 StarCoder 与 StarCoderBase 两个代码大模型,基于 GitHub 宽松许可数据训练,覆盖 80 多种编程语言,参数规模约 15B、训练 1 万亿 token。
推荐理由:BigCode 公开了 StarCoder 的权重、训练数据与评测结果,读者可据此判断开源代码模型当时的能力水位。
OpenAI 发布新版 GPT-3 和 Codex,可在已有文本中编辑或插入内容,而不再只是补全现有文本。
推荐理由:OpenAI 为 GPT-3 和 Codex 增加编辑与插入能力,读者可了解文本补全之外的新交互方式。
OpenAI 发布改进版 Codex,这一 AI 系统可将自然语言转换为代码,即日起通过 API 以私有测试形式开放。
推荐理由:OpenAI 官方公布 Codex 改进版本并以私有测试形式开放 API,可据此了解自然语言转代码能力的接入方式。