Segmind 开源 SD-Small 与 SD-Tiny 知识蒸馏代码和权重
Segmind 开源了压缩版 Stable Diffusion 模型 SD-Small 和 SD-Tiny 的权重与蒸馏训练代码，两者参数量分别比基础模型少 35% 和 55%，同时保持接近的图像保真度。
推荐理由：Segmind 开源了 SD-Small 与 SD-Tiny 的蒸馏代码和权重，并给出参数量、加速比与使用方式，便于复现和二次微调。
技术方向
数据与训练 最新动态
训练侧的门道：数据集构建、合成数据、预训练与后训练方法、算力与训练成本。
133 条精选近 30 天 8 条共收录 464 条
更新
精选归档 · 第 6 页
Hugging Face Blog精选AI 评分6060
Hugging Face Blog精选AI 评分7878 Falcon 模型家族落地 Hugging Face 生态
阿布扎比 TII 发布 Apache 2.0 许可的 Falcon 语言模型家族，包含 Falcon-40B 和 Falcon-7B 两个基础模型及对应 Instruct 版本。
推荐理由：梳理 Falcon 系列在 Hugging Face 生态中的推理、量化与微调路径，可了解开源大模型的落地方式。
OpenAI News精选AI 评分6262 OpenAI 研究用语言模型解释语言模型中的神经元
OpenAI 用 GPT-4 自动为大型语言模型中的神经元行为撰写解释，并对这些解释打分。团队公开了 GPT-2 中每个神经元的解释与评分数据集，并说明这些解释并不完美。
推荐理由：OpenAI 用 GPT-4 自动为神经元行为写解释并打分，并公开 GPT-2 全部神经元的解释与评分数据集。
Hugging Face Blog精选AI 评分6060 用 StarCoder 打造编码助手 StarChat
Hugging Face 团队介绍如何将 16B 参数的 StarCoder 微调为对话式编码助手 StarChat，使用 OpenAssistant 约 2.1 万条英文对话数据，并采用 ChatML 格式标记角色、屏蔽用户轮次的损失。
推荐理由：原文完整给出用对话数据微调 StarCoder 的流程与代码，读者可据此复现一个开源编码助手。
Hugging Face Blog精选AI 评分7878 BigCode 发布 StarCoder 代码大模型
BigCode 发布 StarCoder 与 StarCoderBase 两个代码大模型，基于 GitHub 宽松许可数据训练，覆盖 80 多种编程语言，参数规模约 15B、训练 1 万亿 token。
推荐理由：BigCode 公开了 StarCoder 的权重、训练数据与评测结果，读者可据此判断开源代码模型当时的能力水位。
Hugging Face Blog精选AI 评分6262 StackLLaMA：用 RLHF 训练 LLaMA 的实操指南
Hugging Face 发布 StackLLaMA 模型及完整 RLHF 训练流程，用 LLaMA 7B 在 Stack Exchange 问答数据上依次完成监督微调、奖励建模和 PPO 强化学习，训练管线已集成到 TRL 库。
推荐理由：Hugging Face 公开了用 RLHF 训练 LLaMA 的完整流程与代码，读者可据此复现或迁移到自己的模型对齐任务。
Hugging Face Blog精选AI 评分6262 用 diffusers 训练自己的 ControlNet
Hugging Face 发布教程，讲解如何用 diffusers 训练 ControlNet，并以人脸姿态为例走完条件设计、数据集构建和模型训练三步。数据集基于微软 FaceSynthetics 的 100K 合成人脸，用 SPIGA 提取 iBUG 68 点关键点生成条件图，再用 BLIP 生成 caption。
推荐理由：Hugging Face 官方复盘了从条件设计、数据集构建到 diffusers 训练脚本的完整 ControlNet 训练流程，并给出不同显存下的参数配置。
OpenAI News精选AI 评分6262 GPTs are GPTs：大语言模型对劳动力市场潜在影响的早期观察
OpenAI 发布题为 GPTs are GPTs 的研究，初步考察大语言模型对劳动力市场的潜在影响。原文正文未能抓取，仅标题可用。
Hugging Face Blog精选AI 评分6262 Hugging Face 将 trl 与 peft 集成，可在 24GB 消费级 GPU 上微调 20B 大模型
Hugging Face 官方发布 trl 与 peft 的集成，让大语言模型的 RLHF 微调成本大幅降低。方案先用 LLM.int8() 以 8 位精度加载模型，再用 peft 添加低秩适配器只训练少量参数，并借助 disable_adapters 复用同一模型获取参考模型与当前模型的 logits，从而省去第二份模型副本。
推荐理由：trl 与 peft 的集成给出了在 24GB 消费级 GPU 上做 RLHF 微调的具体路径，可迁移到自有训练流程。
Hugging Face Blog精选AI 评分6262 Kakao Brain 与 Hugging Face 发布 ViT 和 ALIGN 模型及 COYO 数据集
Kakao Brain 与 Hugging Face 联合发布开源图文数据集 COYO（7 亿图文对）以及基于该数据集训练的 ViT 和 ALIGN 视觉语言模型，这是 ALIGN 模型首次免费开源，也是 ViT 和 ALIGN 首次附带训练数据集发布。
推荐理由：Kakao Brain 开源了首个可复现的 ALIGN 模型及配套 7 亿图文对数据集，读者可据此了解开放数据对视觉语言模型复现的意义。
Hugging Face Blog精选AI 评分6262 用机器学习援助土耳其地震幸存者：afetharita 的模型与部署实践
2023 年 2 月 6 日土耳其东南部发生 7.7 和 7.6 级地震后，一群程序员在 Discord 上协作开发了名为 afetharita（灾害地图）的应用，用于从幸存者的推文和截图中提取地址与需求信息，供搜救队和志愿者使用。
推荐理由：作者以志愿者身份复盘土耳其地震救援中的模型选型与部署流程，可迁移到快速搭建应急类 ML 应用。
Hugging Face Blog精选AI 评分6262 Hugging Face 发布 PEFT 库，支持 LoRA 等参数高效微调方法
Hugging Face 发布 PEFT 库，提供 LoRA、Prefix Tuning、Prompt Tuning、P-Tuning 等参数高效微调方法，并与 Transformers 和 Accelerate 集成。
推荐理由：原文给出 PEFT 库支持的方法与消费级硬件上的微调示例，读者可据此判断低成本微调的可行路径。
Hugging Face Blog精选AI 评分6262 Hugging Face 解读对话智能体为何有用：IFT、SFT、CoT 与 RLHF
Hugging Face 博客梳理了让对话智能体变得有用的关键技术，包括指令微调（IFT）、监督微调（SFT）、思维链（CoT）和基于人类反馈的强化学习（RLHF）。
推荐理由：梳理 IFT、SFT、CoT 与 RLHF 在对话智能体中的作用，并对比多家早期聊天机器人的训练与评测差异。
Hugging Face Blog精选AI 评分6262 图解基于人类反馈的强化学习 RLHF
Hugging Face 发布图解 RLHF 的教程文章，把训练流程拆成预训练语言模型、收集偏好数据训练奖励模型、用 PPO 微调语言模型三个核心步骤。文章指出奖励模型输出标量奖励，训练时用 KL 散度惩罚约束策略偏离初始模型，并介绍了 TRL、TRLX、RL4LMs 等开源 RLHF 工具。文中还提到人类标注成本高、标注者意见不一致等局限，以及离线 RL、ILQL 等尚未充分探索的方向。
推荐理由：把 RLHF 拆成预训练、奖励模型、PPO 微调三步，并梳理了开源实现与已知局限，适合作为入门框架参考。
Hugging Face Blog精选AI 评分6262 Hugging Face 发布 MTEB 大规模文本嵌入基准
Hugging Face 发布 MTEB，一个衡量文本嵌入模型在多种嵌入任务上表现的基准，包含 8 类任务、56 个数据集，覆盖最多 112 种语言，榜单已汇总超过 2000 条结果。
推荐理由：MTEB 把 56 个数据集、8 类任务和 112 种语言汇总到同一榜单，读者可据此理解文本嵌入模型的评测维度与取舍。
Hugging Face Blog精选AI 评分6262 Hugging Face 发布 SetFit：无需提示词的高效少样本微调框架
Hugging Face 联合 Intel Labs 和 UKP Lab 发布 SetFit，一个面向 Sentence Transformers 的高效少样本微调框架，无需提示词或 verbaliser。
推荐理由：原文给出 SetFit 的两阶段训练流程、RAFT 基准对比与 30 秒训练成本，读者可据此判断少样本分类的落地门槛。
Hugging Face Blog精选AI 评分8282 Hugging Face 发布 176B 参数开源多语言模型 BLOOM
Hugging Face 发布 BLOOM，一个 176B 参数的多语言大语言模型，可生成 46 种自然语言和 13 种编程语言的文本，对西班牙语、法语、阿拉伯语等多数语言是首个超过 100B 参数的语言模型。
推荐理由：BLOOM 以 176B 参数覆盖 46 种自然语言并公开训练中间检查点，为研究大模型内部机制提供了少见的开放样本。
OpenAI News精选AI 评分7474 OpenAI 用视频预训练让神经网络学会玩 Minecraft
OpenAI 训练神经网络通过 Video PreTraining（VPT）在大量无标注的人类 Minecraft 游玩视频上学习，仅使用少量标注承包商数据。经微调后，模型能学会制作钻石工具，这一任务通常需要熟练人类花费 20 分钟以上、约 24000 次操作。模型使用键盘按键和鼠标移动这类原生人类交互接口，具有较强通用性，是迈向通用计算机操作智能体的一步。
推荐理由：OpenAI 用大量无标注游戏视频预训练网络，仅少量标注数据微调即可完成钻石工具制作，为通用计算机操作智能体提供了一条路径。
Hugging Face Blog精选AI 评分6262 从零训练代码生成模型 CodeParrot
Hugging Face 发布教程，介绍如何从零训练名为 CodeParrot 的 GPT-2 代码生成模型，用于自动补全 Python 代码。作者从 Google BigQuery 的 GitHub dump 中筛选出 180GB、2000 万个 Python 文件，去重并按 Codex 论文的清洗规则处理后得到 50GB 数据集 codeparrot-clean。
推荐理由：完整拆解了从数据清洗、tokenizer 训练到多卡训练循环的每一步，可迁移到自建代码生成模型的流程。
OpenAI News精选AI 评分6262 OpenAI 训练系统求解小学数学应用题，准确率约为微调 GPT-3 的两倍
OpenAI 训练了一个求解小学数学应用题的模型，准确率接近微调 GPT-3 模型的两倍。在自建数据集的同一批题目上，该系统的正确率为 55%，而 9-12 岁儿童小样本的正确率为 60%，即解题量约为这些孩子的 90%。
推荐理由：OpenAI 用自建小学数学数据集对比微调 GPT-3，给出模型与 9-12 岁儿童在同一批题目上的准确率差距。