Hugging Face 分析全球算力格局变化：中国开源模型与国产芯片的相互牵引
Hugging Face 发布分析文章，指出中国开源权重模型的推理已开始由华为昇腾、寒武纪等国产芯片承载，部分模型开始用国产芯片训练。文章认为美国出口管制与中国芯片产能提速高度相关，算力稀缺也促使 DeepSeek 的 MLA、GRPO 等效率创新走向开源，并推动 CUDA 之外的软件生态成形。
推荐理由：梳理中国开源模型与国产芯片互相牵引的路径，可看到算力受限如何反过来塑造模型架构与部署生态。
技术方向
数据与训练 最新动态
训练侧的门道：数据集构建、合成数据、预训练与后训练方法、算力与训练成本。
133 条精选近 30 天 8 条共收录 466 条
更新
精选归档 · 第 4 页
Hugging Face Blog精选AI 评分6666
Hugging Face Blog精选AI 评分6262 Hugging Face 将流式数据集效率提升 100 倍
Hugging Face 改进 datasets 库的流式加载，load_dataset(streaming=True) 的启动请求最多减少 100 倍、数据文件解析快 10 倍、流式速度最多快 2 倍，256 并发 worker 下无崩溃。
推荐理由：原文给出流式加载的具体优化项与实测倍数，读者可据此判断大规模训练的数据读取成本能降到什么程度。
Hugging Face Blog精选AI 评分6262 LeRobot v0.4.0 发布：数据集 v3.0、PI0.5 与 GR00T N1.5 及硬件插件系统
Hugging Face 发布 LeRobot v0.4.0，为开源机器人学习带来 LeRobotDataset v3.0、PI0.5 与 GR00T N1.5 等 VLA 模型，以及硬件插件系统。
推荐理由：LeRobot v0.4.0 把数据集、仿真环境、VLA 策略与硬件插件整合进同一开源栈，读者可据此判断机器人学习工具链的成熟度。
Hugging Face Blog精选AI 评分6060 NVIDIA 发布 600 万多语言推理数据集 Nemotron Post-Training Dataset V2
NVIDIA 发布 Nemotron Post-Training Dataset V2，将英文推理数据翻译为法语、西班牙语、德语、意大利语和日语五种语言，规模约 600 万条。
推荐理由：NVIDIA 公开了多语言推理数据集的构建流程与过滤细节，可据此判断合成后训练数据的翻译质量风险。
Hugging Face Blog精选AI 评分6262 Hugging Face 发布 AI Sheets：用开放模型处理数据集的无代码工具
Hugging Face 发布开源无代码工具 AI Sheets，可在类电子表格界面中通过提示词新建列，用开放模型构建、转换和增强数据集。工具支持从 Hub 调用数千个开放模型或本地模型，也可从自然语言描述直接生成数据集，导入支持 XLS、TSV、CSV、Parquet，单次最多 1000 行。
推荐理由：Hugging Face 官方开源的无代码表格工具，读者可了解如何用开放模型批量构建与增强数据集。
Hugging Face Blog精选AI 评分6262 Hugging Face 发布轻量实验追踪库 Trackio
Hugging Face 发布开源免费的实验追踪 Python 库 Trackio，提供本地 Gradio 仪表盘并支持同步到 Hugging Face Spaces 分享。
推荐理由：Hugging Face 官方开源实验追踪库，兼容 wandb API 且可同步到 Spaces 分享，读者可据此判断迁移成本。
Hugging Face Blog精选AI 评分6060 Numina 与 Kimi 团队发布 Kimina-Prover-72B 定理证明模型
Numina 与 Kimi 团队发布基于 Qwen2.5-72B、采用 Kimi k1.5 RL 流程训练的定理证明模型 Kimina-Prover-72B，同时开源基于 Qwen3-8B 和 Qwen3-1.7B 的两个蒸馏版本。
推荐理由：原文给出 Kimina-Prover 系列在 miniF2F 上的成绩与 TTRL 搜索、错误修复两项方法细节，可据此了解形式化定理证明的当前进展。
Hugging Face Blog精选AI 评分6262 Hugging Face 发布 SmolLM3：3B 多语言长上下文推理模型
Hugging Face 发布 SmolLM3，一个完全开源的 3B 模型，在 11T token 上训练，支持 6 种语言和最长 128k 上下文，并提供 think / no_think 双模式推理。
推荐理由：Hugging Face 公开了 3B 模型的完整训练配方与数据配比，读者可据此复现或改进同规模模型。
Hugging Face Blog精选AI 评分6262 如何在消费级硬件上用 QLoRA 微调 FLUX.1-dev
Hugging Face 发布教程，介绍用 diffusers 库和 QLoRA 在单张 GPU 上微调 FLUX.1-dev，峰值显存约 10GB 以下。在 RTX 4090 上，QLoRA 峰值显存约 9GB，标准 BF16 LoRA 需 26GB，700 步训练约 41 分钟。
推荐理由：原文给出在单张消费级 GPU 上微调 FLUX.1-dev 的完整配置与显存对比，可据此复现低显存训练流程。
Hugging Face Blog精选AI 评分6262 Falcon-H1 发布 0.5B 至 34B 混合架构开源模型系列
Falcon-H1 系列发布六个开源模型，参数规模从 0.5B 到 34B，每个尺寸均提供 base 与 instruct 版本，采用 Apache 2.0 许可。
推荐理由：Falcon-H1 用注意力与 SSM 并行混合架构覆盖 0.5B 到 34B 六个尺寸，可对照其长上下文吞吐与同尺寸 Transformer 模型的取舍。
Hugging Face Blog精选AI 评分6262 ServiceNow 开源 PipelineRL：用 inflight 权重更新兼顾推理吞吐与 on-policy 训练
ServiceNow 开源实验性 RL 实现 PipelineRL，核心是在 RL 训练中做 inflight 权重更新，推理不中断即可接收新权重，从而维持高推理吞吐并减少 rollout 权重与最新模型权重之间的滞后。
推荐理由：原文给出开源仓库与训练契约设计，读者可据此判断大规模 RL 训练中吞吐与 on-policy 数据如何兼顾。
Hugging Face Blog精选AI 评分6262 Open R1 更新第三期：发布 CodeForces-CoTs 数据集、IOI 基准与 OlympicCoder 模型
Hugging Face 的 Open R1 项目发布第三期更新，公开了约 10 万条由 DeepSeek-R1 蒸馏的 CodeForces-CoTs 数据集、基于 2024 国际信息学奥林匹克（IOI）的 IOI 基准，以及微调 Qwen2.5 Coder Instruct 7B 和 32B 得到的 OlympicCoder-7B 与 OlympicCoder-32B。
推荐理由：Open R1 复现计划公开了数据集、基准与 7B/32B 模型，并给出五条蒸馏训练经验，可迁移到自建推理模型。
Hugging Face Blog精选AI 评分7676 Hugging Face 与 Yaak 发布 L2D 开源自动驾驶数据集
Hugging Face 的 LeRobot 团队与 Yaak 联合发布 L2D，称其为全球最大的开源自动驾驶数据集，R4 版本包含 100 万条 episode、5000+ 小时驾驶数据、90+ TB 规模，来自德国 30 座城市 60 辆驾校车辆的 6 路环视摄像头与车辆状态数据。
推荐理由：L2D 以 90TB 多模态驾驶数据接入 LeRobot 训练管线，可对比现有开源自驾数据集在规模与动作标注上的差异。
Hugging Face Blog精选AI 评分7272 Open R1 项目发布 OpenR1-Math-220k 数学推理数据集
Open R1 项目发布首个大规模数学推理数据集 OpenR1-Math-220k，用 DeepSeek R1 为 NuminaMath 1.5 的 40 万道题各生成两个解答，经 Math Verify 与 Llama3.3-70B-Instruct 双重过滤后保留 22 万道有正确推理轨迹的题目。
推荐理由：Open R1 项目公开了 22 万条数学推理数据集的构建流程与蒸馏对比结果，可了解复现 R1 训练管线的具体做法。
Hugging Face Blog精选AI 评分6666 Open-R1 更新：复现 DeepSeek-R1 评测与训练管线进展
Hugging Face 的 Open-R1 项目发布首周进展，在 MATH-500 上复现了 DeepSeek-R1 蒸馏系列模型的评测分数，例如 DeepSeek-R1-Distill-Qwen-32B 得 95.0、DeepSeek-R1-Distill-Llama-70B 得 93.4。
推荐理由：Open-R1 一周内复现了 DeepSeek-R1 蒸馏模型的 MATH-500 评测分数，并公开了合成数据生成与 GRPO 训练的工程细节。
Hugging Face Blog精选AI 评分6262 Mini-R1：用 GRPO 和 Countdown Game 复现 DeepSeek R1 的 aha moment
这篇教程用 GRPO 和 Countdown Game 复现 DeepSeek R1 的 aha moment，基于 Qwen2.5-3B-Instruct 在 4x H100 上训练，450 步后解题成功率达 50%。
推荐理由：完整复现流程与训练观察记录，可看到小模型在 RL 下从文字推理转向程序化求解的过程。
Hugging Face Blog精选AI 评分6262 Hugging Face 启动 Open-R1 项目，完整开源复现 DeepSeek-R1
Hugging Face 发布 Open-R1 项目，计划系统重建 DeepSeek-R1 的数据与训练流程，补齐官方未公开的数据集和训练代码。
推荐理由：Hugging Face 公开了复现 DeepSeek-R1 数据与训练流程的三步计划，读者可据此了解开源推理模型缺哪几块拼图。
Hugging Face Blog精选AI 评分6262 Hugging Face 发布静态嵌入模型，CPU 推理快 100 至 400 倍
Hugging Face 发布两个静态嵌入模型 static-retrieval-mrl-en-v1 和 static-similarity-mrl-multilingual-v1，在 CPU 上比 all-mpnet-base-v2、multilingual-e5-small 等常见模型快 100 至 400 倍，同时保留至少 85% 的性能。
推荐理由：原文给出静态嵌入模型的训练配方与两个已发布模型，读者可据此判断低算力场景下嵌入推理的可行边界。
Hugging Face Blog精选AI 评分6262 如何在 PyTorch 中可视化并理解 GPU 显存占用
Hugging Face 博客发布教程，介绍用 torch.cuda.memory._record_memory_history 记录显存快照、导出 profile.pkl 并在 pytorch.org/memory_viz 可视化，逐步拆解模型创建、前向、反向和优化器各阶段的显存变化。
推荐理由：原文给出 PyTorch 显存快照的可视化步骤与显存估算公式，读者可据此定位训练中的显存峰值来源。
Hugging Face Blog精选AI 评分7373 Answer.AI 与 LightOn 发布 ModernBERT，替代 BERT 的编码器模型
Answer.AI 与 LightOn 发布 ModernBERT，一个仅编码器模型系列，提供 base（149M 参数）和 large（395M 参数）两个版本，支持 8192 token 上下文，可作 BERT 类模型的直接替换。
推荐理由：ModernBERT 以 8k 上下文和更快推理替换 BERT 类编码器，读者可据此判断 RAG 与代码检索的升级空间。