跳到正文

技术方向

数据与训练 最新动态

训练侧的门道:数据集构建、合成数据、预训练与后训练方法、算力与训练成本。

133 条精选近 30 天 8 条共收录 464 条

更新

精选归档 · 第 3 页

3月18日周三第 41–60 条
  1. Hugging Face Blog60

    Hugging Face 发布 2026 春季开源 AI 生态报告

    Hugging Face 发布 2026 春季开源生态报告,基于平台数据回顾过去一年变化:2025 年平台用户增至 1300 万、公开模型超 200 万、公开数据集超 50 万。报告称中国模型在月度与总下载量上超过美国,过去一年占下载量的 41%;机器人数据集从 2024 年的 1145 个增至 2025 年的 26991 个,成为平台上规模最大的数据集类别。

    推荐理由:Hugging Face 用平台数据勾勒开源 AI 一年变化,中国模型下载占比与机器人数据集增长是其中两条主线。

  2. Mistral AI60

    Mistral AI 推出企业级模型训练系统 Forge

    Mistral AI 推出 Forge,一套让企业基于自有专有知识构建前沿级 AI 模型的系统。Forge 支持预训练、后训练和强化学习等阶段,可训练模型理解内部术语、代码库与流程,并支持 dense 与 MoE 架构及多模态输入。该产品面向智能体优先设计,Mistral Vibe 等自主智能体可用其微调模型、寻找最优超参数、调度任务并生成合成数据,企业还能通过内部评测与强化学习持续改进模型。

    推荐理由:原文给出企业用自有数据训练前沿模型的产品定位与训练流程,可据此判断企业自建模型与智能体的落地路径。

3月17日周二
  1. Mistral AI60

    Mistral AI 加入 NVIDIA Nemotron Coalition,并发布 Mistral Small 4

    Mistral AI 宣布以创始成员身份加入 NVIDIA Nemotron Coalition,双方计划共同开发前沿开源 AI 模型,Mistral AI 贡献模型架构、多模态能力和微调工具,NVIDIA 提供算力、模型开发工具与合成数据生成管线。

    推荐理由:Mistral AI 以创始成员身份加入 NVIDIA Nemotron Coalition,并同步放出 Mistral Small 4,读者可据此判断开源前沿模型的合作分工与开放节奏。

3月12日周四
  1. Google Research62

    Google 推出 Groundsource:用 Gemini 将新闻报道转为灾害数据

    Google Research 推出 Groundsource,用 Gemini 从新闻报道中提取结构化灾害数据,首个开放数据集包含 260 万条城市山洪记录,覆盖 150 多个国家、时间跨度从 2000 年至今。

    推荐理由:Google 用 Gemini 从 80 种语言的新闻中抽取洪水事件,其准确率与覆盖范围可供评估 LLM 构建科学基准数据的可行性。

3月10日周二
3月9日周一
  1. Hugging Face Blog60

    Ulysses 序列并行:用百万 token 上下文训练大模型

    Hugging Face 发布教程,介绍源自 Snowflake AI Research 的 Ulysses 序列并行如何通过注意力头切分把长序列训练分布到多张 GPU,并已集成到 Accelerate、Transformers Trainer 和 TRL 的 SFTTrainer。

    推荐理由:原文给出 Ulysses 序列并行在 Hugging Face 生态的接入方式与实测数据,可据此判断长上下文训练的显存与吞吐取舍。

3月7日周六
  1. Google Research62

    Google Research 发布 WAXAL:覆盖 27 种非洲语言的大规模开放语音数据集

    Google Research 发布 WAXAL 大规模开放语音数据集,覆盖 27 种撒哈拉以南非洲语言、超过 1 亿使用者,采用 CC-BY-4.0 许可。数据集包含约 1,846 小时用于 ASR 的转写自然语音和超过 565 小时用于 TTS 的高保真录音,由非洲高校与社区组织主导采集,Google 提供方法指导。项目自 2021 年启动,Google 表示将持续扩充语言覆盖。

    推荐理由:Google Research 联合非洲高校发布 27 种语言的语音数据集,可了解低资源语言语音数据的采集方法与开放许可安排。

3月5日周四
2月26日周四
  1. Hugging Face Blog62

    Hugging Face 详解 transformers 中的 MoE 支持:权重加载重构、专家后端与专家并行

    Hugging Face 发布博客,介绍 transformers 库为支持 MoE 稀疏架构所做的工程改造,涵盖权重加载重构、专家后端与专家并行三部分。

    推荐理由:Hugging Face 官方拆解 transformers 为 MoE 重构的加载、后端与专家并行设计,并给出 v4 与 v5 的加载耗时对比。

2月20日周五
1月13日周二
  1. Google Research60

    NeuralGCM 用 AI 改进全球长期降水模拟

    Google Research 在 Science Advances 发表论文,介绍混合模型 NeuralGCM 直接以 2001 至 2018 年 NASA 卫星降水观测训练其机器学习部分,而非依赖再分析数据。

    推荐理由:原文给出 NeuralGCM 在降水模拟上的误差下降与极端降水改进,可对照传统参数化方案的局限。

12月11日周四
  1. OpenAI News82

    OpenAI 发布 GPT-5.2,面向科学与数学能力升级

    OpenAI 发布 GPT-5.2,称其为目前数学与科学能力最强的模型,在 GPQA Diamond 和 FrontierMath 等基准上刷新 SOTA。官方表示这些提升已转化为实际研究进展,包括解决一个开放理论问题并生成可靠的数学证明。

    推荐理由:OpenAI 官方给出 GPT-5.2 在数学与科学基准上的新结果,并说明这些提升如何落到实际研究进展中。

  2. Hugging Face Blog66

    Hugging Face 教程:用 Codex 和 HF Skills 端到端微调模型

    Hugging Face 发布教程,展示如何让 OpenAI Codex 通过 HF Skills 仓库完成端到端机器学习实验,包括数据校验、硬件选择、提交 Hugging Face Jobs 训练、监控进度、评测并生成训练报告。

    推荐理由:原文给出 Codex 调用 HF Skills 完成端到端微调的完整流程与成本区间,可据此判断智能体托管训练实验的可行边界。

12月5日周五
12月4日周四
12月3日周三
  1. OpenAI News62

    OpenAI 宣布收购 Neptune

    OpenAI 宣布收购 Neptune,以加深对模型行为的可见性,并强化研究人员用于追踪实验和监控训练的工具。官方说明未披露交易金额与其他细节。

    推荐理由:OpenAI 收购 Neptune 的官方说明,可了解其加强模型行为追踪与训练监控工具链的意图。

11月25日周二
11月17日周一
  1. Google DeepMind62

    Google DeepMind 发布天气预报模型 WeatherNext 2

    Google DeepMind 与 Google Research 发布天气预报模型 WeatherNext 2,称其生成预报速度比前代快 8 倍,分辨率最高可达 1 小时,并能在单个 TPU 上不到一分钟生成数百种可能天气情景。

    推荐理由:官方给出 8 倍生成速度、1 小时分辨率与 99.9% 变量超越前代等指标,可据此判断 AI 天气预报的可用性边界。