跳到正文

技术方向

数据与训练 最新动态

训练侧的门道:数据集构建、合成数据、预训练与后训练方法、算力与训练成本。

133 条精选近 30 天 8 条共收录 464 条

更新

精选归档 · 第 2 页

7月9日周四第 21–40 条
  1. Google Research62

    Google 发布 SensorFM:面向可穿戴健康数据的通用基础模型

    Google Research 发布 SensorFM,一个从无标注可穿戴数据中学习的大型传感器基础模型,预训练语料来自五百万名同意参与者、超过一万亿分钟的多模态传感器信号,覆盖 100 多个国家、50 个美国州和 20 多种 Fitbit 与 Pixel Watch 设备。

    推荐理由:Google 用五百万人的万亿分钟可穿戴数据预训练通用生理表征,读者可了解基础模型在健康信号上的规模化路径。

7月7日周二
  1. Hugging Face Blog76

    LeRobot v0.6.0 发布:世界模型策略、奖励模型与部署 CLI

    Hugging Face 发布 LeRobot v0.6.0,围绕机器人学习闭环引入世界模型策略(VLA-JEPA、FastWAM、LingBot-VA)、新一批 VLA(GR00T N1.7、MolmoAct2、EO-1、EVO1、Multitask DiT)以及统一奖励模型 API(Robometer、TOPReward)。

    推荐理由:LeRobot v0.6.0 把世界模型策略、奖励模型与部署 CLI 串成闭环,读者可据此了解开源机器人学习栈的当前形态。

7月2日周四
  1. Mistral AI71

    Mistral 发布 Leanstral 1.5 形式化验证模型

    Mistral 发布 Leanstral 1.5,采用 Apache-2.0 许可,119B 总参数、6B 激活参数,在形式化验证上大幅升级:miniF2F 达到 100%,PutnamBench 解出 587/672 题,FATE-H 87%、FATE-X 34% 均为新 SOTA。

    推荐理由:官方给出 Leanstral 1.5 在形式化验证基准上的成绩与成本对比,可据此判断开源证明模型的实用边界。

6月30日周二
  1. Google Research76

    Google 发布 TabFM 零样本表格数据基础模型

    Google Research 发布 TabFM,一个面向表格数据分类与回归的零样本基础模型,将表格预测重构为上下文学习问题,无需手动训练、超参数调优和特征工程,单次前向传播即可对未见过的表格生成预测。

    推荐理由:原文给出零样本表格预测的架构设计与 TabArena 基准对比,可据此判断它能否替代传统树模型流程。

6月25日周四
  1. Hugging Face Blog60

    NVIDIA NeMo AutoModel 发布,MoE 微调吞吐提升 3.4-3.7 倍

    NVIDIA 发布开源库 NeMo AutoModel,在 HuggingFace Transformers v5 之上加入 Expert Parallelism、DeepEP 融合 all-to-all 调度和 TransformerEngine 内核,微调 MoE 模型时训练吞吐提升 3.4-3.7 倍、GPU 显存减少 29-32%。

    推荐理由:原文给出同一 from_pretrained() API 下的吞吐与显存对比数据,读者可据此判断 MoE 微调的迁移成本。

6月18日周四
6月8日周一
  1. Google DeepMind62

    Google DeepMind 在塞拉利昂开展 AI 学习试验并发布教师培训指南

    Google DeepMind 公布在塞拉利昂开展的预注册试验结果,使用 Guided Learning 的学生数学成绩比对照组提升 0.258 个标准差,约相当于 1.2 至 1.7 年的常规学习进度,八周内完成。

    推荐理由:原文给出塞拉利昂预注册试验的量化结果与教师主导设计,可了解 AI 辅助教学在真实课堂中的效果边界。

6月5日周五
  1. Google Research71

    Google 研究用手机前摄实现被动心率监测

    Google Research 在 Nature 发表 PHRM 研究系统,利用手机前摄在面部解锁后拍摄视频,在后台被动估算心率和静息心率。该系统与 ECG 对比的 MAPE 低于 10%,每日 RHR 与 Fitbit Charge 6 对比的 MAE 为 4.39 bpm,并在浅、中、深三种肤色分组中均达到预设的非劣效标准。

    推荐理由:Google 用手机前摄在解锁后被动测心率,论文给出跨肤色误差与可申请的数据和模型资源。

5月27日周三
  1. Mistral AI60

    Mistral 推出物理 AI,将 Emmi AI 并入企业平台

    Mistral 宣布将 Emmi AI 并入公司,推出面向工业工程的物理 AI 能力,作为其企业解决方案中的新基础能力。该能力从几何与边界条件直接预测物理场,单次前向推理在单张 GPU 上以秒级完成,用于加速产品设计、工装工艺设计和实时数字孪生,合作方包括 ASML、Airbus、Safran 和 Siemens Energy。

    推荐理由:Mistral 把物理仿真 AI 纳入企业平台,读者可据此判断工业设计流程的算力与迭代节奏会如何变化。

  2. Hugging Face Blog75

    Hugging Face 在 TRL 中实现增量权重同步,用 Hub Bucket 传输万亿参数模型

    Hugging Face 在 TRL 中落地增量权重同步(Delta Weight Sync):只把 RL 优化器步之间真正变化的 bf16 权重编码成稀疏 safetensors 文件上传到 Hub Bucket,再由 vLLM 拉取应用。

    推荐理由:TRL 把稀疏增量权重同步做成了可 pip 安装的实现,读者可据此判断跨机房异步 RL 训练的部署成本。

5月20日周三
5月19日周二
  1. Google DeepMind62

    Google DeepMind 用 Co-Scientist 加速细胞衰老逆转的基因线索发现

    Google DeepMind 介绍其 Co-Scientist 正被用于细胞衰老逆转研究,帮助生物学家 Omar Abudayyeh 和 Jonathan Gootenberg 的实验室筛选基因通路。Co-Scientist 扫描数万篇论文后提出 20 多个新的候选基因因子,实验室测试验证了其中几个假设,成功让细胞进入更年轻状态并改善整体功能。它还能将原本需要长达六个月的筛选数据分析缩短到几天。

    推荐理由:原文给出 Co-Scientist 在衰老研究中的具体产出与耗时对比,可了解 AI 智能体参与科研假设生成的实际方式。

5月17日周日
5月16日周六
  1. Google DeepMind60

    斯坦福团队用 Co-Scientist 筛选抗肝纤维化药物

    斯坦福大学医学院遗传学家 Gary Peltz 团队在《Advanced Science》发表研究,用 Google DeepMind 的 Co-Scientist 从已有药物文献中筛选可重定位治疗肝纤维化的候选药。

    推荐理由:斯坦福团队用 Co-Scientist 筛选抗纤维化药物,实验显示其候选药物表现优于研究者自选,可了解 AI 辅助药物重定位的实际验证方式。

  2. Google DeepMind71

    WeatherNext 如何帮助美国国家飓风中心预测飓风 Melissa 登陆牙买加

    Google DeepMind 与 Google Research 的 AI 天气模型 WeatherNext 帮助美国国家飓风中心提前五天以 80% 置信度预测飓风 Melissa 将以五级强度登陆牙买加,三日前置信度接近 100%。

    推荐理由:原文给出AI气象模型在真实飓风预警中的提前量与置信度数据,可观察AI预报在业务决策中的实际位置。

4月29日周三
  1. Hugging Face Blog62

    Granite 4.1 LLM 是如何构建的:IBM 公开预训练、SFT 与强化学习全流程

    IBM Granite 团队发布技术文章,详解 Granite 4.1 系列(3B、8B、30B 稠密 decoder-only 模型)的构建流程:约 15T token 五阶段预训练、上下文扩展至 512K、约 4.1M 高质量样本的 SFT,以及基于 on-policy GRPO 与 DAPO loss 的多阶段强化学习。

    推荐理由:Granite 团队公开了从数据配比到多阶段 RL 的完整训练细节,可对照其 8B 稠密模型追平 32B MoE 的取舍。

4月22日周三
3月31日周二
  1. Hugging Face Blog62

    Hugging Face 发布 TRL v1.0 后训练库

    Hugging Face 发布 TRL v1.0,将这一原本的研究代码库正式定位为有稳定性承诺的后训练库,目前实现超过 75 种后训练方法,月下载量 300 万次。

    推荐理由:TRL v1.0 把稳定核心与实验层分开,并给出与同类后训练库的横向对比,便于判断选型与迁移成本。

3月25日周三
  1. Google Research62

    Google 发布 TurboQuant 等向量量化算法,将 KV cache 压缩至 3 bit

    Google Research 提出 TurboQuant 压缩算法,并配套 QJL 和 PolarQuant 两种方法,用于解决向量量化中的内存开销问题,相关论文将分别在 ICLR 2026 和 AISTATS 2026 发表。

    推荐理由:Google 提出 TurboQuant 等三种向量量化算法,可在不损失精度的前提下把 KV cache 压到 3 bit,并给出与基线的对比数据。

3月21日周六
  1. Hugging Face Blog62

    如何在一天内构建领域专用嵌入模型

    NVIDIA 发布一套基于 NeMo 的嵌入模型微调流程,用单张 GPU 和不到一天时间把通用嵌入模型改造成领域专用模型,无需人工标注。流程包含用 LLM 从领域文档生成合成问答对、挖掘难负样本、多跳问题展开、对比学习微调、BEIR 评测以及导出为 ONNX/TensorRT 并用 NVIDIA NIM 部署六步。

    推荐理由:原文给出从文档到部署的六步嵌入模型微调流程与实测指标,可迁移到自有领域语料。