跳到正文
11月3日周四
  1. Hugging Face Blog62

    用 Transformers 微调 Whisper 实现多语言 ASR

    Hugging Face 发布教程,介绍如何用 Transformers 在任意多语言 ASR 数据集上微调 Whisper,涵盖 Common Voice 数据准备、特征提取器与 tokenizer 配置、训练评估及 Gradio 演示的完整代码。

    推荐理由:原文给出用 Transformers 微调 Whisper 的完整代码流程,并附 8 小时数据把 WER 从 63.5% 降到 32.0% 的实测结果。

9月28日周三
  1. OpenAI News78

    OpenAI 宣布 DALL·E 取消等待名单

    OpenAI 宣布 DALL·E 不再需要等待名单,新用户可以直接开始创作。OpenAI 表示,部署中积累的经验以及对安全系统的改进使更广泛的开放成为可能。

    推荐理由:OpenAI 取消 DALL·E 等待名单,读者可了解其安全系统改进后开放范围的变化。

9月21日周三
8月31日周三
8月24日周三
8月10日周三
7月20日周三
  1. OpenAI News85

    OpenAI 开放 DALL·E 测试版,将邀请 100 万候补用户

    OpenAI 宣布 DALL·E 进入测试版,将在未来几周从候补名单中邀请 100 万人使用。用户可用每月重置的免费额度生成图像,也可按 115 次生成 15 美元的价格购买额外额度。

    推荐理由:官方公布 DALL·E 测试版开放节奏与免费额度、付费增量,可据此了解早期图像生成产品的定价方式。

7月18日周一
7月14日周四
  1. OpenAI News62

    OpenAI 公布 DALL·E 2 研究预览进展

    OpenAI 公布 DALL·E 2 研究预览进展,来自 118 个以上国家的 3000 多名艺术家已将 DALL·E 纳入自己的创作流程。OpenAI 表示,早期访问组的艺术家帮助发现了 DALL·E 的新用途,并在其决定 DALL·E 功能时提供了关键意见。

    推荐理由:官方披露 DALL·E 2 研究预览的艺术家使用规模,可了解早期创作者如何把它接入创作流程。

6月28日周二
6月23日周四
  1. OpenAI News74

    OpenAI 用视频预训练让神经网络学会玩 Minecraft

    OpenAI 训练神经网络通过 Video PreTraining(VPT)在大量无标注的人类 Minecraft 游玩视频上学习,仅使用少量标注承包商数据。经微调后,模型能学会制作钻石工具,这一任务通常需要熟练人类花费 20 分钟以上、约 24000 次操作。模型使用键盘按键和鼠标移动这类原生人类交互接口,具有较强通用性,是迈向通用计算机操作智能体的一步。

    推荐理由:OpenAI 用大量无标注游戏视频预训练网络,仅少量标注数据微调即可完成钻石工具制作,为通用计算机操作智能体提供了一条路径。

6月13日周一
  1. OpenAI News62

    OpenAI 训练批评写作模型帮助人类发现摘要缺陷

    OpenAI 训练了批评写作模型,用于描述摘要中的缺陷。人类评估者在看到模型批评后,发现摘要缺陷的频率明显提高。研究还发现,模型规模越大自我批评能力越强,规模对批评写作的提升大于对摘要写作的提升。

    推荐理由:OpenAI 训练批评写作模型辅助人类发现摘要缺陷,为 AI 监督 AI 提供了一种可参考的思路。

6月9日周四
6月2日周四
5月24日周二
5月18日周三
5月5日周四
4月13日周三
3月15日周二
3月3日周四
2月2日周三
1月27日周四
  1. OpenAI News80

    OpenAI 发布 InstructGPT,成为 API 默认语言模型

    OpenAI 训练出比 GPT-3 更能遵循用户意图的语言模型 InstructGPT,同时更真实、毒性更低,采用其对齐研究中的技术并引入人类参与训练。这些模型现已作为 OpenAI API 的默认语言模型部署。

    推荐理由:OpenAI 官方说明 InstructGPT 的指令跟随与对齐改进,并交代其已成为 API 默认模型。

1月25日周二
12月16日周四
12月14日周二
11月30日周二
11月18日周四
  1. OpenAI News62

    OpenAI API 取消等待名单,全面开放

    OpenAI 宣布其 API 不再需要等待名单即可使用,官方称更广泛的开放得益于安全方面的进展。

    推荐理由:OpenAI 官方宣布 API 取消等待名单,读者可据此了解其开放范围与安全进展的关系。

10月29日周五
  1. OpenAI News62

    OpenAI 训练系统求解小学数学应用题,准确率约为微调 GPT-3 的两倍

    OpenAI 训练了一个求解小学数学应用题的模型,准确率接近微调 GPT-3 模型的两倍。在自建数据集的同一批题目上,该系统的正确率为 55%,而 9-12 岁儿童小样本的正确率为 60%,即解题量约为这些孩子的 90%。

    推荐理由:OpenAI 用自建小学数学数据集对比微调 GPT-3,给出模型与 9-12 岁儿童在同一批题目上的准确率差距。

10月13日周三
  1. Hugging Face Blog22

    用遥感(卫星)图像和描述微调 CLIP

    一个跨 12 个时区的团队用 RSICD、UCM 和 Sydney 三个遥感数据集微调了 OpenAI 的 CLIP,让模型能按文本描述检索卫星图像。训练采用对比学习,并用 Torchvision 图像增强和 Marian MT 回译文本增强抑制过拟合,评估显示增强后过拟合明显下降。模型已开放下载,并提供在线 demo。

9月23日周四
9月8日周三
8月10日周二
7月28日周三
6月10日周四
5月10日周一
5月3日周一
3月25日周四
3月4日周四
  1. OpenAI News60

    OpenAI 在 CLIP 中发现多模态神经元

    OpenAI 在 CLIP 中发现一类神经元,无论概念以字面、符号还是概念形式呈现都会产生响应。这可能解释 CLIP 在分类出人意料的视觉变体时仍保持准确的原因,也是理解 CLIP 及类似模型所学关联与偏见的重要一步。

    推荐理由:OpenAI 公开 CLIP 中跨字面、符号与概念形式响应同一概念的多模态神经元发现,有助于理解模型的关联与偏见来源。

1月25日周一