OpenAI 用 GPT-4 训练 CriticGPT 以发现 GPT-4 的错误
OpenAI 推出基于 GPT-4 的 CriticGPT，用于对 ChatGPT 的回答撰写批评意见，帮助人类训练师在 RLHF 过程中发现错误。
#模型发布
OpenAI NewsAI 评分4242 Hugging Face Blog精选AI 评分7878 Google 发布开源模型 Gemma 2，含 9B 与 27B 两个版本
Google 发布开源大模型 Gemma 2，提供 9B 和 27B 两个参数规模，各有预训练基础版与指令微调版，上下文长度 8K tokens，采用与初代相同的宽松许可，允许再分发、微调和商用。
推荐理由：原文给出 Gemma 2 的两种参数规模、训练数据量与评测对比，可据此判断开源小模型的能力位置。
Hugging Face BlogAI 评分2222 XLSCOUT 推出 ParaEmbed 2.0：面向专利与 IP 的嵌入模型，获 Hugging Face 专家支持
XLSCOUT 发布专有嵌入模型 ParaEmbed 2.0，基于 Hugging Face 专家支持计划合作，在多领域专利数据上微调，准确率较 2023 年 10 月发布的 ParaEmbed 1.0 提升 23%。该模型用于专利撰写、无效检索和新颖性比对，借助 Hugging Face Inference Endpoints 与 TEI，嵌入吞吐从约 300 个/秒提升至约 2700 个/秒。
Mistral AI精选AI 评分7171 Mistral 发布首款代码模型 Codestral
Mistral 发布首款代码模型 Codestral，22B 开放权重，支持 80+ 编程语言，上下文窗口 32k，采用 fill-in-the-middle 机制补全代码和写测试。
推荐理由：Mistral 首款代码模型给出 22B 参数、32k 上下文与 80+ 语言支持，并附免费 API 与主流 IDE 集成入口。
Hugging Face Blog精选AI 评分6262 TII 发布 Falcon 2 11B 语言模型与视觉语言模型
TII 发布第二代 Falcon 2 模型，包括 11B 基座语言模型和具备图像理解能力的 11B VLM，训练数据超过 5000B tokens，覆盖英语及另外十种语言。
推荐理由：原文给出 Falcon 2 11B 的架构、训练数据与评测对比，可据此判断小尺寸开源模型与多模态路线的取舍。
Hugging Face Blog精选AI 评分6262 Google 发布开源视觉语言模型 PaliGemma
Google 发布视觉语言模型家族 PaliGemma，由 SigLIP-So400m 图像编码器和 Gemma-2B 文本解码器组成，可输入图像与文本并输出文本。
推荐理由：Google 开源视觉语言模型 PaliGemma 的完整发布说明，含架构、三种 checkpoint 与微调路径，便于判断适用场景。
OpenAI News精选AI 评分8282 OpenAI 发布新旗舰模型 GPT-4o
OpenAI 宣布推出新旗舰模型 GPT-4 Omni（GPT-4o），可在音频、视觉和文本之间进行实时推理。
推荐理由：OpenAI 官方发布新旗舰模型，读者可据此了解其在音频、视觉与文本上的实时推理定位。
OpenAI News精选AI 评分8585 OpenAI 发布 GPT-4o，并向 ChatGPT 免费用户开放更多工具
OpenAI 发布最新旗舰模型 GPT-4o，同时把更多能力开放给 ChatGPT 免费用户。官方称此次发布包含新模型以及面向免费用户的功能扩展，具体能力与开放范围尚未在摘要中展开。
推荐理由：OpenAI 发布新旗舰模型 GPT-4o，并首次把更多能力开放给 ChatGPT 免费用户。
OpenAI News精选AI 评分8282 OpenAI 发布 GPT-4o，ChatGPT 免费开放更多能力
OpenAI 发布 GPT-4o，并在 ChatGPT 中向免费用户开放更多能力。官方称此次更新同时涉及新模型与免费层的能力范围。
推荐理由：OpenAI 官方发布 GPT-4o，并说明 ChatGPT 免费层将获得更多能力，可据此了解其模型与免费策略的同步变化。
Hugging Face Blog精选AI 评分6262 StarCoder2-15B-Instruct 发布：全透明自对齐代码生成模型
Hugging Face 发布 StarCoder2-15B-Instruct-v0.1，这是首个完全自对齐、全透明且许可宽松的代码大语言模型，无需人工标注或从 GPT-4 等专有模型蒸馏数据。
推荐理由：StarCoder2-15B-Instruct 用自生成数据完成指令微调，其开源流程与评测对比可供代码模型训练参考。
Hugging Face Blog精选AI 评分8585 Meta 发布 Llama 3 开源大模型，Hugging Face 同步集成
Meta 发布 Llama 3 系列开源大模型，包含 8B 和 70B 两个尺寸，各有基础版和指令微调版，并推出基于 Llama 3 8B 微调的安全模型 Llama Guard 2。
推荐理由：Meta 发布 Llama 3 并同步落地 Hugging Face 生态，读者可据此了解新分词器、GQA 与 8K 上下文带来的变化。
Mistral AI精选AI 评分8282 Mistral 发布开源模型 Mixtral 8x22B
Mistral 发布开源模型 Mixtral 8x22B，采用稀疏 MoE 架构，141B 总参数中仅 39B 激活参数，以 Apache 2.0 许可开放。该模型支持英语、法语、意大利语、德语和西班牙语，具备数学与编码能力，原生支持函数调用，上下文窗口为 64K tokens。
推荐理由：Mixtral 8x22B 以 39B 激活参数和 Apache 2.0 许可发布，读者可据此判断开源模型的性能与成本取舍。
Hugging Face Blog精选AI 评分6262 Hugging Face 发布 8B 多模态模型 Idefics2
Hugging Face 发布 Idefics2，一个 8B 参数、Apache 2.0 许可的多模态模型，可接受任意文本与图像序列输入并生成文本回复，支持图像问答、文档信息抽取和基础算术。
推荐理由：8B 参数、Apache 2.0 许可并同步放出多模态指令微调数据集，读者可据此判断开源多模态的可用起点。
Hugging Face Blog精选AI 评分6262 Google 发布 CodeGemma 代码模型系列，含 2B 与 7B 三个版本
Google 发布 CodeGemma 代码专用模型系列，基于预训练的 2B 和 7B Gemma checkpoint 继续训练 5000 亿 token，包含 2B 基座、7B 基座和 7B instruct 三个开源版本，上下文均为 8K token。
推荐理由：CodeGemma 三个规格的定位、基准对比和 FIM 提示格式都写清了，可据此判断它适合哪类代码补全场景。
OpenAI NewsAI 评分4040 OpenAI 分享 Voice Engine 自定义语音模型小规模预览的经验
OpenAI 分享了 Voice Engine 小规模预览的经验教训，该模型可用于创建自定义语音。
Hugging Face Blog精选AI 评分7474 BigCode 发布 StarCoder2 系列代码模型与 The Stack v2 数据集
BigCode 发布 StarCoder2，这是新一代透明训练的开放代码大语言模型，包含 3B、7B、15B 三个参数规模，全部基于新的高质量代码数据集 The Stack v2 训练。
推荐理由：BigCode 同时放出三个尺寸的代码模型与配套数据集，读者可据此了解开源代码模型在参数规模与训练数据上的最新配置。
Mistral AI精选AI 评分8282 Mistral AI 发布旗舰模型 Mistral Large 与 Mistral Small
Mistral AI 发布旗舰文本生成模型 Mistral Large，通过 la Plateforme 和 Azure 提供，官方称其推理能力达到顶级水平，是 API 可用的全球第二强模型（仅次于 GPT-4）。
推荐理由：官方给出 Mistral Large 的基准对比与 Azure 分发路径，可据此判断其旗舰定位与多语言、函数调用能力。
Hugging Face Blog精选AI 评分7878 Google 发布开源大模型 Gemma，Hugging Face 全面接入
Google 发布开源大模型系列 Gemma，包含 2B 和 7B 两个尺寸，各有基础版和指令微调版，上下文长度 8K tokens，可运行在消费级硬件上。Hugging Face 宣布全面支持，提供 Transformers 集成、Google Cloud 与 Inference Endpoints 部署，以及用 TRL 在单卡上微调的示例。
推荐理由：Google 开源 Gemma 系列并同步接入 Hugging Face 生态，读者可了解其规格、许可与部署路径。
Hugging Face BlogAI 评分5757 Hugging Face 发布 aMUSEd：高效非扩散文生图模型
Hugging Face 发布 aMUSEd，一个基于掩码图像建模（MIM）的非扩散文生图模型，是对 Google MUSE 的开源复现，采用宽松许可证并以研究预览形式发布。
Mistral AI精选AI 评分8888 Mistral AI 发布开源稀疏 MoE 模型 Mixtral 8x7B
Mistral AI 发布 Mixtral 8x7B，一个采用 Apache 2.0 许可、开放权重的稀疏混合专家模型，在多数基准上超过 Llama 2 70B，推理速度快 6 倍，并在多数标准基准上追平或超过 GPT3.5。
推荐理由：官方给出稀疏 MoE 架构的参数量与推理成本对比，可据此判断开源模型在性价比上的位置。
OpenAI News精选AI 评分9292 OpenAI 在 DevDay 发布 GPT-4 Turbo 等新模型与开发者产品
OpenAI 在 DevDay 上发布 GPT-4 Turbo，支持 128K 上下文且价格更低，同时推出 GPT-4 Turbo with Vision。开发者产品方面新增 Assistants API，并开放 DALL·E 3 API。
推荐理由：OpenAI 在 DevDay 一次性公布模型与开发者产品更新，可据此了解其 API 能力与定价方向的变化。
Mistral AI精选AI 评分7878 Mistral AI 发布首个 7B 参数开源模型 Mistral 7B
Mistral AI 发布首个 7B 参数模型 Mistral 7B，采用 Apache 2.0 许可，称其在所有标准英文与代码基准上超过现有 13B 参数以下的开源模型。
推荐理由：Mistral AI 借首款开源模型发布同时交代了开源路线与商业部署计划，可看清其早期定位。
Mistral AI精选AI 评分7878 Mistral AI 发布 7.3B 参数开源模型 Mistral 7B
Mistral AI 发布 7.3B 参数的 Mistral 7B，称其在所有基准上超过 Llama 2 13B，并在多项基准上超过 Llama 1 34B，采用 Apache 2.0 许可可无限制使用。
推荐理由：Mistral 7B 以 7.3B 参数在多项基准上超过 Llama 2 13B，并采用 Apache 2.0 开源，读者可据此判断小模型的能力边界与部署成本。
Hugging Face Blog精选AI 评分6262 Hugging Face 发布 Würstchen：快速图像生成扩散模型
Hugging Face 发布 Würstchen 文本条件扩散模型，通过 Stage A 的 VQGAN 与 Stage B 的 Diffusion Autoencoder 两级压缩实现 42x 空间压缩，Stage C 在压缩潜空间中训练。
推荐理由：原文给出 42x 空间压缩与训练成本对比，读者可据此判断高效扩散模型在显存与算力上的取舍。
Hugging Face Blog精选AI 评分7878 TII 的 Falcon 180B 上线 Hugging Face
TII 发布 Falcon 180B 并上线 Hugging Face，模型有 1800 亿参数，在 3.5 万亿 token 的 RefinedWeb 数据上预训练，是当时最大的公开可用语言模型。
推荐理由：原文给出 Falcon 180B 的参数量、训练数据与评测对比，可据此判断开源大模型当时的规模上限。
Hugging Face Blog精选AI 评分7575 Hugging Face 发布 IDEFICS：Flamingo 的开源复现视觉语言模型
Hugging Face 发布开源视觉语言模型 IDEFICS，基于 DeepMind 未公开的 Flamingo 复现，仅使用公开数据和模型（LLaMA v1 与 OpenCLIP），提供 9B 和 80B 两个参数规模，各有基础版和指令微调版。
推荐理由：IDEFICS 用公开数据和模型复现了未开源的 Flamingo，读者可据此了解开源多模态模型当时的能力边界与训练数据构成。
Hugging Face Blog精选AI 评分6060 Segmind 开源 SD-Small 与 SD-Tiny 知识蒸馏代码和权重
Segmind 开源了压缩版 Stable Diffusion 模型 SD-Small 和 SD-Tiny 的权重与蒸馏训练代码，两者参数量分别比基础模型少 35% 和 55%，同时保持接近的图像保真度。
推荐理由：Segmind 开源了 SD-Small 与 SD-Tiny 的蒸馏代码和权重，并给出参数量、加速比与使用方式，便于复现和二次微调。
Hugging Face Blog精选AI 评分8888 Meta 发布 Llama 2，Hugging Face 全面接入
Meta 发布开源大语言模型家族 Llama 2，包含 7B、13B、70B 三种规模的预训练与微调版本，采用允许商用的社区许可。Hugging Face 同步完成集成，提供模型卡、transformers 支持、Text Generation Inference 与 Inference Endpoints 部署，并给出用 PEFT 在单张 GPU 上微调 7B 版本的示例。
推荐理由：Meta 开源 Llama 2 并同步接入 Hugging Face 生态，读者可了解其许可、规模与推理微调路径。
Hugging Face Blog精选AI 评分7878 Falcon 模型家族落地 Hugging Face 生态
阿布扎比 TII 发布 Apache 2.0 许可的 Falcon 语言模型家族，包含 Falcon-40B 和 Falcon-7B 两个基础模型及对应 Instruct 版本。
推荐理由：梳理 Falcon 系列在 Hugging Face 生态中的推理、量化与微调路径，可了解开源大模型的落地方式。
Hugging Face Blog精选AI 评分7878 BigCode 发布 StarCoder 代码大模型
BigCode 发布 StarCoder 与 StarCoderBase 两个代码大模型，基于 GitHub 宽松许可数据训练，覆盖 80 多种编程语言，参数规模约 15B、训练 1 万亿 token。
推荐理由：BigCode 公开了 StarCoder 的权重、训练数据与评测结果，读者可据此判断开源代码模型当时的能力水位。
OpenAI News精选AI 评分9292 OpenAI 发布多模态大模型 GPT-4
OpenAI 发布 GPT-4，称其为扩展深度学习的最新里程碑。GPT-4 是一个大型多模态模型，接受图像和文本输入、输出文本，在多项专业和学术基准上达到人类水平表现，但在许多真实场景中能力仍不及人类。
推荐理由：OpenAI 官方公布 GPT-4 的模型定位与多模态输入能力，可据此了解其与人类基准表现的差距。
OpenAI News精选AI 评分9393 OpenAI 发布 GPT-4
OpenAI 发布 GPT-4，官方介绍其可在创意与技术写作任务中与用户生成、编辑和迭代内容，例如作曲、写剧本或学习用户的写作风格。
推荐理由：OpenAI 官方发布 GPT-4，读者可据此了解新模型在创意与技术写作上的生成、编辑和迭代能力。
Hugging Face Blog精选AI 评分6262 Kakao Brain 与 Hugging Face 发布 ViT 和 ALIGN 模型及 COYO 数据集
Kakao Brain 与 Hugging Face 联合发布开源图文数据集 COYO（7 亿图文对）以及基于该数据集训练的 ViT 和 ALIGN 视觉语言模型，这是 ALIGN 模型首次免费开源，也是 ViT 和 ALIGN 首次附带训练数据集发布。
推荐理由：Kakao Brain 开源了首个可复现的 ALIGN 模型及配套 7 亿图文对数据集，读者可据此了解开放数据对视觉语言模型复现的意义。
OpenAI News精选AI 评分6060 OpenAI 发布 Point-E：从复杂提示词生成 3D 点云的系统
OpenAI 发布 Point-E，一个可根据复杂提示词生成 3D 点云的系统。
OpenAI News精选AI 评分6262 OpenAI 发布新版嵌入向量模型
OpenAI 宣布推出新的嵌入向量模型，称其在能力上显著更强、成本更低且更易使用。官方未在摘要中给出模型名称、版本号或具体评测数据。
推荐理由：OpenAI 官方发布新版嵌入向量模型，仅给出更强、更便宜、更易用三点定位，可据此了解其嵌入模型线的更新方向。
OpenAI News精选AI 评分9999 OpenAI 发布对话式模型 ChatGPT
OpenAI 发布对话式模型 ChatGPT，以对话形式与用户交互。官方称该对话格式让 ChatGPT 能回答追问、承认自身错误、质疑错误前提并拒绝不当请求。
推荐理由：OpenAI 官方发布对话式模型 ChatGPT，读者可据此了解其对话交互定位与追问、纠错等能力。
Hugging Face BlogAI 评分3838 rinna 发布 Japanese Stable Diffusion：基于 Stable Diffusion 微调的日语文生图模型
rinna 推出日语专用文生图模型 Japanese Stable Diffusion，通过在约 1 亿张日语标注图像上微调 Stable Diffusion 实现，可理解日语特有词汇、拟声词与专有名词。
OpenAI News精选AI 评分7878 OpenAI 开源语音识别模型 Whisper
OpenAI 宣布训练并开源神经网络 Whisper，称其在英文语音识别上接近人类水平的鲁棒性与准确率。
推荐理由：OpenAI 开源语音识别模型 Whisper，读者可据此了解其在英文语音识别上的鲁棒性与准确率定位。
Hugging Face Blog精选AI 评分8282 Hugging Face 发布 176B 参数开源多语言模型 BLOOM
Hugging Face 发布 BLOOM，一个 176B 参数的多语言大语言模型，可生成 46 种自然语言和 13 种编程语言的文本，对西班牙语、法语、阿拉伯语等多数语言是首个超过 100B 参数的语言模型。
推荐理由：BLOOM 以 176B 参数覆盖 46 种自然语言并公开训练中间检查点，为研究大模型内部机制提供了少见的开放样本。
OpenAI News精选AI 评分6262 OpenAI 发布新版 GPT-3 与 Codex，支持编辑和插入内容
OpenAI 发布新版 GPT-3 和 Codex，可在已有文本中编辑或插入内容，而不再只是补全现有文本。
推荐理由：OpenAI 为 GPT-3 和 Codex 增加编辑与插入能力，读者可了解文本补全之外的新交互方式。