Meta 发布 Llama 3.1：8B、70B 与 405B，支持多语言和长上下文
Meta 发布 Llama 3.1 系列开源模型，包含 8B、70B、405B 三种规模，各有基础版和指令微调版，上下文长度从 8K 提升到 128K token，支持英语、德语、法语、意大利语、葡萄牙语、印地语、西班牙语和泰语 8 种语言。
推荐理由：Meta 发布 Llama 3.1 三档开源模型，128K 上下文与工具调用能力配合更宽松的许可证，读者可据此判断开源模型在合成数据与蒸馏上的可用边界。
技术方向
推理能力 最新动态
模型推理能力的进展：思维链、推理模型、数学与逻辑基准的突破与争议。
142 条精选近 30 天 23 条共收录 352 条
更新
精选归档 · 第 7 页
Hugging Face Blog精选AI 评分8888
Mistral AI精选AI 评分7272 Mistral 发布 Codestral Mamba 代码模型
Mistral 发布 Codestral Mamba，这是一个基于 Mamba 架构的代码模型，采用 Apache 2.0 许可，可免费使用、修改和分发。该模型为指令模型，参数量 7,285,403,648，具备线性时间推理能力，官方在最高 256k tokens 的上下文检索能力上做了测试。
推荐理由：Mistral 官方发布 Mamba 架构代码模型，给出参数量、上下文测试长度与部署方式，可对比 Transformer 路线的取舍。
Hugging Face Blog精选AI 评分6060 NuminaMath 如何赢得首届 AIMO 进步奖
Numina 与 Hugging Face 合作的 NuminaMath 7B TIR 赢得首届 AIMO 进步奖，在私有测试集 50 题中解出 29 题。方案基于 DeepSeekMath-Base 7B 两阶段微调，先做 CoT 数据训练，再用 GPT-4 生成的约 6 万个工具集成推理样本训练模型调用 Python REPL。
推荐理由：获胜方案完整公开了两阶段微调、SC-TIR 解码与内部验证集设计，可迁移到其他推理类竞赛或微调任务。
Hugging Face Blog精选AI 评分8585 Meta 发布 Llama 3 开源大模型，Hugging Face 同步集成
Meta 发布 Llama 3 系列开源大模型，包含 8B 和 70B 两个尺寸，各有基础版和指令微调版，并推出基于 Llama 3 8B 微调的安全模型 Llama Guard 2。
推荐理由：Meta 发布 Llama 3 并同步落地 Hugging Face 生态，读者可据此了解新分词器、GQA 与 8K 上下文带来的变化。
Mistral AI精选AI 评分8282 Mistral 发布开源模型 Mixtral 8x22B
Mistral 发布开源模型 Mixtral 8x22B，采用稀疏 MoE 架构，141B 总参数中仅 39B 激活参数，以 Apache 2.0 许可开放。该模型支持英语、法语、意大利语、德语和西班牙语，具备数学与编码能力，原生支持函数调用，上下文窗口为 64K tokens。
推荐理由：Mixtral 8x22B 以 39B 激活参数和 Apache 2.0 许可发布，读者可据此判断开源模型的性能与成本取舍。
Anthropic News精选AI 评分9090 Anthropic 发布 Claude 3 模型家族，含 Haiku、Sonnet 和 Opus
Anthropic 发布 Claude 3 模型家族，按能力升序为 Claude 3 Haiku、Claude 3 Sonnet 和 Claude 3 Opus，Opus 与 Sonnet 即日起在 claude.ai 和 Claude API 上线，API 已在 159 个国家开放，Haiku 稍后推出。
推荐理由：官方给出三档模型的基准、定价与上下文窗口，可据此判断不同工作负载该选哪一档。
Mistral AI精选AI 评分8282 Mistral AI 发布旗舰模型 Mistral Large 与 Mistral Small
Mistral AI 发布旗舰文本生成模型 Mistral Large，通过 la Plateforme 和 Azure 提供，官方称其推理能力达到顶级水平，是 API 可用的全球第二强模型（仅次于 GPT-4）。
推荐理由：官方给出 Mistral Large 的基准对比与 Azure 分发路径，可据此判断其旗舰定位与多语言、函数调用能力。
Hugging Face Blog精选AI 评分6262 用投机解码让 Whisper 推理提速 2 倍
Hugging Face 博客介绍如何用投机解码将 Whisper 推理速度提升约 2 倍，且数学上保证输出与单独使用主模型完全一致。在 LibriSpeech 基准上，Whisper large-v2 的 73 个样本推理时间从 73 秒降至 33 秒，WER 保持 3.5%；荷兰语 VoxPopuli 上从 117 秒降至 62 秒，WER 保持 12.8%。
推荐理由：原文给出可复用的投机解码实现与基准数据，读者可据此在现有 Whisper 流程中获得约 2 倍加速。
Hugging Face Blog精选AI 评分6262 Hugging Face 发布 Optimum-NVIDIA，一行代码加速 LLM 推理
Hugging Face 发布 Optimum-NVIDIA 推理库，只需将 transformers 的 pipeline 导入改为 optimum.nvidia 一行代码，即可在 NVIDIA 平台获得最高 28 倍吞吐提升和 1200 tokens/秒，首 token 延迟最高降低 3.3 倍。
推荐理由：Hugging Face 与 NVIDIA 联合推出的推理库，用一行代码替换即可获得最高 28 倍吞吐提升，适合关注 LLM 部署成本的读者。
Mistral AI精选AI 评分7878 Mistral AI 发布 7.3B 参数开源模型 Mistral 7B
Mistral AI 发布 7.3B 参数的 Mistral 7B，称其在所有基准上超过 Llama 2 13B，并在多项基准上超过 Llama 1 34B，采用 Apache 2.0 许可可无限制使用。
推荐理由：Mistral 7B 以 7.3B 参数在多项基准上超过 Llama 2 13B，并采用 Apache 2.0 开源，读者可据此判断小模型的能力边界与部署成本。
Anthropic News精选AI 评分6262 Anthropic 发布 Claude 长上下文提示工程实验
Anthropic 发布针对 Claude 10 万 token 长上下文窗口的提示工程实验，测试两种提升长文档召回的方法：先抽取与问题相关的引用再作答，以及在提示中补充文档其他部分正确问答的示例。
推荐理由：Anthropic 用可复现实验量化了长上下文问答中引用摘录与示例提示的效果，方法可直接迁移到自家文档问答。
Anthropic News精选AI 评分6262 Anthropic 发布 Claude Instant 1.2
Anthropic 通过 API 发布 Claude Instant 1.2，这是其更快、更低价但仍具能力的模型版本，融合了 Claude 2 在真实场景中的优势，在数学、编码、推理和安全方面有明显提升。
推荐理由：官方给出 Claude Instant 1.2 在数学、编码与安全上的具体基准对比，可据此判断轻量模型的性价比变化。
Anthropic News精选AI 评分8585 Anthropic 发布 Claude 2，支持 100K token 上下文并开放 claude.ai 公测
Anthropic 发布新模型 Claude 2，可通过 API 使用，并在美国与英国上线 claude.ai 公开测试网站。Claude 2 在编码、数学和推理上较前代提升，Bar 考试多选题得分从 Claude 1.3 的 73.0% 升至 76.5%，Codex HumanEval 从 56.0% 升至 71.2%，GSM8k 从 85.2% 升至 88.0%。
推荐理由：官方给出 Claude 2 在 Bar、GRE、HumanEval 等基准上的具体分数与 100K token 上下文，便于对照前代判断能力提升幅度。
Hugging Face Blog精选AI 评分7878 Falcon 模型家族落地 Hugging Face 生态
阿布扎比 TII 发布 Apache 2.0 许可的 Falcon 语言模型家族，包含 Falcon-40B 和 Falcon-7B 两个基础模型及对应 Instruct 版本。
推荐理由：梳理 Falcon 系列在 Hugging Face 生态中的推理、量化与微调路径，可了解开源大模型的落地方式。
OpenAI News精选AI 评分6565 OpenAI 用过程监督提升数学推理能力
OpenAI 训练了一个模型，通过奖励每一步正确的推理过程（过程监督）而非只奖励最终正确答案（结果监督），在数学问题求解上取得新的 SOTA。相比结果监督，过程监督不仅提升了性能，还带来对齐收益：直接训练模型产出被人类认可的思维链。
推荐理由：OpenAI 用过程监督替代结果监督训练数学推理模型，读者可了解这一训练思路及其对齐收益。
Hugging Face Blog精选AI 评分6060 Hugging Face 将 RWKV 架构集成进 transformers 库
Hugging Face 官方博客宣布，结合 RNN 与 Transformer 优势的 RWKV 架构已集成进 transformers 库，可通过源码或主分支使用。
推荐理由：Hugging Face 官方博客介绍 RWKV 架构并入 transformers 库，读者可了解其兼顾 RNN 推理效率与 Transformer 训练并行的设计思路。
Hugging Face Blog精选AI 评分6262 Hugging Face 提出辅助生成解码方法，可将文本生成延迟降低最多 10 倍
Hugging Face 发布辅助生成（assisted generation）解码方法，通过小模型生成候选 token、大模型一次前向验证，在消费级硬件上最多降低 10 倍延迟。
推荐理由：Hugging Face 官方详解辅助生成解码原理与 Transformers 用法，读者可据此判断低延迟文本生成的可行路径。
Hugging Face Blog精选AI 评分6262 Hugging Face 解读对话智能体为何有用：IFT、SFT、CoT 与 RLHF
Hugging Face 博客梳理了让对话智能体变得有用的关键技术，包括指令微调（IFT）、监督微调（SFT）、思维链（CoT）和基于人类反馈的强化学习（RLHF）。
推荐理由：梳理 IFT、SFT、CoT 与 RLHF 在对话智能体中的作用，并对比多家早期聊天机器人的训练与评测差异。
Hugging Face Blog精选AI 评分6262 图解基于人类反馈的强化学习 RLHF
Hugging Face 发布图解 RLHF 的教程文章，把训练流程拆成预训练语言模型、收集偏好数据训练奖励模型、用 PPO 微调语言模型三个核心步骤。文章指出奖励模型输出标量奖励，训练时用 KL 散度惩罚约束策略偏离初始模型，并介绍了 TRL、TRLX、RL4LMs 等开源 RLHF 工具。文中还提到人类标注成本高、标注者意见不一致等局限，以及离线 RL、ILQL 等尚未充分探索的方向。
推荐理由：把 RLHF 拆成预训练、奖励模型、PPO 微调三步，并梳理了开源实现与已知局限，适合作为入门框架参考。
OpenAI News精选AI 评分6262 OpenAI 训练系统求解小学数学应用题，准确率约为微调 GPT-3 的两倍
OpenAI 训练了一个求解小学数学应用题的模型，准确率接近微调 GPT-3 模型的两倍。在自建数据集的同一批题目上，该系统的正确率为 55%，而 9-12 岁儿童小样本的正确率为 60%，即解题量约为这些孩子的 90%。
推荐理由：OpenAI 用自建小学数学数据集对比微调 GPT-3，给出模型与 9-12 岁儿童在同一批题目上的准确率差距。