OpenAI 发布 o1-mini 推理模型
OpenAI 发布 o1-mini，官方将其定位为面向高性价比推理的模型。该页面标题为 OpenAI o1-mini，副标题为 Advancing cost-efficient reasoning，正文未提供更多细节。
#推理
OpenAI News精选AI 评分7878 OpenAI NewsAI 评分2222 OpenAI o1 如何应对复杂经济学问题
经济学家 Tyler Cowen 解读 OpenAI o1 如何解答复杂的经济学问题。
OpenAI NewsAI 评分4040 OpenAI o1 如何加速罕见病基因诊断
遗传学家 Catherine Brownstein 展示了 OpenAI o1 如何加速罕见医学难题的诊断流程。该演示聚焦于将 o1 用于基因数据解读，以缩短罕见病确诊所需时间。
OpenAI NewsAI 评分2222 量子物理学家用 OpenAI o1 回答量子物理问题
量子物理学家 Mario Krenn 使用 OpenAI o1 协助回答量子物理领域的重大问题。
OpenAI NewsAI 评分3030 Cognition CEO 谈如何用 OpenAI o1 编程
Cognition CEO 兼联合创始人 Scott Wu 解释了 OpenAI o1 如何以更接近人类的方式做出编程决策。
Hugging Face BlogAI 评分3434 Infini-Attention 复现失败实验：压缩记忆为何越用越差
Hugging Face 团队复现 Google 的 Infini-Attention 后发现，随着记忆压缩次数增加，模型性能持续下降，该实验被判定为失败。团队认为 ring attention、YaRN 和 rope scaling 仍是扩展预训练模型上下文长度的最佳方案，并开源了训练 checkpoint 供测试。
Hugging Face Blog精选AI 评分6262 TII 发布 Falcon Mamba：首个强性能无注意力 7B 模型
阿布扎比 TII 发布 Falcon Mamba 7B，称其为首个大规模通用纯 Mamba 模型，采用开放许可并已上线 Hugging Face 生态。该模型基于原始 Mamba 架构并加入额外 RMS 归一化层以稳定大规模训练，用约 5500GT 数据训练，可处理任意长度序列且生成每个 token 耗时恒定，单张 A10 24GB GPU 即可运行。
推荐理由：TII 发布首个大规模纯 Mamba 架构 7B 模型，并给出与同规模 Transformer 的基准和长序列内存对比。
Hugging Face Blog精选AI 评分8888 Meta 发布 Llama 3.1：8B、70B 与 405B，支持多语言和长上下文
Meta 发布 Llama 3.1 系列开源模型，包含 8B、70B、405B 三种规模，各有基础版和指令微调版，上下文长度从 8K 提升到 128K token，支持英语、德语、法语、意大利语、葡萄牙语、印地语、西班牙语和泰语 8 种语言。
推荐理由：Meta 发布 Llama 3.1 三档开源模型，128K 上下文与工具调用能力配合更宽松的许可证，读者可据此判断开源模型在合成数据与蒸馏上的可用边界。
Mistral AI精选AI 评分7272 Mistral 发布 Codestral Mamba 代码模型
Mistral 发布 Codestral Mamba，这是一个基于 Mamba 架构的代码模型，采用 Apache 2.0 许可，可免费使用、修改和分发。该模型为指令模型，参数量 7,285,403,648，具备线性时间推理能力，官方在最高 256k tokens 的上下文检索能力上做了测试。
推荐理由：Mistral 官方发布 Mamba 架构代码模型，给出参数量、上下文测试长度与部署方式，可对比 Transformer 路线的取舍。
Mistral AIAI 评分5252 Mistral AI 发布数学推理模型 Mathstral 7B
Mistral AI 发布专注 STEM 与复杂多步数学推理的 Mathstral 7B，基于 Mistral 7B 构建，与 Project Numina 合作产出。
Hugging Face Blog精选AI 评分6060 NuminaMath 如何赢得首届 AIMO 进步奖
Numina 与 Hugging Face 合作的 NuminaMath 7B TIR 赢得首届 AIMO 进步奖，在私有测试集 50 题中解出 29 题。方案基于 DeepSeekMath-Base 7B 两阶段微调，先做 CoT 数据训练，再用 GPT-4 生成的约 6 万个工具集成推理样本训练模型调用 Python REPL。
推荐理由：获胜方案完整公开了两阶段微调、SC-TIR 解码与内部验证集设计，可迁移到其他推理类竞赛或微调任务。
Hugging Face BlogAI 评分2222 在 Intel Gaudi 2 上加速蛋白质语言模型 ProtST
Intel 与 MILA 将多模态蛋白质设计语言模型 ProtST 重新架构并发布在 Hugging Face Hub，可用 Optimum for Intel Gaudi 库在 Gaudi 2 上运行推理与微调。
Hugging Face BlogAI 评分2222 Hugging Face 为 Intel Gaudi 带来更快的辅助生成支持
Hugging Face 将辅助生成（Assisted Generation）适配并优化到 Intel Gaudi 处理器，现已集成进 Optimum Habana。该方法基于 Speculative Sampling，用草稿模型生成 K 个 token 再由目标模型评估，大型 Transformer 模型通常可获得约 2x 加速，且采样质量与自回归采样相当。
Hugging Face BlogAI 评分4242 Hugging Face 平台完成对 AMD Instinct MI300 GPU 的一等公民级集成
Hugging Face 与 AMD 合作，为 AMD Instinct MI300 GPU 在 Hugging Face 平台提供一等公民级集成，用户无需修改代码即可通过 transformers 和 text-generation-inference 在 Azure ND MI300x V5 虚拟机上部署模型。
Hugging Face BlogAI 评分4040 Hugging Face 与 .txt 用结构化生成提升提示词一致性
Hugging Face 排行榜与评测团队发现，同一 MMLU 任务仅改变提示词格式，5 个模型的得分波动约 10 分，Qwen1.5-7B 甚至从 51.2% 跌至 22.9%，模型排名也随之改变。为此他们与 .txt 合作，尝试用 Outlines 库的结构化生成约束模型输出，以减少提示词格式带来的评测方差。
Hugging Face BlogAI 评分3434 Hugging Face 推出 Open CoT Leaderboard，衡量链式推理带来的准确率增益
Hugging Face 发布 Open CoT Leaderboard，不评模型绝对准确率，而是对比有无链式推理提示时的准确率差值 Δ。该榜单覆盖 LogiQA、LSAT 等多项选择题任务，已实现 Classic 与 Reflect 两种提示策略，并称对训练数据污染更具鲁棒性。
Hugging Face Blog精选AI 评分8585 Meta 发布 Llama 3 开源大模型，Hugging Face 同步集成
Meta 发布 Llama 3 系列开源大模型，包含 8B 和 70B 两个尺寸，各有基础版和指令微调版，并推出基于 Llama 3 8B 微调的安全模型 Llama Guard 2。
推荐理由：Meta 发布 Llama 3 并同步落地 Hugging Face 生态，读者可据此了解新分词器、GQA 与 8K 上下文带来的变化。
Mistral AI精选AI 评分8282 Mistral 发布开源模型 Mixtral 8x22B
Mistral 发布开源模型 Mixtral 8x22B，采用稀疏 MoE 架构，141B 总参数中仅 39B 激活参数，以 Apache 2.0 许可开放。该模型支持英语、法语、意大利语、德语和西班牙语，具备数学与编码能力，原生支持函数调用，上下文窗口为 64K tokens。
推荐理由：Mixtral 8x22B 以 39B 激活参数和 Apache 2.0 许可发布，读者可据此判断开源模型的性能与成本取舍。
Hugging Face BlogAI 评分2222 在 Intel Gaudi 2 AI 加速器上运行文本生成 Pipeline
Hugging Face 发布基于 Optimum Habana 的自定义 pipeline 类，可在 Intel Gaudi 2 AI 加速器上用几行代码运行 Llama 2 系列（7b、13b、70b）文本生成。
Mistral AI精选AI 评分8282 Mistral AI 发布旗舰模型 Mistral Large 与 Mistral Small
Mistral AI 发布旗舰文本生成模型 Mistral Large，通过 la Plateforme 和 Azure 提供，官方称其推理能力达到顶级水平，是 API 可用的全球第二强模型（仅次于 GPT-4）。
推荐理由：官方给出 Mistral Large 的基准对比与 Azure 分发路径，可据此判断其旗舰定位与多语言、函数调用能力。
Hugging Face BlogAI 评分3030 Hugging Face 上线 NPHardEval 排行榜：用复杂度类别动态评测 LLM 推理能力
Hugging Face 推出 NPHardEval 排行榜，基于密歇根大学和罗格斯大学研究者开发的 NPHardEval 基准，用计算复杂度类别评估 LLM 推理能力。
Hugging Face BlogAI 评分2222 在 Intel Xeon 上用 🤗 Optimum Intel 加速 StarCoder：Q8/Q4 量化与投机解码
Hugging Face 博客展示了在第四代 Intel Xeon 上通过 8bit/4bit 量化结合辅助生成（assisted generation），让 StarCoder-15B 推理加速超过 7 倍。
Hugging Face Blog精选AI 评分6262 用投机解码让 Whisper 推理提速 2 倍
Hugging Face 博客介绍如何用投机解码将 Whisper 推理速度提升约 2 倍，且数学上保证输出与单独使用主模型完全一致。在 LibriSpeech 基准上，Whisper large-v2 的 73 个样本推理时间从 73 秒降至 33 秒，WER 保持 3.5%；荷兰语 VoxPopuli 上从 117 秒降至 62 秒，WER 保持 12.8%。
推荐理由：原文给出可复用的投机解码实现与基准数据，读者可据此在现有 Whisper 流程中获得约 2 倍加速。
Hugging Face BlogAI 评分5252 Hugging Face 详解混合专家模型 MoE
Hugging Face 发布《Mixture of Experts Explained》长文，系统讲解 MoE 的构成、训练方式与推理权衡。文章指出 MoE 用稀疏层加门控网络替代部分 FFN 层，预训练更快、推理比同参数量稠密模型更快，但需把全部专家载入显存，例如 Mixtral 8x7B 需容纳 47B 稠密参数。
Hugging Face Blog精选AI 评分6262 Hugging Face 发布 Optimum-NVIDIA，一行代码加速 LLM 推理
Hugging Face 发布 Optimum-NVIDIA 推理库，只需将 transformers 的 pipeline 导入改为 optimum.nvidia 一行代码，即可在 NVIDIA 平台获得最高 28 倍吞吐提升和 1200 tokens/秒，首 token 延迟最高降低 3.3 倍。
推荐理由：Hugging Face 与 NVIDIA 联合推出的推理库，用一行代码替换即可获得最高 28 倍吞吐提升，适合关注 LLM 部署成本的读者。
Hugging Face BlogAI 评分3636 用 AWS Inferentia2 加速 Llama 2 文本生成
Hugging Face 的 optimum-neuron 现已支持在 AWS Inferentia2 上部署 Llama 2 等 LLM 进行文本生成。用户可将 Llama-2-7b-hf 编译导出为 Neuron 格式，并选择 budget、latency、throughput 等不同配置，其中 7B 与 13B 模型均提供预编译版本，最大序列长度为 2048。
Mistral AI精选AI 评分7878 Mistral AI 发布 7.3B 参数开源模型 Mistral 7B
Mistral AI 发布 7.3B 参数的 Mistral 7B，称其在所有基准上超过 Llama 2 13B，并在多项基准上超过 Llama 1 34B，采用 Apache 2.0 许可可无限制使用。
推荐理由：Mistral 7B 以 7.3B 参数在多项基准上超过 Llama 2 13B，并采用 Apache 2.0 开源，读者可据此判断小模型的能力边界与部署成本。
Hugging Face BlogAI 评分4040 Hugging Face 详解如何优化 LLM 生产部署：低精度、Flash Attention 与架构创新
Hugging Face 发布博客，梳理 LLM 生产部署的三大优化方向：8-bit 和 4-bit 低精度推理、Flash Attention 以及 Alibi、Rotary embeddings、MQA、GQA 等架构改进。
Hugging Face BlogAI 评分4040 Hugging Face Diffusers 让 AudioLDM 2 推理提速超 10 倍
Hugging Face 在 🧨 Diffusers 库中优化 AudioLDM 2 文本到音频模型，通过半精度、flash attention、编译及调度器选择等手段，将推理时间缩短超 10 倍，10 秒音频样本生成从 30 秒以上降至 1 秒。AudioLDM 2 提供 1.1B 和 1.5B 三种 checkpoint，可生成音效、人声和音乐。
Hugging Face BlogAI 评分4040 Zama 用 FHE 实现加密大语言模型推理，基于 Hugging Face GPT2 验证
Zama 展示如何借助全同态加密（FHE）在加密数据上运行大语言模型，并基于 Hugging Face transformers 库改造 GPT2 实现加密推理。
Hugging Face BlogAI 评分3636 如何用 Hugging Face Inference Endpoints 部署 LLM
Hugging Face 发布教程，演示如何通过其托管 SaaS 服务 Inference Endpoints 部署 Falcon 40B instruct 等开源大模型，并支持流式响应与性能测试。
Hugging Face BlogAI 评分2828 Hugging Face：Transformer 对时间序列预测确实有效，Autoformer 已集成
Hugging Face 用实验反驳了 AAAI 2023 论文《Are Transformers Effective for Time Series Forecasting?
Hugging Face Blog精选AI 评分7878 Falcon 模型家族落地 Hugging Face 生态
阿布扎比 TII 发布 Apache 2.0 许可的 Falcon 语言模型家族，包含 Falcon-40B 和 Falcon-7B 两个基础模型及对应 Instruct 版本。
推荐理由：梳理 Falcon 系列在 Hugging Face 生态中的推理、量化与微调路径，可了解开源大模型的落地方式。
OpenAI News精选AI 评分6565 OpenAI 用过程监督提升数学推理能力
OpenAI 训练了一个模型，通过奖励每一步正确的推理过程（过程监督）而非只奖励最终正确答案（结果监督），在数学问题求解上取得新的 SOTA。相比结果监督，过程监督不仅提升了性能，还带来对齐收益：直接训练模型产出被人类认可的思维链。
推荐理由：OpenAI 用过程监督替代结果监督训练数学推理模型，读者可了解这一训练思路及其对齐收益。
Hugging Face BlogAI 评分4242 更小即更好：Q8-Chat 在 Xeon 上的高效生成式 AI 体验
Intel 用 SmoothQuant-O3 对 OPT 2.7B/6.7B、LLaMA 7B、Alpaca 7B、Vicuna 7B、BloomZ 7.1B、MPT-7B-chat 等模型做 8-bit 量化，模型体积缩小约 2 倍，多数评测指标不降反升。
Hugging Face Blog精选AI 评分6060 Hugging Face 将 RWKV 架构集成进 transformers 库
Hugging Face 官方博客宣布，结合 RNN 与 Transformer 优势的 RWKV 架构已集成进 transformers 库，可通过源码或主分支使用。
推荐理由：Hugging Face 官方博客介绍 RWKV 架构并入 transformers 库，读者可了解其兼顾 RNN 推理效率与 Transformer 训练并行的设计思路。
Hugging Face Blog精选AI 评分6262 Hugging Face 提出辅助生成解码方法，可将文本生成延迟降低最多 10 倍
Hugging Face 发布辅助生成（assisted generation）解码方法，通过小模型生成候选 token、大模型一次前向验证，在消费级硬件上最多降低 10 倍延迟。
推荐理由：Hugging Face 官方详解辅助生成解码原理与 Transformers 用法，读者可据此判断低延迟文本生成的可行路径。
Hugging Face BlogAI 评分4242 BLOOMZ 在 Habana Gaudi2 加速器上的快速推理实测
Hugging Face 用 Optimum Habana 在 Habana Gaudi2 上部署 176B 参数的 BLOOMZ，16-bit 精度下 8 卡推理延迟 3.103 秒，比 A100 80GB 的 4.402 秒快 1.42 倍。
Hugging Face BlogAI 评分4040 在 Intel CPU 上加速 Stable Diffusion 推理
Hugging Face 展示了在 Intel Sapphire Rapids CPU 上加速 Stable Diffusion 推理的多种技术。
Hugging Face BlogAI 评分2828 用 Informer 进行多变量概率时间序列预测
Hugging Face 在 🤗 Transformers 中上线了 AAAI21 最佳论文模型 Informer，并演示如何用它完成多变量概率时间序列预测。