Hugging Face 与 Haize Labs 推出红队抵抗排行榜
Haize Labs 在 Hugging Face 团队支持下发布 Red Teaming Resistance Benchmark,系统测试前沿模型在高质量人类越狱攻击下的鲁棒性。该基准整合 AdvBench、AART、Beavertails、Do Not Answer 等红队数据集,用 LlamaGuard 与 GPT-4 判定回答是否安全,并按伤害与暴力、犯罪、隐私等违规类别细分评分。
Haize Labs 在 Hugging Face 团队支持下发布 Red Teaming Resistance Benchmark,系统测试前沿模型在高质量人类越狱攻击下的鲁棒性。该基准整合 AdvBench、AART、Beavertails、Do Not Answer 等红队数据集,用 LlamaGuard 与 GPT-4 判定回答是否安全,并按伤害与暴力、犯罪、隐私等违规类别细分评分。
Hugging Face 发布 Matryoshka 嵌入模型入门博客,介绍这类模型可输出多种维度的有效嵌入,将重要信息前置以便截断后仍保持性能。
Google 发布开源大模型系列 Gemma,包含 2B 和 7B 两个尺寸,各有基础版和指令微调版,上下文长度 8K tokens,可运行在消费级硬件上。Hugging Face 宣布全面支持,提供 Transformers 集成、Google Cloud 与 Inference Endpoints 部署,以及用 TRL 在单卡上微调的示例。
推荐理由:Google 开源 Gemma 系列并同步接入 Hugging Face 生态,读者可了解其规格、许可与部署路径。
Upstage 在 Hugging Face 上发起 Open Ko-LLM Leaderboard,为韩语大模型提供公开评测平台,采用 Ko-ARC、Ko-HellaSwag、Ko-MMLU、Ko-Truthful QA、Ko-CommonGEN V2 五项任务,并使用不公开的私有测试集防止数据污染。
Hugging Face 的 PEFT 库新增了面向 LoRA 适配器的多种合并方法,包括 cat、linear、svd、ties、dare 和 magnitude_prune 等,可通过 add_weighted_adapter() 调用。
Hugging Face 发布教程,演示如何用开源 Mixtral-8x7B-Instruct-v0.1 为金融新闻情感分类生成合成数据,再通过 AutoTrain 蒸馏出约 0.13B 参数的 RoBERTa-base 模型。
推荐理由:用开源 LLM 生成合成数据再蒸馏小模型,给出了成本、延迟与碳排放的完整对比,方法可直接迁移到其他分类任务。
OpenAI 发布研究说明,介绍在视频数据上大规模训练生成模型的工作,将文本条件扩散模型联合训练于不同时长、分辨率和宽高比的视频与图像,并采用在视频和图像 latent code 的时空 patch 上运行的 Transformer 架构。其最大模型 Sora 能生成一分钟高保真视频,结果提示扩展视频生成模型是构建物理世界通用模拟器的一条可行路径。
推荐理由:OpenAI 官方披露 Sora 的技术路线,说明视频生成模型被当作物理世界通用模拟器来训练。
OpenAI 发布公告,称已阻断国家关联威胁行为者对 AI 的恶意使用。原文正文未能抓取,具体处置对象与措施暂无法确认。
AMD 与 Hugging Face 联合启动 Pervasive AI Developer Contest,面向全球开发者开放生成式 AI、机器人 AI 和 PC AI 三个赛道,总奖金 16 万美元,单个获奖者最高可得 1 万美元,并提供 700 个 AMD 平台供参赛者使用。
OpenAI 正在测试让 ChatGPT 记住用户讨论过的内容,以便让后续对话更有帮助。官方表示用户对 ChatGPT 的记忆拥有控制权。
推荐理由:OpenAI 官方披露 ChatGPT 记忆功能的测试方向,读者可了解其能力边界与用户控制权设计。
Hugging Face 为 Text Generation Inference(TGI)和 Inference Endpoints 推出 Messages API。
推荐理由:Hugging Face 官方给出 TGI 兼容 OpenAI 接口的迁移路径与代码示例,读者可据此评估从闭源模型切换到开源模型的改造成本。
SegMind 发布 SegMoE 框架,可从零构建混合专家(MoE)扩散模型,并已集成 Hugging Face diffusers。同时发布 SegMoE-2x1、SegMoE-4x2 和 SegMoE-SD4x2 三个模型,采用 Apache 2.0 许可,并提供 GitHub 仓库和 segmoe 包用于自建 MoE 模型。
推荐理由:原文给出了从零构建 MoE 扩散模型的完整流程与显存门槛,读者可据此判断自己能否复现。
Hugging Face 推出 NPHardEval 排行榜,基于密歇根大学和罗格斯大学研究者开发的 NPHardEval 基准,用计算复杂度类别评估 LLM 推理能力。
Hugging Face 发布用开源模型实现 Constitutional AI 的端到端配方,并开源 llm-swarm 工具,基于 TGI 和 vLLM 在 Slurm 集群上做可扩展的合成数据生成。
推荐理由:Hugging Face 公开了用开源模型复现 Constitutional AI 的完整配方,含数据集、模型与 Slurm 集群推理工具,可据此复现或改造对齐流程。
Hugging Face 博客给出 PatchTST 的上手示例:先在 Electricity 数据集上直接训练并评估预测性能,再用已训练模型在 ETTh1 数据集上做零样本预测,随后进行线性探测与微调。
Hugging Face 宣布 Text Generation Inference(TGI)在 AWS Inferentia2 和 Amazon SageMaker 上正式可用,为生产级 LLM 部署提供 GPU 之外的替代方案。
OpenAI 正在构建一套评估框架,用于衡量大语言模型可能协助制造生物威胁的风险。在包含生物学专家和学生的评估中,GPT-4 对生物威胁创建准确率的提升最多为轻微程度。OpenAI 表示这一提升幅度尚不足以得出定论,但可作为后续研究与社区讨论的起点。
Patronus 团队联合 Hugging Face 发布 Enterprise Scenarios Leaderboard,用于评估语言模型在真实企业场景中的表现。
Hugging Face 博客展示了在第四代 Intel Xeon 上通过 8bit/4bit 量化结合辅助生成(assisted generation),让 StarCoder-15B 推理加速超过 7 倍。
Hugging Face 推出 Hallucinations Leaderboard,通过 in-context learning 在 NQ Open、TriviaQA、TruthfulQA、XSum、CNN/DM、RACE、SQuADv2、FEVER、HaluEval 等基准上评测大语言模型的幻觉表现。
Hugging Face 推出 LLM Safety Leaderboard,基于 DecodingTrust 的 red-teaming 方法对 LLM 安全性进行评估,该平台曾获 NeurIPS 2023 杰出论文奖。
Hugging Face 宣布与 Google Cloud 建立战略合作,围绕开放科学、开源、云和硬件展开协作,帮助企业在 Hugging Face 开放模型与 Google Cloud 的 Vertex AI、TPU 等基础设施上构建自己的 AI。
Hugging Face 发布博客,介绍如何用 LangChain 新集成的 ChatHuggingFace 封装把开源模型搭建成 ReAct 智能体,并给出完整代码示例。
推荐理由:原文给出 ReAct 智能体的完整搭建代码与开源模型对比基准,可据此判断哪些模型适合驱动智能体工作流。
Hugging Face 发布教程,介绍如何用 🤗 Transformers 微调 Wav2Vec2-BERT(facebook/w2v-bert-2.0)完成低资源 ASR。
IBM Research 与 Hugging Face 团队合作,在 Transformers 库中发布了基于 MLP-Mixer 架构的轻量级时序模型 PatchTSMixer。
Hugging Face 在 OpenHermes-2.5-Mistral-7B 和 Zephyr-7b-beta-sft 两个 7B 模型上,用 MT-Bench 对比了 DPO、IPO、KTO 三种无需强化学习的偏好对齐方法,并扫描 β 等关键超参数。
OpenAI 为 10 支来自全球的团队提供资助,用于设计集体治理 AI 的想法与工具。OpenAI 总结了这些团队的创新做法与自身经验,并呼吁研究人员和工程师加入后续工作。
OpenAI 正着手防止 AI 滥用、提升 AI 生成内容的透明度,并改善选民获取准确投票信息的渠道,以应对 2024 年全球多场选举。
Hugging Face 发布经 Olive 优化的 SD Turbo 和 SDXL Turbo 模型,在 NVIDIA GPU 上通过 ONNX Runtime CUDA 与 TensorRT 执行提供程序加速推理,吞吐量最高较 PyTorch 提升 229%(SDXL Turbo)和 120%(SD Turbo)。
Hugging Face 发布教程,介绍如何用 ComfyUI-to-Python-Extension 把 ComfyUI 工作流导出为纯 Python 脚本,再用 Gradio 封装成应用并部署到 Hugging Face Spaces 的 ZeroGPU 上免费运行。
推荐理由:教程给出把 ComfyUI 工作流导出为 Python、封装 Gradio 并部署到 ZeroGPU 的完整步骤,可迁移到自己的工作流。
Digital Green 借助 OpenAI 构建农业数据库,用于提升农民收入。
Vectara 基于 Hugging Face 开源排行榜模板发布了新的 HHEM 排行榜,用于评估 GPT-4、Google Gemini、Meta Llama 2 等 LLM 在文档摘要中的幻觉频率。该排行榜通过 requests 和 results 两个数据集管理模型评测请求与结果,并支持社区提交新模型进行评估。
OpenAI 推出新的 ChatGPT 套餐 ChatGPT Team,面向各类规模的团队,提供安全、可协作的工作空间,让团队在工作中充分利用 ChatGPT。
推荐理由:OpenAI 面向各类规模团队推出 ChatGPT 新套餐,读者可据此了解其安全协作工作区的定位。
OpenAI 宣布推出 GPT Store。
Hugging Face 博客介绍社区开发的轻量库 Unsloth,与 transformers、PEFT、TRL 生态兼容,可将 LLM 微调速度提升约 2 倍并降低显存占用,精度相对标准 QLoRA 无下降。
推荐理由:原文给出 Unsloth 与 TRL 的集成方式和 59 次基准数据,读者可据此判断微调成本能降多少。
OpenAI 就《纽约时报》提起的诉讼作出回应,称该诉讼缺乏依据,同时表示支持新闻业并与新闻机构保持合作。
WHOOP 基于 GPT-4 打造 LLM 驱动的健康解决方案,为用户提供个性化健身与健康指导。
Hugging Face 发布 aMUSEd,一个基于掩码图像建模(MIM)的非扩散文生图模型,是对 Google MUSE 的开源复现,采用宽松许可证并以研究预览形式发布。
Hugging Face 发布 SDXL Dreambooth LoRA 高级训练脚本,将 Pivotal Tuning 与 Prodigy 优化器结合,并给出配套参数配置。
推荐理由:汇总 SDXL Dreambooth LoRA 微调的社区实践,含 Pivotal Tuning 与 Prodigy 优化器的参数配置和对比实验。
Hugging Face 博客介绍如何用投机解码将 Whisper 推理速度提升约 2 倍,且数学上保证输出与单独使用主模型完全一致。在 LibriSpeech 基准上,Whisper large-v2 的 73 个样本推理时间从 73 秒降至 33 秒,WER 保持 3.5%;荷兰语 VoxPopuli 上从 117 秒降至 62 秒,WER 保持 12.8%。
推荐理由:原文给出可复用的投机解码实现与基准数据,读者可据此在现有 Whisper 流程中获得约 2 倍加速。