Anthropic 阐述对 AI 安全的核心观点：何时、为何、是什么与怎么做
Anthropic 发布文章系统阐述其对 AI 安全的核心观点，认为 AI 影响可能堪比工业与科学革命，并可能在未来十年内到来。文章称算力投入以每年 10 倍增长，规模定律表明更多算力带来能力普遍提升，因此快速进展可能持续而非停滞。
推荐理由：Anthropic 官方系统阐述其对 AI 安全风险的判断与研究方向，可了解其安全策略背后的推理框架。
技术方向
安全对齐 最新动态
AI 安全与对齐：越狱与防御、模型行为研究、安全评测与治理框架的进展。
191 条精选近 30 天 39 条共收录 939 条
更新
精选归档 · 第 10 页
Anthropic News精选AI 评分6262
OpenAI News精选AI 评分6262 OpenAI 发布 AGI 及更远未来的规划
OpenAI 发布《Planning for AGI and beyond》，阐述其使命是确保通用人工智能（比人类更聪明的 AI 系统）造福全人类。
推荐理由：OpenAI 官方阐述 AGI 使命与长期规划，可了解其对通用人工智能安全与治理的基本立场。
OpenAI News精选AI 评分6060 OpenAI 谈 AI 系统应如何表现以及由谁决定
OpenAI 发文说明 ChatGPT 的行为是如何被塑造的，并介绍其改进该行为的计划，包括允许更多用户自定义，以及在相关决策中引入更多公众意见。
推荐理由：OpenAI 说明 ChatGPT 行为如何被塑造，并给出用户自定义与公众参与决策的改进方向。
OpenAI News精选AI 评分6060 OpenAI 发布识别 AI 生成文本的分类器
OpenAI 发布一款经过训练的分类器，用于区分 AI 生成文本与人类写作文本。
推荐理由：OpenAI 官方发布区分 AI 与人类写作的分类器，可了解其早期检测思路与官方定位。
Hugging Face Blog精选AI 评分6262 Hugging Face 解读对话智能体为何有用：IFT、SFT、CoT 与 RLHF
Hugging Face 博客梳理了让对话智能体变得有用的关键技术，包括指令微调（IFT）、监督微调（SFT）、思维链（CoT）和基于人类反馈的强化学习（RLHF）。
推荐理由：梳理 IFT、SFT、CoT 与 RLHF 在对话智能体中的作用，并对比多家早期聊天机器人的训练与评测差异。
OpenAI News精选AI 评分6262 OpenAI 训练批评写作模型帮助人类发现摘要缺陷
OpenAI 训练了批评写作模型，用于描述摘要中的缺陷。人类评估者在看到模型批评后，发现摘要缺陷的频率明显提高。研究还发现，模型规模越大自我批评能力越强，规模对批评写作的提升大于对摘要写作的提升。
推荐理由：OpenAI 训练批评写作模型辅助人类发现摘要缺陷，为 AI 监督 AI 提供了一种可参考的思路。
Anthropic News精选AI 评分6262 Anthropic 完成 5.8 亿美元 B 轮融资，用于构建安全可解释的 AI 系统
Anthropic 宣布完成 5.8 亿美元 B 轮融资，由 FTX CEO Sam Bankman-Fried 领投，Caroline Ellison、Jaan Tallinn 等参与。
推荐理由：官方披露 B 轮融资规模与资金用途，可了解 Anthropic 早期在可解释性与对齐方向的研究布局。
OpenAI News精选AI 评分8080 OpenAI 发布 InstructGPT，成为 API 默认语言模型
OpenAI 训练出比 GPT-3 更能遵循用户意图的语言模型 InstructGPT，同时更真实、毒性更低，采用其对齐研究中的技术并引入人类参与训练。这些模型现已作为 OpenAI API 的默认语言模型部署。
推荐理由：OpenAI 官方说明 InstructGPT 的指令跟随与对齐改进，并交代其已成为 API 默认模型。
OpenAI News精选AI 评分6060 OpenAI 用人类偏好微调 774M 参数 GPT-2
OpenAI 用人类反馈对 774M 参数的 GPT-2 语言模型进行微调，在多项任务上成功匹配外部人类标注者的偏好，但这些偏好并不总与 OpenAI 自己的预期一致。在摘要任务中，标注者偏好直接照抄输入的句子，模型因此学会了复制；摘要任务需要 6 万条人类标注，而按不同风格续写文本等更简单的任务只需 5 千条。OpenAI 表示其动机是让安全技术更接近“机器与人对话”这一通用任务。
推荐理由：OpenAI 用人类反馈微调 GPT-2 的早期实验，展示了偏好数据如何影响模型行为，也暴露了标注偏好与研究者预期的偏差。
OpenAI News精选AI 评分6060 OpenAI 联合多家机构发布 AI 恶意使用预测论文
OpenAI 与 Future of Humanity Institute、Centre for the Study of Existential Risk、Center for a New American Security。
推荐理由：OpenAI 联合多家机构用近一年时间梳理 AI 被恶意利用的可能路径与防范思路，可作为 AI 安全治理早期讨论的参照。
OpenAI News精选AI 评分6262 OpenAI 与 DeepMind 提出从人类偏好中学习目标的方法
OpenAI 与 DeepMind 安全团队合作开发了一种算法，通过让人类指出两种候选行为中哪一个更好，来推断人类想要的目标。OpenAI 称，构建安全 AI 系统的一步是免去人类手写目标函数，因为用简单代理替代复杂目标或把复杂目标写偏一点，都可能导致不良甚至危险的行为。
推荐理由：OpenAI 与 DeepMind 安全团队提出用人类偏好比较替代手写目标函数，为对齐研究提供了一条早期思路。