Hugging Face 发文:AI 智能体已至,全自主智能体不应被开发
Hugging Face 发布分析文章指出,AI 智能体的风险随自主性等级上升而增加,建议不要开发能自行编写并执行代码的全自主智能体。文章按自主程度将智能体分为五级,从模型不影响程序流程的 Code ☆☆☆☆ 到模型自行编写并执行新代码的 Fully autonomous agent ★★★★,并认为半自主智能体在自主程度、可用任务和人类控制方式合适时,收益可能大于风险。
Hugging Face 发布分析文章指出,AI 智能体的风险随自主性等级上升而增加,建议不要开发能自行编写并执行代码的全自主智能体。文章按自主程度将智能体分为五级,从模型不影响程序流程的 Code ☆☆☆☆ 到模型自行编写并执行新代码的 Fully autonomous agent ★★★★,并认为半自主智能体在自主程度、可用任务和人类控制方式合适时,收益可能大于风险。
量子物理学家 Mario Krenn 使用 OpenAI o1 协助回答量子物理领域的重大问题。
Cognition CEO 兼联合创始人 Scott Wu 解释了 OpenAI o1 如何以更接近人类的方式做出编程决策。
Hugging Face 发布《伦理与社会通讯 #6》,聚焦 AI 数据质量,提出高质量数据应满足相关性、全面性、时效性和偏见缓解等要求。文章以 Reddit 与 Google 的 RAG 搜索合作为例,说明低质数据会导致"披萨加胶水"这类错误推荐。文中强调数据质量需贯穿 AI 开发全生命周期,并给出数据去重、内容过滤、人工反馈和治理框架等实践策略。
Hugging Face 发布《伦理与社会通讯》第 4 期,聚焦文本到图像模型的偏见问题,指出训练数据、预训练数据过滤、推理、模型潜在空间及事后过滤等环节均可能引入偏见。
OpenAI 发文呼吁现在就开始思考超级智能的治理问题,即未来能力远超 AGI 的 AI 系统。文章指出当下正是着手考虑这一议题的好时机。
OpenAI 发布《Planning for AGI and beyond》,阐述其使命是确保通用人工智能(比人类更聪明的 AI 系统)造福全人类。
推荐理由:OpenAI 官方阐述 AGI 使命与长期规划,可了解其对通用人工智能安全与治理的基本立场。
Hugging Face 发布《机器学习总监洞察》系列第四期,邀请 Javier Mansilla、Shaun Gittens、Samuel Franklin 和 Evan Castle 四位 ML 总监分享机器学习对各自行业的影响。
RAIL Initiative 推出、Hugging Face 支持的 OpenRAIL 是一类 AI 专用许可,允许免版税获取、下游使用与再分发,同时嵌入针对特定关键场景的用途限制。它借鉴 BigScience、开源与 Creative Commons 的做法,试图在广泛开放与防范有害使用之间划出界线,并赋予许可方在模型被滥用时的执行能力。
OpenAI 正在提升 AI 系统从人类反馈中学习、以及协助人类评估 AI 的能力。其目标是构建一个足够对齐的 AI 系统,进而帮助解决其余所有对齐问题。
Hugging Face 发布“机器学习总监洞察”系列第三期金融版,邀请来自 U.S. Bank、加拿大皇家银行(RBC)、Moody's Analytics 及前 Bloomberg AI 研究科学家的 ML 负责人分享经验。
Hugging Face 研究科学家 Sasha Luccioni 在播客中介绍其工作:她担任 Big Science 碳足迹工作组联合主席,研究语言模型训练的环境影响,包括 GPU 小时之外的制造与人员投入成本,并参与数据治理与多语言工作。她此前曾与 Yoshua Bengio 合作开展 AI for climate change 项目,并联合创立 Climate Change AI。
Hugging Face 博客发布《机器学习总监洞察》系列第二部分 SaaS 特辑,采访了 Salesforce 的 Omar Rahman 和 Amplitude 的 Cao (Danica) Xiao 等机器学习负责人。
Hugging Face 发布系列文章,邀请多位机器学习总监分享 ML 在媒体、制药等行业的落地经验。BuzzFeed 的 Archi Mitra 指出媒体 ML 需平衡隐私、编辑方针与推荐算法,强生 Li Tan 则强调制药领域 AI 应用需确保训练集对各族群的公平代表性。
OpenAI 探讨 Goodhart 定律在 AI 目标优化中的影响:当一个度量指标变成目标时,它就不再是好的度量。该定律源自经济学,但在 OpenAI 优化难以或高成本衡量的目标时同样适用。
Hugging Face 机器学习工程师 Lewis Tunstall 在播客中介绍了与 Leandro von Werra、Thom Wolf 合著的《NLP with Transformers》,并讲述自己在 transformers 库中推动 ONNX 导出功能,让用户只需一行代码即可将 PyTorch 模型转换格式,从而获得更低延迟和更高吞吐。
Hugging Face 发布机器学习专家访谈,嘉宾 Margaret Mitchell 曾任 Google 伦理 AI 团队创始人兼联合负责人,现于 Hugging Face 负责伦理 AI 研究协议与包容性招聘。她因在微软 Seeing AI 项目中目睹模型将爆炸场景描述为"美丽景色"而转向伦理 AI,并指出 ML 团队普遍缺乏对偏见概念的认知与沟通词汇。
微软和 NVIDIA 发布 Megatron-Turing NLG 530B,号称全球最大最强的生成式语言模型,但训练需数百台 DGX A100 服务器、成本近 1 亿美元。作者质疑这类超大模型趋势:基准提升有限,却带来高昂成本、复杂度和碳足迹,并建议改用预训练模型、更小模型(如 DistilBERT 保留 97% 语言理解、体积小 40%、速度快 60%)和微调。
Hugging Face 发文指出,2021 年 State of AI Report 与 Kaggle 调查显示 Transformer 已从 NLP 扩展为通用 ML 架构,在语音、视觉、点云等任务上表现优异,其使用率逐年上升,而 RNN、CNN 和梯度提升算法持续下滑。
OpenAI 发文称,智能体争夺资源的多智能体环境是通往 AGI 的垫脚石。这类环境具备两个有用特性:难度由竞争对手的水平自然形成课程,且不存在稳定均衡,智能体始终面临变得更聪明的压力。OpenAI 表示这类环境与传统环境感受迥异,仍需大量研究才能驾驭。
OpenAI 阐述其技术目标:构建安全的 AI,并确保 AI 带来的益处尽可能广泛且均衡地惠及所有人。