OpenAI 开放 GPT-3.5 Turbo 微调并更新 API
OpenAI 宣布开发者现在可以用自己的数据微调 GPT-3.5 Turbo,以适配各自的用例,同时更新了 API。原文仅给出这一句说明,未披露微调价格、可用范围或具体 API 变更细节。
推荐理由:OpenAI 开放 GPT-3.5 Turbo 微调,开发者可用自有数据定制模型,是当时最受关注的 API 能力变化。
OpenAI 宣布开发者现在可以用自己的数据微调 GPT-3.5 Turbo,以适配各自的用例,同时更新了 API。原文仅给出这一句说明,未披露微调价格、可用范围或具体 API 变更细节。
推荐理由:OpenAI 开放 GPT-3.5 Turbo 微调,开发者可用自有数据定制模型,是当时最受关注的 API 能力变化。
Hugging Face 发布 SafeCoder,一款面向企业的自托管代码助手解决方案,基于 StarCoder 系列代码大模型,代码在训练和推理阶段都不离开客户自有 VPC。
OpenAI 将 GPT-4 用于内容政策制定和内容审核决策,可实现更一致的标注、更快的政策优化反馈循环,并减少人工审核员的参与。
Hugging Face Hub 已上线 AWS Marketplace,用户可通过 AWS 账户订阅并支付 Hugging Face 的使用费用。订阅后,Inference Endpoints、Spaces 硬件升级和 AutoTrain 等服务的组织用量费用将自动计入 AWS 账单,价格与 Hugging Face 公开定价一致。连接需使用具备 admin 角色的组织账户,暂不支持个人账户。
Hugging Face 发布 swift-transformers Swift 包及配套工具,让开发者在 Apple 设备上用 Core ML 本地运行 Llama 2、Falcon 等模型。
推荐理由:Hugging Face 放出在 Apple 设备本地跑 Llama 2 的 Swift 工具链,读者可据此了解端侧 LLM 的转换与优化路径。
Hugging Face 在 huggingface.js 下发布 Agents.js,一个可在浏览器或服务端为 LLM 提供工具访问的 JavaScript 库,通过 npm install @huggingface/agents 安装。
推荐理由:原文给出库的安装方式、代码示例与自定义工具接口,读者可据此判断如何在浏览器或服务端为 LLM 接入工具。
OpenAI 为 ChatGPT 推出自定义指令功能,用户可设置自己的偏好,ChatGPT 会在之后所有对话中记住这些偏好。该功能让用户对 ChatGPT 的回复方式拥有更多控制权。
推荐理由:OpenAI 官方说明 ChatGPT 新增自定义指令,读者可了解偏好设置会如何跨对话持续生效。
Viable 利用 GPT-4 以革命性规模和前所未有的准确度分析定性数据。
Hugging Face 与 Panel 合作,在 Hugging Face Spaces 中集成了 Panel 模板,方便用户构建并部署 Panel 应用。Panel 是 HoloViz 生态下的开源 Python 库,支持 Matplotlib、Plotly、Bokeh 等绘图库,可构建仪表盘和多页交互应用,并借助 Pyodide 与 WebAssembly 在浏览器中运行。
OpenAI 宣布对 API 进行多项更新,包括更易引导的模型、函数调用能力、更长的上下文以及更低的价格。
推荐理由:OpenAI 公布 API 多项更新,读者可据此了解模型可控性、函数调用与价格的变化方向。
Hugging Face Hub 新增 DuckDB 集成,用户可用 SQL 直接查询 Hub 上任意公开数据集。数据集查看器会自动将所有公开数据集转换为 Parquet 文件,通过 /parquet 端点获取 URL 后,配合 DuckDB 的 httpfs 扩展即可查询远程文件,并支持分片后的多个 Parquet 文件。
Hugging Face 现已托管 Meta AI 开源的 fastText 官方镜像,涵盖 157 种语言的词向量和最新语言识别模型。用户可通过 huggingface_hub 库的 hf_hub_download 命令直接下载使用,并支持文本分类与特征提取 widget。
Hugging Face Hub 现已集成 BERTopic,用户可直接在 Hub 上分享和加载主题模型。BERTopic 是一种基于 Transformer 嵌入向量与 c-TF-IDF 的主题建模技术,此次集成让主题模型也能像其他模型一样被托管和复用。
Hugging Face 发布面向 Amazon SageMaker 的 LLM Inference DLC,基于 Text Generation Inference(TGI),可部署 BLOOM、StarCoder、Llama、T5 等开源大模型。
Hugging Face 与 bitsandbytes 合作,在 transformers 中支持以 4-bit 精度加载和运行模型,覆盖文本、视觉、多模态等大部分 HF 模型,并可在 4bit 模型上训练 LoRA 适配器。
推荐理由:Hugging Face 把 4-bit 量化与 QLoRA 微调接入 transformers,读者可据此判断消费级显卡能跑多大模型。
Hugging Face 与微软合作,在 Azure Machine Learning Studio 内推出 Hugging Face Hub 模型目录,收录数千个热门 Transformers 模型,用户可在托管端点上一键部署。该目录已在所有提供 Azure Machine Learning 的 Azure 区域开放公开预览。
OpenAI 发布 ChatGPT iOS 应用,可同步对话记录并支持语音输入,同时带来最新的模型改进。该应用由 OpenAI 官方推出,面向 iPhone 用户提供移动端使用入口。
推荐理由:OpenAI 官方发布 ChatGPT iOS 应用,读者可了解其对话同步与语音输入等基础能力。
Databricks 宣布向 Hugging Face 代码库提交首个官方贡献,新增 Datasets 的 from_spark 函数,可直接将 Apache Spark dataframe 转为 Hugging Face Dataset。
ChatGPT 用户现在可以关闭聊天记录,自行选择哪些对话可以被用于训练 OpenAI 的模型。
推荐理由:原文说明 ChatGPT 新增关闭聊天记录选项,读者可据此了解对话数据是否用于模型训练的自主控制方式。
Hugging Face 上线中文博客 hf.co/blog/zh,由志愿者翻译 transformers、diffusion 和强化学习等博客与课程内容。官方同时提到 HuggingGPT、ChatGLM、RWKV、ChatYuan、ModelScope 文生视频模型及 IDEA CCNL、BAAI 等中国社区成果,并已与 PaddlePaddle 等合作推进集成。
Hugging Face 与 AWS 合作,将 Hugging Face Transformers 针对 AWS Inferentia2 推理加速器进行优化,通过 optimum-neuron 只需一行代码即可编译模型。
OpenAI 宣布为 ChatGPT 实现插件的初步支持。插件是专为语言模型设计的工具,以安全为核心原则,可帮助 ChatGPT 获取最新信息、执行计算或调用第三方服务。
推荐理由:OpenAI 官方给出 ChatGPT 插件机制的初步支持,读者可据此了解模型接入外部信息与服务的早期形态。
Hugging Face Hub 新增 Jupyter notebook 渲染支持,托管在 Hub 上的 ipynb 文件将以人类可读格式显示,不再直接呈现原始 JSON。Hub 目前已托管超 7,000 个 notebook,并支持一键在 Google Colab 中打开。
Be My Eyes 借助 GPT-4 改造视觉无障碍体验。该应用将 GPT-4 的视觉能力用于帮助视障用户理解图像内容。
Hugging Face 官方发布 trl 与 peft 的集成,让大语言模型的 RLHF 微调成本大幅降低。方案先用 LLM.int8() 以 8 位精度加载模型,再用 peft 添加低秩适配器只训练少量参数,并借助 disable_adapters 复用同一模型获取参考模型与当前模型的 logits,从而省去第二份模型副本。
推荐理由:trl 与 peft 的集成给出了在 24GB 消费级 GPU 上做 RLHF 微调的具体路径,可迁移到自有训练流程。
Hugging Face 为 Mac 推出原生应用 🧨Diffusers 1.1,基于 Core ML 运行 Stable Diffusion 等文生图模型,生成速度最高提升至 2 倍。该版本会自动根据设备选择 GPU 或神经引擎(ANE)加速,并新增模型下载指示、复用 seed 等功能,已在 Mac App Store 上线且完全开源。
Hugging Face 发布 PEFT 库,提供 LoRA、Prefix Tuning、Prompt Tuning、P-Tuning 等参数高效微调方法,并与 Transformers 和 Accelerate 集成。
推荐理由:原文给出 PEFT 库支持的方法与消费级硬件上的微调示例,读者可据此判断低成本微调的可行路径。
微软亚洲研究院的 SpeechT5 现已集成进 Hugging Face Transformers,官方 checkpoint 已发布在 Hugging Face Hub。
Hugging Face 发布开源工具 AI vs. AI,用于在多智能体环境中对强化学习模型进行排名。该工具托管于 Spaces,通过匹配算法让模型持续对战,并基于 ELO 评分系统(初始 1200 分)在 Leaderboard 上展示排名,用户将训练好的模型推送到 Hub 即可参与评估。
OpenAI 宣布为 ChatGPT 推出试点订阅计划 ChatGPT Plus。ChatGPT 是一款对话式 AI,可与用户聊天、回答追问并指出错误假设。
推荐理由:OpenAI 官方公布 ChatGPT 订阅试点计划,读者可据此了解其早期商业化路径的起点。
OpenAI 发布一款经过训练的分类器,用于区分 AI 生成文本与人类写作文本。
推荐理由:OpenAI 官方发布区分 AI 与人类写作的分类器,可了解其早期检测思路与官方定位。
Hugging Face 与 Microsoft ONNX Runtime 团队合作,在 Optimum 库中集成 ONNX Runtime 训练后端,为多种 Hugging Face 模型带来 35% 以上的训练提速。
Hugging Face 与百度 PaddlePaddle 达成开源合作,PaddlePaddle 模型库将逐步集成至 Hugging Face Hub。目前 Hub 上已有超 75 个 PaddlePaddle 模型,包括 UIE、ERNIE 3.0、Ernie-Layout 等,并支持 Inference API 与交互式 Widget。
OpenAI 展示了用 GPT-3 从客户反馈中快速提取细致洞察的能力。该方案面向客户反馈分析场景,目标是兼顾速度与洞察的细腻度。
OpenAI 通过微调 GPT-3 来驱动并规模化"代客制作"的视频创作。
OpenAI 正利用 GPT-3 创建新一代 AI 驱动的角色。
Hugging Face 推出模型卡创建工具和模型卡指南,前者提供图形界面,无需编程或 Markdown 即可协作编写模型卡。同时发布更新版模型卡模板(集成于 huggingface_hub 库)和带注释模板,并附上用户研究与文献综述。
Elixir 社区推出 Bumblebee 库,用纯 Elixir 实现了 Hugging Face Transformers,将 GPT2 到 Stable Diffusion 等神经网络模型引入 Elixir。
Hugging Face 联合 Apple 工程师把 Stable Diffusion 权重转换为 Core ML 格式并上传到 Hub,可在 Apple Silicon 的 CPU、GPU 和神经引擎上运行。
推荐理由:原文给出在 Apple Silicon 上用 Core ML 跑 Stable Diffusion 的完整流程与性能参考,可迁移到本地部署实践。
Hugging Face 与 Jonathan Whitaker 合作的扩散模型课程将于 11 月 28 日发布,配套社区直播活动定于 11 月 30 日举行。