Hugging Face 发布 SmolVLM2 视频理解模型，含 2.2B、500M 和 256M 三个尺寸
Hugging Face 发布 SmolVLM2 系列视频理解模型，包含 2.2B、500M 和 256M 三个参数规模，并称 500M 与 256M 是迄今最小的视频语言模型。
推荐理由：Hugging Face 发布三档小尺寸视频理解模型，并给出端侧与 MLX 的可用路径，可据此判断小模型做视频理解的实际边界。
技术方向
端侧 AI 最新动态
跑在手机、电脑与边缘设备上的 AI：小模型、本地推理与端侧芯片的进展。
33 条精选近 30 天 3 条共收录 63 条
更新
精选归档 · 第 2 页
Hugging Face Blog精选AI 评分6262
Mistral AI精选AI 评分7676 Mistral AI 发布 Apache 2.0 许可的 24B 模型 Mistral Small 3
Mistral AI 发布 Mistral Small 3，一个面向低延迟优化的 24B 参数模型，以 Apache 2.0 许可开源，同时提供预训练和指令微调两个 checkpoint。
推荐理由：24B 参数在 Apache 2.0 下对标三倍体量模型，并给出量化后单卡本地部署的具体门槛。
Hugging Face Blog精选AI 评分6262 Hugging Face 发布 SmolVLM-256M 与 500M 模型
Hugging Face 发布 SmolVLM 家族两个新模型 SmolVLM-256M 和 SmolVLM-500M，共四个 checkpoint，含两个基座模型和两个指令微调模型，可直接加载到 transformers、MLX 和 ONNX。
推荐理由：官方披露了 256M 与 500M 两个新模型在视觉编码器、数据配比和 tokenization 上的取舍，可据此判断小模型多模态的可行边界。
Hugging Face Blog精选AI 评分6060 Hugging Face 发布 2B 视觉语言模型 SmolVLM
Hugging Face 发布 SmolVLM，一个 2B 参数的小型视觉语言模型家族，包含 Base、Synthetic 和 Instruct 三个版本，模型权重、数据集、训练配方与工具均以 Apache 2.0 协议开源。
推荐理由：原文给出 2B 视觉语言模型的显存占用、吞吐对比和完整开源训练流程，便于判断端侧多模态的落地空间。
Mistral AI精选AI 评分6262 Mistral 发布 Ministral 3B 与 8B 端侧模型
Mistral AI 在 Mistral 7B 发布一周年之际推出两款端侧模型 Ministral 3B 和 Ministral 8B，面向本地隐私优先推理场景。
推荐理由：Mistral 在 7B 发布一周年推出两款端侧小模型，给出了 128k 上下文、定价与对标基准，可据此判断边缘场景的选型空间。
Hugging Face Blog精选AI 评分8080 Llama 3.2 发布：多模态视觉模型与 1B/3B 端侧文本模型上线 Hugging Face
Meta 发布 Llama 3.2，共 10 个开放权重模型，包括 11B 和 90B 两个尺寸的视觉模型（各含 base 与指令微调版）以及 1B、3B 端侧文本模型，均已上线 Hugging Face Hub。
推荐理由：Meta 与 Hugging Face 同步放出 10 个开放权重模型，含 11B/90B 视觉版与 1B/3B 端侧文本版，可据此判断本地多模态与端侧部署的可行边界。
Hugging Face Blog精选AI 评分6262 Google 发布 Gemma 2 2B、ShieldGemma 与 Gemma Scope
Google 在 Gemma 2 发布一个月后扩充模型阵容，新增 2.6B 参数的 Gemma 2 2B（含 base 与指令微调版），适合端侧使用，并可与 Gemma 2 27B 搭配做辅助生成，官方称可获得最高 3 倍加速且不损失质量。
推荐理由：Gemma 2 新增 2B 小模型与安全分类器、可解释性工具，读者可据此判断端侧部署与内容审核的可用选项。
Hugging Face Blog精选AI 评分6060 WWDC 24：用 Core ML 在 Mac 上运行 Mistral 7B
Hugging Face 发布教程，介绍如何借助 WWDC 24 的新 Core ML 特性在 Mac 上运行 Mistral 7B，并用不到 4GB 内存完成推理。
推荐理由：原文给出把 Mistral 7B 转成 Core ML 并在 Mac 上以不到 4GB 内存运行的完整步骤，可迁移到其他模型转换。
Hugging Face Blog精选AI 评分6262 Hugging Face 发布 SmolLM 系列小模型，含 135M、360M 和 1.7B 三档
Hugging Face 发布 SmolLM 系列小语言模型，包含 135M、360M 和 1.7B 三种参数规模，并同步开源训练语料 SmolLM-Corpus。
推荐理由：原文公开了 135M 到 1.7B 三档小模型的训练数据配方与评测对比，可据此判断端侧小模型的取舍。
Hugging Face Blog精选AI 评分6262 Hugging Face 发布 Swift Transformers，可在 Apple 设备本地运行 LLM
Hugging Face 发布 swift-transformers Swift 包及配套工具，让开发者在 Apple 设备上用 Core ML 本地运行 Llama 2、Falcon 等模型。
推荐理由：Hugging Face 放出在 Apple 设备本地跑 Llama 2 的 Swift 工具链，读者可据此了解端侧 LLM 的转换与优化路径。
Hugging Face Blog精选AI 评分6262 Hugging Face 与 Apple 发布 Core ML 版 Stable Diffusion XL，采用混合比特量化
Hugging Face 与 Apple 将 Stable Diffusion XL 移植到 Core ML，可在 Apple Silicon Mac 上本地运行，并发布混合比特调色板量化方案。
推荐理由：原文给出混合比特调色板量化的具体压缩比与 PSNR 数据，可据此判断本地跑 SDXL 的体积与质量取舍。
Hugging Face Blog精选AI 评分6262 用 Core ML 在 iPhone、iPad 和 Mac 上加速 Stable Diffusion
Hugging Face 介绍了借助 Core ML 新优化在 Apple 设备上加速 Stable Diffusion 的方法，核心是 6-bit palettization 量化，把权重从 16 位浮点压缩到每参数 6 bit，并在推理时逐层解压以降低内存占用。
推荐理由：原文给出 6-bit palettization 的量化转换流程与已上传的四个 Stable Diffusion 模型，读者可据此在 Apple 设备上自行部署。
Hugging Face Blog精选AI 评分6666 如何在 Apple Silicon 上用 Core ML 运行 Stable Diffusion
Hugging Face 联合 Apple 工程师把 Stable Diffusion 权重转换为 Core ML 格式并上传到 Hub，可在 Apple Silicon 的 CPU、GPU 和神经引擎上运行。
推荐理由：原文给出在 Apple Silicon 上用 Core ML 跑 Stable Diffusion 的完整流程与性能参考，可迁移到本地部署实践。